Pour gérer vos consentements :

Amazon Web Services intègre Spark à son offre Cloud Hadoop

Le projet Open Source Spark d’Apache a décidément le vent en poupe. Après IBM, qui a annoncé un investissement d’envergure dans cette technologie (voir l’article « IBM investit massivement dans la technologie Big Data Spark »), c’est aujourd’hui au tour d’Amazon d’adopter cette offre.

La firme joue la carte du couple Hadoop + Spark, en proposant Spark par-dessus son offre Big Data Amazon Elastic MapReduce (EMR). Le support de Spark est natif dans EMR, et donc directement accessible (les utilisateurs devaient auparavant l’installer manuellement).

Spark permettra de disposer d’un surcroît de puissance, via l’utilisation de techniques in-memory de traitement de données, permettant de stocker l’ensemble du processus en mémoire : jeu de données initial, résultats intermédiaires et résultat final.

Prêt pour le machine learning

« Spark supporte nativement Scala, Python et Java. Il inclut des librairies pour le SQL, des algorithmes pour le machine learning, le traitement orienté graphe et le traitement des flux. Avec de nombreuses options de développement intégrées, il peut être plus facile de créer et maintenir des applications pour Spark que de travailler avec les diverses abstractions proposées autour de l’API Hadoop MapReduce, » explique Jon Fritz, senior product manager chez Amazon, sur le blog d’AWS.

À lire aussi :
DaaS, Machine Learning, conteneurs, stockage : Amazon booste son Cloud
Résultats : Amazon confirme sa place de leader sur le Cloud public
Apache vient booster Hadoop avec Spark 1.0

Recent Posts

Twitter : Elon Musk joue les équilibristes

Après avoir annoncé la suspension de l'accord pour le rachat de Twitter, Elon Musk s'est…

3 jours ago

Cybersécurité : CyberArk crée un fonds doté de 30 millions $

Financer une nouvelle génération de start-up des technologies de cybersécurité, c'est l'objectif affiché par CyberArk…

3 jours ago

Silicon Day Workplace : quelle Digital Workplace à l’heure du travail hybride ?

Silicon.fr vous invite à Silicon Day Workplace, une journée dédiée aux enjeux de la Digital…

3 jours ago

La Google I/O 2022 en huit points

Chiffrement, recherche, déréférencement, objets connectés, assistant vocal, bureautique... Bilan de la Google I/O 2022 en…

3 jours ago

IBM : une stratégie SaaS qui passe par AWS

Des bases de données à la gestion d'API, IBM va porter une partie de son…

3 jours ago

10 langages de programmation les plus populaires

Python domine le Tiobe Index. Toutefois, la popularité de C# a progressé le plus fortement…

4 jours ago