AWS
Le projet Open Source Spark d’Apache a décidément le vent en poupe. Après IBM, qui a annoncé un investissement d’envergure dans cette technologie (voir l’article « IBM investit massivement dans la technologie Big Data Spark »), c’est aujourd’hui au tour d’Amazon d’adopter cette offre.
La firme joue la carte du couple Hadoop + Spark, en proposant Spark par-dessus son offre Big Data Amazon Elastic MapReduce (EMR). Le support de Spark est natif dans EMR, et donc directement accessible (les utilisateurs devaient auparavant l’installer manuellement).
Spark permettra de disposer d’un surcroît de puissance, via l’utilisation de techniques in-memory de traitement de données, permettant de stocker l’ensemble du processus en mémoire : jeu de données initial, résultats intermédiaires et résultat final.
« Spark supporte nativement Scala, Python et Java. Il inclut des librairies pour le SQL, des algorithmes pour le machine learning, le traitement orienté graphe et le traitement des flux. Avec de nombreuses options de développement intégrées, il peut être plus facile de créer et maintenir des applications pour Spark que de travailler avec les diverses abstractions proposées autour de l’API Hadoop MapReduce, » explique Jon Fritz, senior product manager chez Amazon, sur le blog d’AWS.
À lire aussi :
DaaS, Machine Learning, conteneurs, stockage : Amazon booste son Cloud
Résultats : Amazon confirme sa place de leader sur le Cloud public
Apache vient booster Hadoop avec Spark 1.0
Directeur Technologie de SNCF Connect & Tech, Arnaud Monier lance une campagne de recrutement pour…
Les grands de l'IT suppriment des milliers de jobs au nom du déploiement de. Une…
Quatre ans après l’appel de Rome - un pacte présenté en 2020 par le Vatican…
Comment gérer les données numériques après la mort de son détenteur ? La jeune pousse…
Ivès, expert en accessibilité de la surdité, s’est associé à Sopra Steria et à IBM…
L'Autorité de la concurrence et des marchés (CMA) a lancé la phase de recherche de…