Big Data : Amazon renforce son offre Hadoop / Spark

crédit photo © Peshkova - shutterstock

Amazon Elastic MapReduce (Amazon EMR) est une offre Cloud permettant de gérer des volumes massifs de données, au travers de l’utilisation des technologies phares du marché comme Hadoop et Spark.

La firme livre aujourd’hui la version 4.1.0 de son service EMR. Au menu, l’intégration de Spark 1.5.0 (qui apporte corrections de bugs et nouvelles fonctionnalités) et de HUE 3.7.1 (Hadoop User Experience, une interface permettant de faciliter la mise au point de requêtes Hadoop). La présence de Hadoop Key Management Server permettra un chiffrement transparent des volumes HDFS.

Autre nouveauté, des fonctionnalités plus avancées de redimensionnement des clusters EMR, permettant par exemple de réduire la taille de l’infrastructure sans que les tâches en cours soient impactées.

Des fonctionnalités en avant-première

Amazon lève également le voile sur l’EMR Sandbox, une offre qui permet d’accéder à de nouveaux logiciels encore en cours de développement. Y sont présents :

Presto 0.199, un moteur de requêtes SQL capable de se connecter à des sources massives, stockées par exemple sur Amazon S3 ;
Zeppelin 0.6, un outil offrant de faciliter l’exploration de données via Spark, et ce de façon interactive et collaborative ;
Oozie 4.0.1, un gestionnaire de workflows pour Hadoop, qui permettra de mieux gérer les tâches lancées sur un cluster EMR.