Big Data : Amazon renforce son offre Hadoop / Spark

Amazon Elastic MapReduce (Amazon EMR) est une offre Cloud permettant de gérer des volumes massifs de données, au travers de l’utilisation des technologies phares du marché comme Hadoop et Spark.

La firme livre aujourd’hui la version 4.1.0 de son service EMR. Au menu, l’intégration de Spark 1.5.0 (qui apporte corrections de bugs et nouvelles fonctionnalités) et de HUE 3.7.1 (Hadoop User Experience, une interface permettant de faciliter la mise au point de requêtes Hadoop). La présence de Hadoop Key Management Server permettra un chiffrement transparent des volumes HDFS.

Autre nouveauté, des fonctionnalités plus avancées de redimensionnement des clusters EMR, permettant par exemple de réduire la taille de l’infrastructure sans que les tâches en cours soient impactées.

Des fonctionnalités en avant-première

Amazon lève également le voile sur l’EMR Sandbox, une offre qui permet d’accéder à de nouveaux logiciels encore en cours de développement. Y sont présents :

• Presto 0.199, un moteur de requêtes SQL capable de se connecter à des sources massives, stockées par exemple sur Amazon S3 ;
• Zeppelin 0.6, un outil offrant de faciliter l’exploration de données via Spark, et ce de façon interactive et collaborative ;
• Oozie 4.0.1, un gestionnaire de workflows pour Hadoop, qui permettra de mieux gérer les tâches lancées sur un cluster EMR.

À lire aussi :
Amazon modernise son OS Linux dédié au Cloud EC2
Amazon Machine Learning prend ses quartiers en Europe
Amazon propose un SDK pour programmer en C++ sur AWS

Crédit photo : © Peshkova – Shutterstock