Big Data : MongoDB supporte Hadoop Hive et la sauvegarde HDFS

La base de données MongoDB rencontre un certain succès depuis quelques années. Plus particulièrement sur le web et les applications mobiles qui produisent des modèles de fichiers JSON supportés par la base.

Dans le même temps, Hadoop s’affiche désormais de facto en plateforme analytique du big data.

La rencontre entre ces deux ‘produits’ tendance s’impose donc. Ce qui explique certainement la popularité acquise par le connecteur MongoDB for Hadoop. Ainsi, que la possibilité offerte par ce dernier de laisser s’exécuter les processus d’analyse des données MongoDB dans la base plutôt que de les expédier dans Hadoop.

Support de Hive et de BSON dans HDFS

Le nouveau connecteur MongoDB vient placer le support de Hive (le framework de requête SQL-like pour Hadoop) au-dessus de MapReduce (le framework Hadoop pour la manipulation des données) et de Pig (équivalent de Hive, mais qui exploite le langage Pig Latin pour les requêtes).

L’autre nouveauté majeure porte sur le support des fichiers BSON (les fichiers JSON en format binaire), natifs dans MongoDB, dans HDFS (Hadoop Distributed File System), afin de pouvoir sauvegarder ces fichiers de la base de données et de ses clusters en production dans Hadoop.

Dernier apport, MongoUpdateWriteable est un enrichissement de processus qui offre la possibilité d’exécuter des jobs MapReduce sur des collections existantes. Originellement, les collections doivent être reconstruites dans la base à chaque exécution des jobs MapReduce…

Voir aussi

Silicon.fr étend son site dédié à l’emploi IT
Silicon.fr en direct sur les smartphones et tablettes