Pour gérer vos consentements :

Big Data : Airbnb place son outil de requête en Open Source

Airbnb, le célèbre site de location d’appartements, place en Open Source (sur Github) son application Airpal, permettant à ses employés sans compétences techniques d’explorer ses données. Associé à l’outil de requête PrestoDB de Facebook, Airpal offre une alternative à bas coût pour exploiter de larges sources de données, notamment celles stockées dans des clusters Hadoop. Alors que PrestoDB est conçu pour les data scientist et requiert des compétences pointues, l’application de Airbnb est pensée pour tous types de salariés. En production depuis un an au sein de la société, Airpal est utilisé par environ un tiers de ses employés, explique James Mayfield, de Airbnb, dans un billet de blog.

Un remplaçant au Redshift d’Amazon

Au sein de la start-up, les données, environ 0,5 Po, sont stockées dans un cluster Hadoop, géré par Apache Hive. PrestoDB fournit la capacité de recherche via des requêtes SQL, Airpal offrant une méthode alternative – et plus accessible à des non informaticiens – pour explorer les données. Les utilisateurs peuvent utiliser un simple navigateur pour soumettre leurs questions et reçoivent en retour des fichiers CSV (facilement exploitables par un tableur).

Avant l’utilisation de cette combinaison, Airbnb exploitait le service Redshift d’Amazon Web Service. « Redshift nécessite un ensemble d’outils d’ETL pour préparer les données. Et l’outil est limité en termes de nombre de requêtes pouvant être exécutées simultanément, ce qui peut freiner l’usage des données, explique Andy Kramolisch, un ingénieur logiciel au sein de la start-up. De plus, nos développeurs trouvaient les messages d’erreur de Redshift peu clairs, rendant le débugage difficile. » Airbnb dit s’être appuyé sur l’expertise des équipes de Facebook pour mettre au point Airpal.

A lire aussi :

Big Data : Accor valorise ses recommandations clients avec la BI
Big Data : eBay lance Pulsar, outil d’analyse de données en temps réel
Big Data : IBM, GE, SAS, Hortonworks… forment une alliance autour de Hadoop

Crédit photo : agsandrew / Shutterstock

Recent Posts

Sauvegarde et restauration : Veeam dévoile la v12

Veeam dévoile la mise à niveau de son offre Backup & Replication (v12) et dévoile…

8 heures ago

Phishing : LinkedIn concentre plus de la moitié des tentatives dans le monde

Les utilisateurs du réseau social professionnel sont des cibles de choix pour les campagnes de…

9 heures ago

Cloud : Microsoft prêt à lâcher du lest sur le marché européen

Visé par une plainte d'OVHCloud, notamment, Microsoft se dit prêt à faire des concessions sur…

10 heures ago

Google Russie anticipe le dépôt de bilan, migre des employés vers Dubaï

La saisie du compte bancaire de Google Russie rend intenable le fonctionnement de son bureau…

13 heures ago

RGPD : vers une nouvelle méthode de calcul des amendes

Le Comité européen de la protection des données (CEPD) a adopté de nouvelles lignes directrices…

15 heures ago

Qui utilise (vraiment) les outils low code et no code ?

Près de 5 développeurs sur 10 utilisent des outils low / no code. Mais pour…

1 jour ago