Big Data : Airbnb place son outil de requête en Open Source

Airbnb, le célèbre site de location d’appartements, place en Open Source (sur Github) son application Airpal, permettant à ses employés sans compétences techniques d’explorer ses données. Associé à l’outil de requête PrestoDB de Facebook, Airpal offre une alternative à bas coût pour exploiter de larges sources de données, notamment celles stockées dans des clusters Hadoop. Alors que PrestoDB est conçu pour les data scientist et requiert des compétences pointues, l’application de Airbnb est pensée pour tous types de salariés. En production depuis un an au sein de la société, Airpal est utilisé par environ un tiers de ses employés, explique James Mayfield, de Airbnb, dans un billet de blog.

Un remplaçant au Redshift d’Amazon

Au sein de la start-up, les données, environ 0,5 Po, sont stockées dans un cluster Hadoop, géré par Apache Hive. PrestoDB fournit la capacité de recherche via des requêtes SQL, Airpal offrant une méthode alternative – et plus accessible à des non informaticiens – pour explorer les données. Les utilisateurs peuvent utiliser un simple navigateur pour soumettre leurs questions et reçoivent en retour des fichiers CSV (facilement exploitables par un tableur).

Avant l’utilisation de cette combinaison, Airbnb exploitait le service Redshift d’Amazon Web Service. « Redshift nécessite un ensemble d’outils d’ETL pour préparer les données. Et l’outil est limité en termes de nombre de requêtes pouvant être exécutées simultanément, ce qui peut freiner l’usage des données, explique Andy Kramolisch, un ingénieur logiciel au sein de la start-up. De plus, nos développeurs trouvaient les messages d’erreur de Redshift peu clairs, rendant le débugage difficile. » Airbnb dit s’être appuyé sur l’expertise des équipes de Facebook pour mettre au point Airpal.