Google Cloud Composer lancé en version bêta ouverte

Google lance la bêta ouverte de Google Cloud Composer, du nom d’un tout nouvel outil d’automatisation des tâches destiné aux développeurs.

Basé sur le projet open source Apache Airflow, ce nouvel outil utilise Python comme langage par défaut.

Le choix de l’open source

La firme de Mountain View explique son choix d’un outil open source dans une contribution de blog : « Lorsque nous avons commencé à construire Cloud Composer, nous savions que nous voulions baser le produit sur un projet open-source. Conformément à la philosophie «open cloud» de Google Cloud Platform (GCP), l’une de nos fonctionnalités incontournables était une approche sans verrouillage. Si vous développez un flux de travail sur GCP, il devrait être facilement transportable vers d’autres environnements. De même, nous voulions que Composer travaille sur un large éventail de technologies au-delà de celles de GCP. »

La nature open source de l’outil donne en effet la garantie aux développeurs de pouvoir utiliser leur flux de travail créé avec Google Cloud Platform sur plusieurs plates-formes cloud.

Google Cloud Composer permet ainsi de développer des workflows sur des outils locaux et sur plusieurs clouds.

L’outil supporte actuellement les services signés Google BigQuery (entrepôt d’analyse de données d’entreprise), Cloud Dataflow (service de traitement de données temps réel), Cloud Dataproc (service Big data managé), Cloud Datastore (base de données NoSQ), Cloud Storage et Cloud Pub/Sub (intergiciel de messagerie).

Amélioré grâce à la version alpha

Grâce à un lancement initial en mouture alpha, Google a pu l’optimiser grâce au retour d’information de testeurs de l’outil d’orchestration de flux de travail : « Les commentaires nous ont aidés à améliorer le produit et ont été globalement positifs. »

Parmi les retours, Michael Collis, ingénieur logiciel au sein de Blue Apron, explique que « nos workflows de données doivent fonctionner parfaitement pour permettre la livraison des aliments périssables à temps. Cloud Composer nous aide à orchestrer nos pipelines de manière plus fiable en nous permettant d’écrire, de planifier et de surveiller nos flux de travail en utilisant Python. »

Bien que basé sur Airflow, Google Cloud Composer bénéficie d’avantages par rapport à celui-ci, comme le souligne Google : « En construisant Cloud Composer, nous voulions combiner les atouts de Google Cloud Platform avec Airflow. Nous avons décidé de créer un service qui offre le meilleur de Airflow sans avoir à supporter l’installation et la gestion de Airflow. Par conséquent, vous passez moins de temps sur un travail de faible valeur, par exemple installer Airflow, et plus de temps sur ce qui compte : vos flux de travail. »

La tarification de Cloud Composer est basée sur la consommation. L’utilisateur paye pour ce qu’il utilise, mesuré en termes de vCPU / heure, Go / mois et Go transféré / mois.

(Crédit photo : @Google)