Pour gérer vos consentements :

Google veut faire de Dataflow un projet incubateur Apache

Dataflow est le successeur de MapReduce, FlumeJava et Millwheel, programmes auxquels les chercheurs de Google ont largement contribué. Dataflow, technologie de traitement de données en mode batch ou temps réel, inclut un modèle unifié de programmation, un kit de développement (DataflowJavaSDK déjà sous licence Apache) et des runners pour exécuter les pipelines de flux de données dans des frameworks (Apache Spark, Apache Flink ou Google Cloud Dataflow).

Pour accélérer ses développements, étendre la communauté de contributeurs et renforcer les liens avec d’autres projets Open Source, Google propose de transférer Dataflow à la Fondation Apache, afin d’en faire un projet incubateur Apache (qui filtre les projets Open Source que l’ASF peut porter).

« Cette proposition est une étape dans la mise en œuvre d’une architecture de données qui réponde à des besoins multiples de traitement (et) fonctionne sur site, dans le Cloud ou localement. Google Cloud Dataflow restera un service managé ‘no-ops’ pour exécuter rapidement et au meilleur coût des pipelines Dataflow dans Google Cloud Platform », ont expliqué dans un billet de blog Frances Perry et James Malone, respectivement développeuse et manager produit chez Google. Le projet incubateur souhaité par Google est soutenu par d’autres acteurs, dont Cloudera, data Artisans, Talend, Cask et PayPal.

Lire aussi :

Google I/O : Dataflow alimente en temps réel Big Query en Big Data

crédit photo © rvlsoft / Shutterstock.com

Recent Posts

Cambridge Analytica, le retour : Zuckerberg poursuivi aux États-Unis

Un procureur américain considère Mark Zuckerberg personnellement responsable des conséquences de l’affaire Cambridge Analytica sur…

21 heures ago

ITSM : EasyVista change avec Patrice Barbedette CEO

Patrice Barbedette (ex-Oracle) pilote la nouvelle phase de croissance d'EasyVista en Europe et à l'international,…

21 heures ago

Gestion de données : Databricks muscle sa direction juridique

Databricks a recruté sa responsable juridique et vice-présidente chez DocuSign pour soutenir l'exigence de conformité…

23 heures ago

Microsoft Build 2022 : beaucoup d’IA…et du Metavers au menu

A l’occasion de Build, sa conférence annuelle dédiée aux développeurs, Microsoft a fait la part…

1 jour ago

Taxe GAFA : pas avant 2023…au mieux

Très attendue, la réforme de taxation internationale des géants du numérique - dite taxe GAFA…

1 jour ago

DevOps : GitLab 15 parie gros sur l’observabilité

Avec la v15 de sa plateforme, GitLab ambitionne d'améliorer sa proposition de valeur dans la…

2 jours ago