Dataflow est le successeur de MapReduce, FlumeJava et Millwheel, programmes auxquels les chercheurs de Google ont largement contribué. Dataflow, technologie de traitement de données en mode batch ou temps réel, inclut un modèle unifié de programmation, un kit de développement (DataflowJavaSDK déjà sous licence Apache) et des runners pour exécuter les pipelines de flux de données dans des frameworks (Apache Spark, Apache Flink ou Google Cloud Dataflow).
Pour accélérer ses développements, étendre la communauté de contributeurs et renforcer les liens avec d’autres projets Open Source, Google propose de transférer Dataflow à la Fondation Apache, afin d’en faire un projet incubateur Apache (qui filtre les projets Open Source que l’ASF peut porter).
« Cette proposition est une étape dans la mise en œuvre d’une architecture de données qui réponde à des besoins multiples de traitement (et) fonctionne sur site, dans le Cloud ou localement. Google Cloud Dataflow restera un service managé ‘no-ops’ pour exécuter rapidement et au meilleur coût des pipelines Dataflow dans Google Cloud Platform », ont expliqué dans un billet de blog Frances Perry et James Malone, respectivement développeuse et manager produit chez Google. Le projet incubateur souhaité par Google est soutenu par d’autres acteurs, dont Cloudera, data Artisans, Talend, Cask et PayPal.
Lire aussi :
Google I/O : Dataflow alimente en temps réel Big Query en Big Data
Le voile est levé sur Oracle Code Assist. Présenté comme spécialisé en Java et SQL,…
EPEI, la société d'investissement de Daniel Kretinsky, a déposé une offre de reprise d'Atos. En…
Onepoint, l'actionnaire principal d'Atos, a déposé une offre de reprise du groupe. En voici quelques…
Broadcom a repris seul la main sur la vente de l'offre VMware d'AWS... qui, dans…
Microsoft expérimente, sous la marque ZTDNS, une implémentation des principes zero trust pour le trafic…
Accord de principe entre créanciers, propositions de reprise, discussions avec l'État... Le point sur le…