En avril 2019, Databricks, l’entreprise fondée par les créateurs du moteur de traitement data Apache Spark, a déclaré rendre open source Delta Lake.
Six mois plus tard, la Fondation Linux annonce héberger le projet Delta Lake. Une strate de stockage lancée en 2017, conçue pour garantir l’intégrité de données brutes et massives stockées dans de vastes référentiels (ou lacs) de données. Les « data lakes ». Le projet fédère aujourd’hui plus de 4000 organisations, parmi lesquelles les groupes Intel, Alibaba et Booz Allen Hamilton (ancien employeur du lanceur d’alerte américain Edward Snowden).
Plus de deux exaoctets de données sont traitées chaque mois, selon ses promoteurs.
« Chaque entreprise veut obtenir davantage de valeur des données grâce à la data science, au machine learning et à l’analyse de données », a souligné la Fondation Linux. Mais les données non structurées ou semi-structurées peuvent être compromises.
C’est ici que Delta Lake intervient.
« Delta Lake résout les problèmes de fiabilité des données en rendant les transactions compatibles ACID (atomicité, cohérence, isolation et durabilité). [Pour] garantir que le lac de données est exempt de données corrompues et non conformes. »
En outre, le modèle « ouvert » de gouvernance du projet promu doit encourager la participation et la contribution technique bien au-delà de l’écosystème Apache Spark.
À la fois sur site (on-premise) et dans le cloud.
(crédit photo © shutterstock)
Le voile est levé sur Oracle Code Assist. Présenté comme spécialisé en Java et SQL,…
EPEI, la société d'investissement de Daniel Kretinsky, a déposé une offre de reprise d'Atos. En…
Onepoint, l'actionnaire principal d'Atos, a déposé une offre de reprise du groupe. En voici quelques…
Broadcom a repris seul la main sur la vente de l'offre VMware d'AWS... qui, dans…
Microsoft expérimente, sous la marque ZTDNS, une implémentation des principes zero trust pour le trafic…
Accord de principe entre créanciers, propositions de reprise, discussions avec l'État... Le point sur le…