Pour gérer vos consentements :
Categories: Data & Stockage

Snowflake et Databricks rivalisent aussi sur l’open source

Où est le code de Polaris Catalog ? Il faudra patienter encore un peu pour y accéder.

Début juin, Snowflake a dévoilé ce catalogue de données pour Apache Iceberg. Il s’est alors donné 90 jours pour le mettre en open source.

Son concurrent Databricks s’est engagé dans une démarche similaire. Elle n’implique pas le lancement d’un nouveau produit, mais l’ouverture de Unity Catalog, qui existe depuis 2021.

Snowflake capitalise sur Iceberg…

Polaris Catalog implémente l’API REST Iceberg et y ajoute des capacités qui le prêtent à un usage en prod. Par exemple, la gestion distribuée, le data lineage et la description des données. Snowflake fait aussi la jonction avec sa solution de gouvernance Horizon, étendue aux tables créées par d’autres moteurs.

L’annonce de Polaris Catalog coïncide avec la disponibilité générale des tables Iceberg chez Snowflake. Ce dernier prévoit de fournir une version managée du catalogue, en plus de l’option autohébergement.

… et Databricks, sur UniForm

Databricks a placé Unity Catalog sous l’égide de la Linux Foundation. Son implémentation open source est construite sur la spec OpenAPI, avec un code serveur sous licence Apache 2.0.

En toile de fond, la récente disponibilité générale de UniForm (Delta Lake Universal Format). Avec cette couche, Databricks a ajouté à Unity Catalog le support d’Iceberg et de Hudi, en plus de son format Delta.
La semaine dernière, l’éditeur a annoncé avoir mis la main sur Tabular, entreprise qu’on doit au créateur d’Iceberg. En ligne de mire, la convergence des specs Iceberg et Delta.

Illustration principale © TensorSpark – Adobe Stock

Recent Posts

La Suite Numérique : les errements d’un projet d’État

La Cour des comptes pointe les résultats insuffisants de La Suite Numérique (ex-SNAP) et évoque…

1 jour ago

Apple Pay : l’UE valide l’ouverture à la concurrence sur les iPhone

La Commission européenne approuve la proposition d’Apple permettant à des concurrents de proposer des solutions…

1 jour ago

Que d’eau ! Les engagements d’AWS pour en économiser

AWS entend devenir « water-positive » pour 2030. Que recouvre cet objectif ?

2 jours ago

PC : le marché renoue avec la croissance au deuxième trimestre

Après sept trimestres consécutifs de baisse, le marché mondial des PC traditionnels affiche un rebond…

2 jours ago

Le CISPE et Microsoft trouvent un accord : et maintenant ?

Le CISPE s'est engagé à retirer sa plainte contre Microsoft. Quelle monnaie d'échange le groupe…

2 jours ago

Silo AI, une nouvelle prise pour AMD dans le vivier européen de l’IA

Après avoir acquis Mipsology en France, AMD s'empare de Silo AI, tête de pont de…

2 jours ago