Pour gérer vos consentements :

Spark sur Kubernetes : Data Mechanics tape dans l’œil de NetApp

Spot et Data Mechanics, une alliance idéale ? Les deux entreprises vont en tout cas fusionner – et leurs technologies avec. La première, à l’origine d’outils de gestion d’infrastructure cloud, était tombée dans l’escarcelle de NetApp il y a un an. La seconde vient d’annoncer qu’elle allait suivre le même chemin. Avec, dans ses bagages, une version managée de Spark sur Kubernetes.

Cette offre concurrence notamment celle de Databricks… dont provient Jean-Yves Stéphan, le principal dirigeant de Data Mechanics. Elle se positionne aussi face aux solutions des hyperscalers : Dataproc (Google), EMR (Amazon) et HDInsight (Microsoft). C’est d’ailleurs sur leurs plates-formes qu’elle se déploie – il n’existe pas encore de version on-prem.

Spark sur Kubernetes est considéré comme stable depuis la version 3.1 du framework, sortie il y a quelques semaines. En plus de l’aspect managé (création des clusters, autoscaling avec gestion des instances spot, monitoring, sécurité…), Data Mechanics ajoute :

  • La prise en charge native des conteneurs Docker
  • La collecte et la conservation des logs et des métriques
  • Un mode autopilote qui s’appuie sur l’historique des pipelines Spark pour ajuster les configurations
  • Diverses intégrations ; par exemple avec Jupyter et Airflow pour soumettre des tâches

La start-up a par ailleurs développé une UI alternative pour Spark. Elle en a fait un projet open source, sous la marque Delight. Sa tarification se fonde non pas sur le temps de fonctionnement, mais sur le temps de calcul effectif.

Illustration principale © Markus Spiske – Unsplash

Recent Posts

GenAI : le Royaume-Uni poursuit ses investigations sur les partenariats de Microsoft et Amazon

L'Autorité de la concurrence et des marchés (CMA) a lancé la phase de recherche de…

5 heures ago

Clients de VMware : les raisons de la colère

Broadcom remplace pas moins de 168 logiciels VMware par deux grandes licences de location correspondant…

6 heures ago

Laurent Carlier – BNP Paribas Global Market : « L’IA permet de modéliser des relations plus complexes, mais il faut rester prudent »

La banque d’investissement de BNP Paribas utilise l'IA pour proposer des stratégies d’investissement individualisées, en…

7 heures ago

Open Compute Project : les datacenters partagent des bonnes pratiques pour l’environnement

OVHCloud partage ses efforts environnementaux au sommet de l’Open Compute Project qui se tient à…

1 jour ago

Phi-3-mini : Microsoft lance son premier SLM

Avec Phi-3-mini, Microsoft lance un SLM conçu pour attirer une clientèle disposant de ressources financières…

1 jour ago

Apple : l’UE serait prête à approuver son plan pour ouvrir l’accès NFC

La Commission européenne serait sur le point d'approuver la proposition d'Apple visant à fournir à…

1 jour ago