Pour gérer vos consentements :

Spark sur Kubernetes : Data Mechanics tape dans l’œil de NetApp

Spot et Data Mechanics, une alliance idéale ? Les deux entreprises vont en tout cas fusionner – et leurs technologies avec. La première, à l’origine d’outils de gestion d’infrastructure cloud, était tombée dans l’escarcelle de NetApp il y a un an. La seconde vient d’annoncer qu’elle allait suivre le même chemin. Avec, dans ses bagages, une version managée de Spark sur Kubernetes.

Cette offre concurrence notamment celle de Databricks… dont provient Jean-Yves Stéphan, le principal dirigeant de Data Mechanics. Elle se positionne aussi face aux solutions des hyperscalers : Dataproc (Google), EMR (Amazon) et HDInsight (Microsoft). C’est d’ailleurs sur leurs plates-formes qu’elle se déploie – il n’existe pas encore de version on-prem.

Spark sur Kubernetes est considéré comme stable depuis la version 3.1 du framework, sortie il y a quelques semaines. En plus de l’aspect managé (création des clusters, autoscaling avec gestion des instances spot, monitoring, sécurité…), Data Mechanics ajoute :

  • La prise en charge native des conteneurs Docker
  • La collecte et la conservation des logs et des métriques
  • Un mode autopilote qui s’appuie sur l’historique des pipelines Spark pour ajuster les configurations
  • Diverses intégrations ; par exemple avec Jupyter et Airflow pour soumettre des tâches

La start-up a par ailleurs développé une UI alternative pour Spark. Elle en a fait un projet open source, sous la marque Delight. Sa tarification se fonde non pas sur le temps de fonctionnement, mais sur le temps de calcul effectif.

Illustration principale © Markus Spiske – Unsplash

Recent Posts

Après la NAND, Intel dit stop à la gamme Optane

Après avoir vendu son activité NAND, Intel tire un trait sur la technologie 3D XPoint,…

1 semaine ago

Google Analytics : la Cnil a posé les règles du jeu

Près de six mois ont passé depuis de que la Cnil a déclaré l'usage de…

2 semaines ago

Truffle 100 France : le top 20 des éditeurs de logiciels

Truffle 100 France : qui sont les 21 entreprises qui ont dépassé, en 2021, les…

2 semaines ago

Cloud : AWS brocarde les politiques de licences Microsoft

Un dirigeant d'Amazon Web Services dénonce des "changements cosmétiques" apportés par Microsoft à ses politiques…

2 semaines ago

Sécurité du code au cloud : Snyk Cloud, un joker pour développeurs

Snyk officialise le lancement de sa solution de sécurité cloud pour développeurs, Snyk Cloud, fruit…

2 semaines ago

Cegid accroche Grupo Primavera à son tableau d’acquisitions

Cegid va absorber Grupo Primavera, plate-forme de logiciels de gestion d'entreprise née dans la péninsule…

2 semaines ago