Présenté comme le couteau suisse de la pile Big Data Hadoop, Spark est aujourd’hui livré en version 1.0 par la Fondation Apache.
Spark est un outil dédié aux traitements de données à large échelle, qui propose de multiples innovations :
Au besoin, Spark est même capable de se connecter à des bases SQL, ce qui en fait un outil particulièrement flexible, à la croisée des chemins entre les bases de données classiques et les solutions dédiées au Big Data.
Spark est tout indiqué pour créer des applications d’analyse de données sur des jeux massifs d’informations. Il a d’ores et déjà été adopté par certains grands noms, comme Alibaba, la Nasa ou encore Yahoo. La Nasa compte par exemple l’employer dans le cadre de la mise au point de modèles climatiques.
Notez que Spark est aujourd’hui présent dans la plupart des distributions Hadoop. Les offres de Cloudera, IBM, Intel, MapR et Pivotal sont ainsi citées.
Voir aussi
Quiz Silicon.fr – Testez vos connaissances sur le Big Data
Formats de paramètres, méthodes d'apprentissage, mutualisation GPU... Voici quelques-unes des recommandations de l'ANSSI sur l'IA…
À la grogne des partenaires VMware, Broadcom répond par diverses concessions.
iPadOS a une position suffisamment influente pour être soumis au DMA, estime la Commission européenne.
FT Group, éditeur du Financal Times, a signé un accord avec OpenAI afin d'utiliser ses…
Au premier trimestre, Microsoft, Meta/Facebook et Alphabet/Google ont déjà investi plus de 32 milliards $…
La société britannique de cybersécurité Darktrace a accepté une offre de rachat de 5,32 milliards…