Pour gérer vos consentements :

Machine learning : quel sera le benchmark de référence ?

Un concurrent de plus dans l’arène des benchmarks de machine learning. Et pas n’importe qui : SPEC (Standard Performance Evaluation Corporation).

Cette association à but non lucratif de droit américain est née en 1988. Son portefeuille actuel de benchmarks englobe les processeurs, le stockage, la virtualisation, le IaaS ou encore Java.

En septembre 2021, SPEC a constitué une commission « spéciale machine learning ». Avec, dans la boucle, AMD, Dell, Inspur, Intel, NetApp, NVIDIA et Red Hat. Elle vient de communiquer officiellement à ce sujet. Sa promesse, dans les grandes lignés : mieux coller aux pratiques de l’industrie que les benchmarks existants. Ce en intégrant des « composantes majeures » du pipeline d’apprentissage automatique, comme la préparation des données.

Machine learning : SPEC face à MLPerf et TPC

De quel existant parle-t-on ? En tête de liste, il y a MLPerf. À la baguette, le consortium MLCommons, officiellement établi en 2020, sous la même forme juridique que SPEC. AMD, Dell, Inspur, NVIDIA et Red Hat en sont aussi.

Le catalogue MLPerf comprend trois suites de benchmarks. Respectivement consacrés à l’inférence, à l’entraînement et au HPC. L’an dernier, la mesure de la consommation énergétique a fait son entrée sur la partie inférence. Avec, comme socle… l’interface PTDaemon de SPEC. Le volet HPC s’est quant à lui enrichi d’une métrique relative à la performance en entraînement parallèle : la « bande passante agrégée », exprimée en nombre d’instances (d’un même modèle) entraînées par minute.

AMD, Dell, Inspur, NVIDIA et Red Hat sont aussi membres de TPC (Transaction Processing Performance Council). Comme SPEC, cette organisation a vu le jour en 1988. À la base, pour améliorer les benchmarks de référence dans le domaine de l’OLTP (transactionnel). En tenant compte, par exemple, du TCO et des besoins fonctionnels.

Aujourd’hui, TPC propose des benchmarks qui couvrent l’IoT, l’analytique ou encore le décisionnel. Et TPCx-AI, axé sur le couple data science/machine learning. Il est relativement récent (première spécification approuvée en septembre 2021).

Illustration principale © KanawatVector – Adobe Stock

Recent Posts

5 chiffres du marché de l’emploi cadre dans l’informatique

Métiers, secteurs, volumes d'offres... Le point, à partir des données de l'Apec, sur quelques indicateurs…

3 jours ago

Serverless : comment Airbus a développé son app de tracking W@y Oversize

Airbus a mis en place Squid, une équipe spécialisée qui a créé un pipeline de…

3 jours ago

Open Web Search : vers un Google européen ?

En gestation depuis 2019, le projet Open Web Search se lance officiellement, à l'appui d'un…

3 jours ago

Java 19 : 7 améliorations pour les développeurs

Des modèles étendus d'enregistrement au portage sur Linux/RISC-V, Java 19 est pensé pour renforcer le…

3 jours ago

Adrien Vandeweeghe prend la direction de Trellix en France

Le nouveau directeur de Trellix a pour mission de développer commercialement la filiale française, dont…

3 jours ago

Mainframe : une initiative de modernisation à la Fondation Linux

L'Open Mainframe Project dédie un groupe de travail à la question de la modernisation. La…

3 jours ago