Deep learning : Microsoft développe sa stratégie avec OpenAI

Quelle stratégie pour entraîner des modèles d’apprentissage profond ?

L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.

À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.

Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.

Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.

Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.

À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).

Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.

La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.

* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.

Photo d’illustration © Natalia Shepeleva – shutterstock.com

Recent Posts

Emploi : quelle place pour les femmes dans le numérique ?

Valoriser la reconversion des femmes dans les métiers du numérique n'est pas un luxe, mais…

28 minutes ago

GAIA-X AISBL change de CEO et de CTO, mais pas de cap

GAIA-X AISBL, pilote du projet européen d'infrastructure de données, a recruté Francesco Bonfiglio (CEO) et…

17 heures ago

Rosetta : Apple forcé à abattre ce pilier des nouveaux Mac ?

Des éléments découverts dans le code de macOS 11.3 bêta 3 ont soulevé des craintes…

21 heures ago

Okta – Auth0 : une fusion à 6 milliards dans la gestion des identités

Okta projette d'acquérir son concurrent Auth0 dans un deal en actions valorisé à 6,5 milliards…

23 heures ago

Open source d’entreprise : d’abord une affaire d’infrastructure ?

La modernisation d'infrastructure demeure, dans les statistiques de Red Hat, le principal usage de l'open…

1 jour ago

DSI : le cloud souverain pour qui ?

L'Europe ambitionne de disposer d'alternatives solides aux offres cloud des GAFAM. Qu'en est-il des choix…

2 jours ago