Quelle stratégie pour entraîner des modèles d’apprentissage profond ?
L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.
À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.
Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.
Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.
Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.
À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).
Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.
La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.
* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.
Photo d’illustration © Natalia Shepeleva – shutterstock.com
Un temps pressenti pour constituer le socle d'une suite bureautique AWS, Amazon WorkDocs arrivera en…
Eviden regroupe cinq familles de serveurs sous la marque BullSequana AI. Et affiche le supercalculateur…
Le dernier Magic Quadrant du SSE (Secure Service Edge) dénote des tarifications et des modèles…
Formats de paramètres, méthodes d'apprentissage, mutualisation GPU... Voici quelques-unes des recommandations de l'ANSSI sur l'IA…
À la grogne des partenaires VMware, Broadcom répond par diverses concessions.
iPadOS a une position suffisamment influente pour être soumis au DMA, estime la Commission européenne.