Deep learning : Microsoft développe sa stratégie avec OpenAI
Microsoft fait de son partenariat avec OpenAI une vitrine pour les travaux qu’il mène dans le domaine de l’apprentissage profond.
Quelle stratégie pour entraîner des modèles d’apprentissage profond ?
L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.
À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.
Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.
Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.
Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.
À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).
Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.
La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.
* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.
Photo d’illustration © Natalia Shepeleva – shutterstock.com
