Pour gérer vos consentements :

Deep learning : Microsoft développe sa stratégie avec OpenAI

Quelle stratégie pour entraîner des modèles d’apprentissage profond ?

L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.

À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.

Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.

Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.

Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.

À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).

Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.

La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.

* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.

Photo d’illustration © Natalia Shepeleva – shutterstock.com

Recent Posts

Arm-NVIDIA : de la Chine aux USA, les barrières se dressent

Aux États-Unis, un nouvel obstacle se dresse face au projet de fusion Arm-NVIDIA. Quelles autres…

12 heures ago

Géolocalisation en entreprise : un suivi proportionné ?

Utilisés dans le cadre professionnel, smartphones et véhicules peuvent être géolocalisés par l'employeur. Qu'en pensent…

13 heures ago

Salesforce : avec Bret Taylor, Marc Benioff prépare sa succession

Promu co-CEO, Bret Taylor pilote avec Marc Benioff le prochain chapitre de Salesforce. Leurs mots…

15 heures ago

Data et cybersécurité : les métiers les plus mouvants du SI ?

Les métiers de la data et de la cybersécurité concentrent une part importante des évolutions…

18 heures ago

Teams Essentials : une réponse à la Commission européenne ?

Microsoft dégaine une offre qui permet d'accéder à Teams indépendamment de sa suite bureautique cloud.…

21 heures ago

« Convergences numériques 2022 » : le Cigref, Numeum et d’autres interpellent les présidentiables

Cigref, Numeum, Cinov, Afnum... L'industrie numérique française sert les rangs pour peser sur les programmes…

2 jours ago