Deep learning : Microsoft développe sa stratégie avec OpenAI

Want create site? Find Free WordPress Themes and plugins.

Quelle stratégie pour entraîner des modèles d’apprentissage profond ?

L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.

À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.

Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.

Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.

Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.

À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).

Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.

La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.

* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.

Photo d’illustration © Natalia Shepeleva – shutterstock.com

Did you find apk for android? You can find new Free Android Games and apps.

Recent Posts

Exploration des processus : Software AG lance ARIS Process Mining

Avec sa plateforme en mode cloud ARIS Process Mining, Software AG veut rendre l'exploration des…

2 heures ago

Bug Bounty : FireEye pousse ses primes

FireEye ouvre son programme de bug bounty à tous les chercheurs de vulnérabilités informatiques inscrits…

5 heures ago

Salesforce : Marc Benioff garde « l’esprit ouvert », sans Dreamforce ?

Marc Benioff dit "garder l'esprit ouvert à toutes les possibilités" concernant la direction future de…

12 heures ago

Mozilla, développeur de Firefox, taille dans ses effectifs

Mozilla annonce "restructurer" son activité pour se relancer dans un monde post-Covid-19.

1 jour ago

Cybersécurité : des RSSI à bout de souffle ?

En France, 7 RSSI sur 10 considèrent que leur entreprise est plus exposée aux violations…

2 jours ago

Oracle Cloud VMware gagne de nouveaux territoires

Oracle Cloud VMware facilite dorénavant la migration de charges de travail virtualisées dans toutes les…

2 jours ago