IBM a dévoilé une technique permettant de réduire drastiquement le temps nécessaire pour former des systèmes distribués de deep learning (apprentissage en profondeur) à travers plusieurs nœuds de serveurs. Ce procédé, baptisé DDL (Distributed Deep Learning) optimise le transfert de données entre les composants matériels qui exécutent le réseau neuronal.
In fine, Big Blue tente de résoudre le problème des goulets d’étranglement liés à la distribution du réseau neuronal sur plusieurs clusters. Si la charge est répartie, les traitements deviennent moins efficaces en raison des latences trop élévées entre les équipements réalisant le calcul en temps réel.
La firme américaine a donc conçu une bibliothèque de communication, DDL pour sa plateforme d’intelligence artificielle Power AI. L’objectif de cette librairie est que chaque équipement dispose des connexions hautes performances disponibles. IBM a pu ainsi entraîner un réseau neuronal connu : Resnet-50 avec un jeu de données ImageNet (soit 7,5 millions d’images assignées à 22 000 catégories). Côté matériel, IBM s’est servi de 64 serveurs Power8 S822LC avec 4 GPU Nvidia Tesla P100-SXM2 chacun. Un investissement conséquent.
Et les résultats sont au rendez-vous, IBM annonce que le modèle de deep learning utilisé dans sa démonstration a reconnu 33,8% des images après 7 heures d’entraînement. Le précédent record était détenu par Microsoft dont la solution atteignait 29,8% d’objets reconnus après 10 jours d’entraînement. Un autre test a été réalisé toujours avec Resnet-50 en se comparant à la solution d’optimisation de la formation des réseaux neuronaux de Facebook. IBM revendique de meilleures performances pour former l’IA. De son côté, Facebook peut se targuer d’avoir une solution Open Source où la communauté peut apporter sa pierre à l’édifice. Big Blue lie DDL à l’environnement Power, mais fonctionne avec différents projets Open Source comme TensorFlow, Caffe, Chainer, Torch et Theano.
A lire aussi :
Watson : un gouffre financier pour IBM ?
IBM recycle ses mainframes en machines à tout chiffrer
FT Group, éditeur du Financal Times, a signé un accord avec OpenAI afin d'utiliser ses…
Au premier trimestre, Microsoft, Meta/Facebook et Alphabet/Google ont déjà investi plus de 32 milliards $…
La société britannique de cybersécurité Darktrace a accepté une offre de rachat de 5,32 milliards…
Silicon et KPMG lancent la deuxième édition de l'étude Trends of IT. Cette édition 2024…
Le ministère de l'économie a adressé une lettre d'intention à la direction d'Atos pour racheter…
Directeur Technologie de SNCF Connect & Tech, Arnaud Monier lance une campagne de recrutement pour…