Avec la bibliothèque DDL, IBM accélère la formation du deep learning
IBM a conçu une bibliothèque nommée DDL pour Power AI afin d’accélérer l’entraînement des modèles de deep learning.
IBM a dévoilé une technique permettant de réduire drastiquement le temps nécessaire pour former des systèmes distribués de deep learning (apprentissage en profondeur) à travers plusieurs nœuds de serveurs. Ce procédé, baptisé DDL (Distributed Deep Learning) optimise le transfert de données entre les composants matériels qui exécutent le réseau neuronal.
In fine, Big Blue tente de résoudre le problème des goulets d’étranglement liés à la distribution du réseau neuronal sur plusieurs clusters. Si la charge est répartie, les traitements deviennent moins efficaces en raison des latences trop élévées entre les équipements réalisant le calcul en temps réel.
Un cluster costaud pour une bibliothèque ad hoc
La firme américaine a donc conçu une bibliothèque de communication, DDL pour sa plateforme d’intelligence artificielle Power AI. L’objectif de cette librairie est que chaque équipement dispose des connexions hautes performances disponibles. IBM a pu ainsi entraîner un réseau neuronal connu : Resnet-50 avec un jeu de données ImageNet (soit 7,5 millions d’images assignées à 22 000 catégories). Côté matériel, IBM s’est servi de 64 serveurs Power8 S822LC avec 4 GPU Nvidia Tesla P100-SXM2 chacun. Un investissement conséquent.
Et les résultats sont au rendez-vous, IBM annonce que le modèle de deep learning utilisé dans sa démonstration a reconnu 33,8% des images après 7 heures d’entraînement. Le précédent record était détenu par Microsoft dont la solution atteignait 29,8% d’objets reconnus après 10 jours d’entraînement. Un autre test a été réalisé toujours avec Resnet-50 en se comparant à la solution d’optimisation de la formation des réseaux neuronaux de Facebook. IBM revendique de meilleures performances pour former l’IA. De son côté, Facebook peut se targuer d’avoir une solution Open Source où la communauté peut apporter sa pierre à l’édifice. Big Blue lie DDL à l’environnement Power, mais fonctionne avec différents projets Open Source comme TensorFlow, Caffe, Chainer, Torch et Theano.
A lire aussi :
Watson : un gouffre financier pour IBM ?
IBM recycle ses mainframes en machines à tout chiffrer
