IBM a dévoilé une technique permettant de réduire drastiquement le temps nécessaire pour former des systèmes distribués de deep learning (apprentissage en profondeur) à travers plusieurs nœuds de serveurs. Ce procédé, baptisé DDL (Distributed Deep Learning) optimise le transfert de données entre les composants matériels qui exécutent le réseau neuronal.
In fine, Big Blue tente de résoudre le problème des goulets d’étranglement liés à la distribution du réseau neuronal sur plusieurs clusters. Si la charge est répartie, les traitements deviennent moins efficaces en raison des latences trop élévées entre les équipements réalisant le calcul en temps réel.
La firme américaine a donc conçu une bibliothèque de communication, DDL pour sa plateforme d’intelligence artificielle Power AI. L’objectif de cette librairie est que chaque équipement dispose des connexions hautes performances disponibles. IBM a pu ainsi entraîner un réseau neuronal connu : Resnet-50 avec un jeu de données ImageNet (soit 7,5 millions d’images assignées à 22 000 catégories). Côté matériel, IBM s’est servi de 64 serveurs Power8 S822LC avec 4 GPU Nvidia Tesla P100-SXM2 chacun. Un investissement conséquent.
Et les résultats sont au rendez-vous, IBM annonce que le modèle de deep learning utilisé dans sa démonstration a reconnu 33,8% des images après 7 heures d’entraînement. Le précédent record était détenu par Microsoft dont la solution atteignait 29,8% d’objets reconnus après 10 jours d’entraînement. Un autre test a été réalisé toujours avec Resnet-50 en se comparant à la solution d’optimisation de la formation des réseaux neuronaux de Facebook. IBM revendique de meilleures performances pour former l’IA. De son côté, Facebook peut se targuer d’avoir une solution Open Source où la communauté peut apporter sa pierre à l’édifice. Big Blue lie DDL à l’environnement Power, mais fonctionne avec différents projets Open Source comme TensorFlow, Caffe, Chainer, Torch et Theano.
A lire aussi :
Watson : un gouffre financier pour IBM ?
IBM recycle ses mainframes en machines à tout chiffrer
Un temps pressenti pour constituer le socle d'une suite bureautique AWS, Amazon WorkDocs arrivera en…
Eviden regroupe cinq familles de serveurs sous la marque BullSequana AI. Et affiche le supercalculateur…
Le dernier Magic Quadrant du SSE (Secure Service Edge) dénote des tarifications et des modèles…
Formats de paramètres, méthodes d'apprentissage, mutualisation GPU... Voici quelques-unes des recommandations de l'ANSSI sur l'IA…
À la grogne des partenaires VMware, Broadcom répond par diverses concessions.
iPadOS a une position suffisamment influente pour être soumis au DMA, estime la Commission européenne.