IA : Google s’attaque à la question des coûts

Want create site? Find Free WordPress Themes and plugins.

Comment rendre moins coûteux l’apprentissage par renforcement ? En permettant aux algorithmes d’exploiter plus efficacement les ressources à leur disposition.

Google aborde la problématique à travers le projet SEED RL, dont il vient d’officialiser la mise en open source.

À la base de ces travaux, un modèle (ou agent) d’apprentissage par renforcement que sa filiale DeepMind avait dévoilé voilà deux ans : IMPALA.

Ce dernier repose sur une architecture dite « acteur-critique ».

Divisé en une multitude de sous-agents déployés en parallèle sur des milliers de machines, l’acteur a pour rôle d’explorer un environnement et d’en tirer des expériences à partir d’une politique.
Ces séquences d’états, d’actions et de récompenses, il les transmet à un apprenant centralié (le critique) qui traite les expériences et améliore la politique.

Inférence déportée

Traditionnellement, on fait tourner les acteurs sur des CPU. Les critiques, moins nombreux, s’exécutent sur des GPU.

Une telle architecture présente, d’après Google, des inconvénients :

  • L’inférence est réalisée sur CPU, ce qui nécessite d’augmenter rapidement le nombre d’acteurs à mesure qu’un modèle croît.
  • La communication avec les critiques consomme de la bande passante.
  • Combiner exploration de l’environnement et inférence sur une même machine n’est pas favorable à un usage optimisé des ressources.

SEED RL remodèle cette architecture avec deux points principaux :

  • L’inférence se fait côté critique(s).
  • Pour les transferts de données, le framework gRPC est mis à contribution. Performance annoncée : jusqu’à un million de requêtes par seconde vers chaque machine.

Comme IMPALA, SEED RL exploite V-trace. Cet algorithme de correction hors politique permet de normaliser l’apprentissage des agents pour éviter la décohérence temporelle.

Sur l’environnement DeepMind Lab, Google annonce 2,4 millions de trames traitées par seconde avec 64 cœurs TPU (du nom de ses puces dédiées à l’IA). IMPALA requiert trois à quatre fois plus de ressources pour atteindre la même vitesse.

Photo d’illustration © mikemacmarketingviaVisualHunt / CC BY

Did you find apk for android? You can find new Free Android Games and apps.

Recent Posts

Exploration des processus : Software AG lance ARIS Process Mining

Avec sa plateforme en mode cloud ARIS Process Mining, Software AG veut rendre l'exploration des…

2 heures ago

Bug Bounty : FireEye pousse ses primes

FireEye ouvre son programme de bug bounty à tous les chercheurs de vulnérabilités informatiques inscrits…

5 heures ago

Salesforce : Marc Benioff garde « l’esprit ouvert », sans Dreamforce ?

Marc Benioff dit "garder l'esprit ouvert à toutes les possibilités" concernant la direction future de…

12 heures ago

Mozilla, développeur de Firefox, taille dans ses effectifs

Mozilla annonce "restructurer" son activité pour se relancer dans un monde post-Covid-19.

1 jour ago

Cybersécurité : des RSSI à bout de souffle ?

En France, 7 RSSI sur 10 considèrent que leur entreprise est plus exposée aux violations…

2 jours ago

Oracle Cloud VMware gagne de nouveaux territoires

Oracle Cloud VMware facilite dorénavant la migration de charges de travail virtualisées dans toutes les…

2 jours ago