Pour gérer vos consentements :

IA : Google s’attaque à la question des coûts

Comment rendre moins coûteux l’apprentissage par renforcement ? En permettant aux algorithmes d’exploiter plus efficacement les ressources à leur disposition.

Google aborde la problématique à travers le projet SEED RL, dont il vient d’officialiser la mise en open source.

À la base de ces travaux, un modèle (ou agent) d’apprentissage par renforcement que sa filiale DeepMind avait dévoilé voilà deux ans : IMPALA.

Ce dernier repose sur une architecture dite « acteur-critique ».

Divisé en une multitude de sous-agents déployés en parallèle sur des milliers de machines, l’acteur a pour rôle d’explorer un environnement et d’en tirer des expériences à partir d’une politique.
Ces séquences d’états, d’actions et de récompenses, il les transmet à un apprenant centralié (le critique) qui traite les expériences et améliore la politique.

Inférence déportée

Traditionnellement, on fait tourner les acteurs sur des CPU. Les critiques, moins nombreux, s’exécutent sur des GPU.

Une telle architecture présente, d’après Google, des inconvénients :

  • L’inférence est réalisée sur CPU, ce qui nécessite d’augmenter rapidement le nombre d’acteurs à mesure qu’un modèle croît.
  • La communication avec les critiques consomme de la bande passante.
  • Combiner exploration de l’environnement et inférence sur une même machine n’est pas favorable à un usage optimisé des ressources.

SEED RL remodèle cette architecture avec deux points principaux :

  • L’inférence se fait côté critique(s).
  • Pour les transferts de données, le framework gRPC est mis à contribution. Performance annoncée : jusqu’à un million de requêtes par seconde vers chaque machine.

Comme IMPALA, SEED RL exploite V-trace. Cet algorithme de correction hors politique permet de normaliser l’apprentissage des agents pour éviter la décohérence temporelle.

Sur l’environnement DeepMind Lab, Google annonce 2,4 millions de trames traitées par seconde avec 64 cœurs TPU (du nom de ses puces dédiées à l’IA). IMPALA requiert trois à quatre fois plus de ressources pour atteindre la même vitesse.

Photo d’illustration © mikemacmarketingviaVisualHunt / CC BY

Recent Posts

Pradeo : « Pegasus rend le cyber-espionnage plus accessible »

Les logiciels espions comme Pegasus devraient faire l'objet d'une stricte réglementation, selon Clément Saad, président…

10 heures ago

Google Cloud : vers des API plus stables ?

Critiqué pour la gestion du cycle de vie de ses API, Google Cloud prend des…

12 heures ago

Malwares : les codeurs surveillent leur langage

BlackBerry attire l'attention sur ce qui pousse les concepteurs de malwares à basculer entre langages…

15 heures ago

Sauvegarde et restauration : qui se distingue sur ce marché morcelé ?

Six « leaders » se détachent au Magic Quadrant 2021 des solutions logicielles de sauvegarde…

1 jour ago

Cybersécurité : GitHub recrute un ancien de la NSA

Jacob DePriest, ex-responsable technique de la NSA, est nommé vice-président des opérations de sécurité, en…

1 jour ago

Stockage : qui n’a pas sa protection anti-ransomwares ?

Les communications axées sur la protection contre les ransomwares se succèdent chez les fournisseurs de…

2 jours ago