Acme : un boost made in Google pour l’apprentissage par renforcement

Want create site? Find Free WordPress Themes and plugins.

Le problème de la mise à l’échelle se pose aussi avec l’apprentissage par renforcement.

DeepMind le rappelle en introduction d’un rapport relatif à Acme.

La filiale de Google a développé cette boîte à outils (framework + bibliothèque logicielle) pour répondre à la complexification des algorithmes dans cette branche de l’IA.

Elle a défini une architecture modulaire censée favoriser l’entraînement distribué.

Dans le cadre de l’apprentissage par renforcement, cette distribution consiste à faire interagir les agents avec de multiples instances des environnements à partir desquels ils génèrent des données.

Une simple réimplémentation n’est pas toujours suffisante pour effectuer ce passage à l’échelle.

L’architecture modulaire qu’Acme met en œuvre face à cette problématique implique une séparation claire entre les fonctions d’acteur (« actor ») et de critique (« learner »). Le premier explore l’environnement et en tire des expériences. Le second apprend de ces expériences et adapte la politique que suit l’acteur.

Cette séparation en processus permet de mener l’apprentissage indépendamment de la capacité de collecte de données, les modules communiquant par appels distants. Elle favorise aussi l’exploitation en offline (apprentissage à partir d’un jeu de données fixe).

La boîte à outils contient des agents « prêts à l’emploi ». DeepMind les présente comme des « implémentations de référence » destinées à tirer parti des algorithmes existants. Il s’agit pour le moment de versions monotâches (non parallélisées).

Illustration principale via shutterstock.com

Did you find apk for android? You can find new Free Android Games and apps.

Recent Posts

Exploration des processus : Software AG lance ARIS Process Mining

Avec sa plateforme en mode cloud ARIS Process Mining, Software AG veut rendre l'exploration des…

2 heures ago

Bug Bounty : FireEye pousse ses primes

FireEye ouvre son programme de bug bounty à tous les chercheurs de vulnérabilités informatiques inscrits…

5 heures ago

Salesforce : Marc Benioff garde « l’esprit ouvert », sans Dreamforce ?

Marc Benioff dit "garder l'esprit ouvert à toutes les possibilités" concernant la direction future de…

12 heures ago

Mozilla, développeur de Firefox, taille dans ses effectifs

Mozilla annonce "restructurer" son activité pour se relancer dans un monde post-Covid-19.

1 jour ago

Cybersécurité : des RSSI à bout de souffle ?

En France, 7 RSSI sur 10 considèrent que leur entreprise est plus exposée aux violations…

2 jours ago

Oracle Cloud VMware gagne de nouveaux territoires

Oracle Cloud VMware facilite dorénavant la migration de charges de travail virtualisées dans toutes les…

2 jours ago