Pour gérer vos consentements :

Acme : un boost made in Google pour l’apprentissage par renforcement

Le problème de la mise à l’échelle se pose aussi avec l’apprentissage par renforcement.

DeepMind le rappelle en introduction d’un rapport relatif à Acme.

La filiale de Google a développé cette boîte à outils (framework + bibliothèque logicielle) pour répondre à la complexification des algorithmes dans cette branche de l’IA.

Elle a défini une architecture modulaire censée favoriser l’entraînement distribué.

Dans le cadre de l’apprentissage par renforcement, cette distribution consiste à faire interagir les agents avec de multiples instances des environnements à partir desquels ils génèrent des données.

Une simple réimplémentation n’est pas toujours suffisante pour effectuer ce passage à l’échelle.

L’architecture modulaire qu’Acme met en œuvre face à cette problématique implique une séparation claire entre les fonctions d’acteur (« actor ») et de critique (« learner »). Le premier explore l’environnement et en tire des expériences. Le second apprend de ces expériences et adapte la politique que suit l’acteur.

Cette séparation en processus permet de mener l’apprentissage indépendamment de la capacité de collecte de données, les modules communiquant par appels distants. Elle favorise aussi l’exploitation en offline (apprentissage à partir d’un jeu de données fixe).

La boîte à outils contient des agents « prêts à l’emploi ». DeepMind les présente comme des « implémentations de référence » destinées à tirer parti des algorithmes existants. Il s’agit pour le moment de versions monotâches (non parallélisées).

Illustration principale via shutterstock.com

Recent Posts

Après la NAND, Intel dit stop à la gamme Optane

Après avoir vendu son activité NAND, Intel tire un trait sur la technologie 3D XPoint,…

2 semaines ago

Google Analytics : la Cnil a posé les règles du jeu

Près de six mois ont passé depuis de que la Cnil a déclaré l'usage de…

2 semaines ago

Truffle 100 France : le top 20 des éditeurs de logiciels

Truffle 100 France : qui sont les 21 entreprises qui ont dépassé, en 2021, les…

2 semaines ago

Cloud : AWS brocarde les politiques de licences Microsoft

Un dirigeant d'Amazon Web Services dénonce des "changements cosmétiques" apportés par Microsoft à ses politiques…

3 semaines ago

Sécurité du code au cloud : Snyk Cloud, un joker pour développeurs

Snyk officialise le lancement de sa solution de sécurité cloud pour développeurs, Snyk Cloud, fruit…

3 semaines ago

Cegid accroche Grupo Primavera à son tableau d’acquisitions

Cegid va absorber Grupo Primavera, plate-forme de logiciels de gestion d'entreprise née dans la péninsule…

3 semaines ago