Pour gérer vos consentements :

Acme : un boost made in Google pour l’apprentissage par renforcement

Le problème de la mise à l’échelle se pose aussi avec l’apprentissage par renforcement.

DeepMind le rappelle en introduction d’un rapport relatif à Acme.

La filiale de Google a développé cette boîte à outils (framework + bibliothèque logicielle) pour répondre à la complexification des algorithmes dans cette branche de l’IA.

Elle a défini une architecture modulaire censée favoriser l’entraînement distribué.

Dans le cadre de l’apprentissage par renforcement, cette distribution consiste à faire interagir les agents avec de multiples instances des environnements à partir desquels ils génèrent des données.

Une simple réimplémentation n’est pas toujours suffisante pour effectuer ce passage à l’échelle.

L’architecture modulaire qu’Acme met en œuvre face à cette problématique implique une séparation claire entre les fonctions d’acteur (« actor ») et de critique (« learner »). Le premier explore l’environnement et en tire des expériences. Le second apprend de ces expériences et adapte la politique que suit l’acteur.

Cette séparation en processus permet de mener l’apprentissage indépendamment de la capacité de collecte de données, les modules communiquant par appels distants. Elle favorise aussi l’exploitation en offline (apprentissage à partir d’un jeu de données fixe).

La boîte à outils contient des agents « prêts à l’emploi ». DeepMind les présente comme des « implémentations de référence » destinées à tirer parti des algorithmes existants. Il s’agit pour le moment de versions monotâches (non parallélisées).

Illustration principale via shutterstock.com

Recent Posts

Base de données : Couchbase dépasse le milliard $

L'introduction en bourse de Couchbase valorise l'entreprise active dans les bases de données 1,2 milliard…

3 jours ago

Logiciels : le top 25 des problèmes de sécurité

MITRE a actualisé son top 25 CWE. L'écriture hors limites et le XSS y apparaissent…

3 jours ago

Zoom Apps : vers un autre hub collaboratif

Disponibilité générale actée pour les Zoom Apps. On peut pour le moment y accéder au…

3 jours ago

Numéros d’urgence : une faute d’Orange ou de l’État ?

Le rapport des services de l'État sur la panne des numéros d'urgence pointe de nombreux…

4 jours ago

CIEM : Microsoft s’offre CloudKnox Security

Microsoft acquiert CloudKnox pour fournir une gestion unifiée des accès privilégiés et des permissions dans…

4 jours ago

Externalisation IT : le cloud séduit toujours plus l’Europe

Les offres "as-a-service" représentent dorénavant 46% du marché de l'externalisation informatique dans la région EMEA,…

4 jours ago