Facebook traite la vidéo en temps réel avec du deep learning

Lors du Web Summit de Lisbonne, Facebook a fait la démonstration d’une fonctionnalité de transfert de style qui apprend des caractéristiques artistiques d’une oeuvre (l’image d’une peinture de Van Gogh, par exemple) et les applique à d’autres images et vidéos prises par un smartphone.

Ces filtres artistiques, qui rappellent ceux de l’application Prisma compatible avec Facebook Live sur iOS, sont basés sur une architecture de deep learning nommée Caffe2go. Elle peut capter, analyser et traiter les pixels en temps réel. Avec Caffe2go, le traitement se fait localement depuis un smartphone, alors que le deep learning nécessite normalement de transmettre ces informations vers les serveurs de datacenters et d’utiliser leur puissance de calcul, rappelle le réseau social.

Caffe2go bientôt Open Source

En compressant la taille du modèle (intelligence artificielle, IA) utilisé pour traiter des images et des vidéos, Facebook dit pouvoir s’appuyer sur plusieurs « réseaux de neurones profonds avec une grande efficacité sur iOS et Android ». Et fournir le traitement d’IA sur certains smartphones « en moins de 1/20ème de seconde », indiquent ses ingénieurs dans un billet de blog.

Le framework Caffe2go, que Facebook prévoit de passer en Open Source, est désormais embarqué dans ses applications mobiles. Et la fonctionnalité de filtres artistiques sera proposée progressivement au public. Selon Wired, c’est déjà le cas en Irlande, et prochainement aux États-Unis.