Twitter : les réseaux neuronaux à la rescousse du cadrage des photos

AppsBig DataData & StockageMobilité

Twitter veut affiner le cadrage des photos diffusées sur le réseau social et accentuer la pertinence d’affichage par IA.

Twitter a commencé à déployer une expérience améliorée de prévisualisation des images diffusées sur le réseau social à l’aide d’un réseau de neurones artificielles (“neural networks”) basé sur du machine learning.

Objectif de la démarche basée sur l’intelligence artificielle : mieux recadrer les images pour que les parties les plus importantes soient mises en avant.

Twitter autorise le partage de photos directement sur les timelines depuis 2011. Cela ” fait maintenant partie intégrante de l’expérience Twitter. Aujourd’hui, des millions d’images sont téléchargées sur Twitter tous les jours,” peut-on ainsi lire dans une contribution de blog.

Le réseau de neurones artificielles a été éduqué pour identifier les parties les plus attractives d’une image aux yeux d’une personne. Le cadrage peut ainsi être réalisé de la manière la plus pertinente qui soit.

Ces photos sont recadrées dans un souci de cohérence au niveau de l’interface utilisateur.

Twitter-Machine-Learning
Exemple de recadrage par machine learning (Twitter)

Jusqu’à présent, explique Twitter, un algorithme de détection de visage était exploité. Quid des photos de paysages ou d’objets ? Faute de détection visage, le recadrage se faisait sur la partie centrale de la photo.

Pour améliorer le visionnage hors portrait, Twitter s’est concentré sur les zones des photos évaluées comme “saillantes”. Le degré de pertinence au sein d’une photo a été étudié par des chercheurs universitaires grâce au suivi oculaire, enregistrant ainsi les endroits précis où le regard se fixe.

De telles données peuvent alors être exploitées pour former des réseaux de neurones et d’autres algorithmes pour prédire ce que les gens veulent regarder.

Twitter a travaillé sur l’optimisation de l’implémentation de ce réseau de neurones afin d’en réduire ses exigences en termes de puissance de calcul. Il en allait de l’instantanéité de la diffusion des photos.

La firme dirigée par Jack Dorsey a recours à une technique de “distillation des connaissances”, basée sur la création d’un réseau neuronal plus petit mais plus rapide en mesure “d’imiter” un autre plus puissant mais beaucoup plus lent.

Des réseaux plus puissants génèrent des prédictions à partir de l’analyse d’un volume d’images. Celles-ci sont alors exploitées pour former un réseau plus condensé.

Twitter procède aussi à des coupes claires pour supprimer des éléments du réseau de neurones coûteux en ressources de calcul. Twitter parle d’élagage, sans pour autant nuire à la performance.

“Ensemble, ces deux méthodes nous ont permis de recadrer le média dix fois plus vite qu’une simple implémentation du modèle et avant toute optimisation de l’implémentation. Cela nous permet d’effectuer une détection de pertinence sur toutes les images dès qu’elles sont téléchargées et les recadrer en temps réel.”

Ces mises à jour sont actuellement en cours de déploiement sur l’app Twitter (version iOS et Android).

Voici quelques exemples de la façon dont ce nouvel algorithme affecte les cultures d’images sur Twitter.

Photo credit: clasesdeperiodismo on VisualHunt / CC BY-SA

Lire aussi :

Lire la biographie de l´auteur  Masquer la biographie de l´auteur