Les réseaux neuronaux à la rescousse du cadrage des photos sur Twitter

Twitter a commencé à déployer une expérience améliorée de prévisualisation des images diffusées sur sa plate-forme. Il s’agit de mieux recadrer les images pour que les parties les plus importantes soient mises en avant.

Ce sont les développeurs du site de micro-blogging qui se sont attaqués au problème qu’ils ont résolu à l’aide d’un réseau de neurones entrainé. Ce dernier a en effet été formé pour identifier les parties d’une image qu’une personne est la plus susceptible de regarder. Le cadrage peut ainsi être réalisé de la manière la plus pertinente qui soit.

Twitter autorise le partage de photos directement sur les timelines depuis 2011. Cela  » fait maintenant partie intégrante de l’expérience Twitter. Aujourd’hui, des millions d’images sont téléchargées sur Twitter tous les jours, » peut-on ainsi lire dans une contribution de blog.

Ces photos sont recadrées dans un souci de cohérence au niveau de l’interface utilisateur.

Jusqu’à présent, explique Twitter, c’est un algorithme de détection de visage qui était exploité. Quid des photos de paysages ou d’objets ? Dans le cas où aucun visage n’était détecté, le recadrage se faisait sur la partie centrale de la photo.

Twitter a commencé à améliorer cette problématique en se concentrant sur les régions des photos évaluées comme « saillantes ». Le degré de saillance au sein de photos a été étudié par des universitaires grâce au suivi oculaire, enregistrant ainsi les endroits précis où le regard se fixe.

De telles données peuvent alors être exploitées pour former des réseaux de neurones et d’autres algorithmes pour prédire ce que les gens pourraient vouloir regarder.

Twitter a travaillé sur l’optimisation de l’implémentation de ce réseau de neurones afin d’en réduire ses exigences en termes de calcul. Il en allait de l’instantanéité de la diffusion des photos.

La firme dirigée par Jack Dorsey a recours à une technique répondant au nom de « distillation des connaissances » pour la formation d’un réseau plus petit mais plus rapide capable d’imiter le réseau de neurones plus puissant mais beaucoup plus lent. Des réseaux plus puissants génèrent des prédictions sur un ensemble d’images. Ces prédictions sont alors exploitées pour former un réseau plus petit.

Twitter procède aussi à des coupes claires pour supprimer des éléments du réseau de neurones coûteuses en ressources de calcul, sans pour autant contribuer à la performance. Twitter parle d’élagage.

« Ensemble, ces deux méthodes nous ont permis de recadrer le média 10 fois plus vite qu’une simple implémentation du modèle et avant toute optimisation de l’implémentation. Cela nous permet d’effectuer une détection de saillance sur toutes les images dès qu’elles sont téléchargées et les recadrer en temps réel. »

Ces mises à jour sont actuellement en cours de déploiement sur twitter.com, iOS et Android. Voici quelques exemples de la façon dont ce nouvel algorithme affecte les cultures d’images sur Twitter.

(Crédit photos : @Twitter)