About Face : un algorithme Adobe pour détecter les retouches Photoshop

Data & StockageDeep Learning
adobe-about-face

Dans le cadre du projet About Face, Adobe travaille sur un algorithme capable de détecter les visages modifiés avec Photoshop.

Want create site? Find Free WordPress Themes and plugins.

Un algorithme peut-il déjouer les retouches Photoshop ?

Adobe aborde la question dans le cadre du projet « About Face ».

L’éditeur en a présenté les grandes lignes lors de sa conférence MAX, à l’occasion de la traditionnelle session de prospective technologique Sneaks.

À la baguette, Richard Yang (en illustration principale), coauteur d’une étude sur le sujet.

Ses travaux, menés avec d’autres employés d’Adobe ainsi qu’avec des pairs de Berkeley, ont notamment porté sur l’outil « Modification des traits du visage ».

Cette composante du filtre Fluidité détecte automatiquement les caractéristiques faciales. Elle aide, pour reprendre les termes d’Adobe, à « les modifier pour embellir un portrait ou ajouter une touche amusante à une photo ».

L’homme et la machine

Pour entraîner leur algorithme, les chercheurs ont récupéré près de 200 000 photos de visages sur Internet – principalement via OpenImage.

Ils ont tiré parti de la prise en charge du JavaScript dans l’outil « Modification des traits du visage » pour automatiser la retouche de l’ensemble des images. Chacune a subi 6 fois ce processus.

De ce lot a été tiré un échantillon dit de « validation » (Val dans le tableau ci-dessous), composé de 10 000 images, dont la moitié modifiées.

Un deuxième échantillon dit de « test » a été constitué, avec 50 images Flickr retouchées par un artiste.

Dans la moitié des cas, il s’agissait de rendre le visage plus beau ; dans l’autre moitié, de modifier son expression.

dataset-photoshop

Avant-après

La publication du rapport d’étude remonte à la mi-juin. Mais les chercheurs l’ont mis à jour début septembre. On peut ainsi constater comment l’algorithme a évolué.

Les différents échantillons de données, eux, n’ont pas changé.
Les mesures effectuées auprès d’humains, non plus. 40 d’entre eux ont été sollicités par l’intermédiaire du service Mechanical Turk d’Amazon. Chacun a eu 35 paires d’images à analyser. Six secondes étaient laissées à chaque fois pour détecter l’image modifiée.
Le taux de réussite s’est élevé à 53,5 % sur les images de l’échantillon « Val » ; à 71,1 % pour l’échantillon « Test ».

Qu’en est-il de l’algorithme ? Examinons tout d’abord la version de juin.

  1. Sur l’échantillon « Val » :
    • Au meilleur de son optimisation, l’algorithme affichait un taux de réussite de 99,4 % sur le test des « paires d’images » (2AFC dans le tableau).
      Ces performances ont été atteintes sur des photos dites « basse résolution » (400 pixels de largeur) et sans « augmenter » l’algorithme (en d’autres termes, approfondir son entraînement avec des données supplémentaires de type variation du contraste, de la luminosité, de la saturation, de la compression jpeg…).
    • L’algorithme avait accompli la même performance – avec un paramétrage légèrement différent – sur le test à une seule image (AP dans le tableau ; question : « L’image est-elle ou non retouchée ? »).
  2. Sur l’échantillon « Test », destiné à évaluer les capacités de généralisation de l’algorithme :
    • 96 % de réussite en 2AFC, sur des images « haute résolution » (700 pixels de largeur) sans « augmentation ».
    • 94,7 % de réussite en 2AFC, en basse résolution avec augmentation.

algorithme-juin

Les visages… et c’est tout

Les performances se sont sensiblement améliorées avec la version de septembre. Elles se sont surtout « harmonisées », au sens où l’algorithme s’en tire systématiquement mieux avec des images haute résolution et une « augmentation » – ce qui n’était pas le cas en juin.

  1. Sur l’échantillon « Val » :
    • En 2AFC : 100 % de réussite en haute résolution avec augmentation (performance minimale : 98,9 %, en basse résolution, sans augmentation).
    • En AP : 99,8 % de réussite dans les mêmes conditions (et même performance minimale)
  2. Sur l’échantillon « Test » :
    • En 2AFC : 98 % de réussite, aussi bien en haute résolution avec augmentation qu’en basse résolution sans augmentation (performance minimale : 96 %).
    • En AP : 97,4 % de réussite, là aussi en haute résolution avec augmentation (performance minimale : 94,4 %).

algorithme-septembre

Dans l’absolu, l’algorithme ne peut pas détecter les retouches appliquées à autre chose que le visage. Même si ses performances sont correctes (64 % à une image et 85,6 % à deux images).

about-face-detection

Did you find apk for android? You can find new Free Android Games and apps.

  • Adobe

Lire la biographie de l´auteur  Masquer la biographie de l´auteur