Pour gérer vos consentements :

Deep learning : comment réduire l’effet « boîte noire » ?

Comment justifier les résultats que produisent les réseaux de neurones artificiels ? Deux écoles de pensée se distinguent. L’une se fonde sur des méthodes d’explication a posteriori. L’autre, sur des modèles « intrinsèquement interprétables ».

Trois chercheurs ont récemment publié un rapport fruit de travaux relevant de la seconde approche. Ils l’ont appliquée à la vision par ordinateur. Avec, comme levier, une transformation linéaire commune en data science : le blanchissement. Et comme cible, l’espace latent, où les réseaux neuronaux représentent les concepts qu’ils apprennent.

La démarche implique de modifier légèrement l’architecture du modèle qu’on souhaite interpréter. On y intègre pour cela un module qui  normalise et décorrèle les axes de l’espace latent afin que les concepts s’y alignent. En contraignant ainsi cet espace, on évite la dissémination des informations relatives aux concepts. Et on peut donc potentiellement mieux comprendre, de couche en couche, comment le modèle les assimile.

a : non normalisé ; b : non décorrélé ; c : normalisé et décorrélé

Deep learning : échange transparence contre performance ?

Ce n’est pas, et de loin, la première initiative consistant à modifier la structure de modèles de deep learning pour les rendre plus « lisibles ». Mais dans le cas présent, on nous avance, benchmarks à l’appui, un atout : une dégradation quasi nulle des performances. De l’ordre de quelques dixièmes de pourcent en l’occurrence.

Les chercheurs ont exploité le jeu de données MS COCO pour apporter des concepts d’intérêt destinés à structurer l’espace latent. Puis ils ont mis à l’épreuve des algorithmes populaires de deep learning. Avec les résultats ci-dessus (produits sur le jeu de données Places365).

Sur les couches les plus basses des réseaux neuronaux, limitées en complexité, les concepts ont tendance à reposer sur des informations « primaires » comme la texture et la couleur. Plus on descend, plus les images qui les représentent sont sémantiquement proches. On le voit ci-dessous pour les concepts d’avion, de lit et de personne.

Illustration principale © psdesign1 – Fotolia

Recent Posts

IA : le joker des équipes perdues dans le Big data

Les professionnels se tourneraient volontiers vers l'IA pour rationaliser la recherche de données et renforcer…

6 heures ago

De la Bretagne au Luberon, la France toujours sous le feu des ransomwares

Emballage, agroalimentaire, collectivité territoriale... La diversité des profils reste de mise chez les dernières victimes…

8 heures ago

Open source : Singularity devient Apptainer sur fond de querelles intestines

En conflit avec son entité commerciale, le projet communautaire Singularity (plate-forme de conteneurs HPC) change…

12 heures ago

Hyperconvergence logicielle : qui sont les principaux fournisseurs ?

Qui sont les têtes d'affiche de l'hyperconvergence logicielle et qu'attendre de leurs offres respectives ?…

14 heures ago

Cyberscore : comment le « Nutri-Score de la cyber » prend forme

Forme, portée, mise en œuvre... Plus d'un an après le dépôt de la proposition de…

1 jour ago

AWS re:Invent 2021 : les annonces au premier jour

Comment évolue la stratégie produit d'AWS ? Retour sur quelques annonces qui ont jalonné la…

1 jour ago