L’IA des voitures autonomes tombe dans le panneau…modifié

Une équipe de 8 chercheurs a démontré que les voitures autonomes et plus encore le système d’apprentissage automatique embarqué pouvaient être abusés en modifiant les panneaux de signalisation. L’idée derrière ces travaux (Robust Physical-World Attacks on Machine Learning Models) est de démontrer les possibilités mises à disposition pour un attaquant afin de tromper les voitures autonomes et leur faire prendre des décisions fatales pour les passagers.

Parmi ces possibilités, un attaquant peut imprimer une nouvelle signalétique et la superposer sur l’existante ou ajouter des petits autocollants sur un panneau pour leurrer la voiture autonome qui estime voir un autre panneau. Dans le premier cas, ni l’œil humain, ni l’IA embarquée ne peuvent voir la tromperie. Par contre, dans le deuxième cas, seule l’IA risque de mal comprendre la signalétique.

67% à 100% d’erreurs

Les chercheurs ont donc modifié plusieurs panneaux (cf image ci-dessous) de signalisation afin de démontrer l’impact de ces changements sur les véhicules autonomes. Sur un sens interdit, ils ont posé des autocollants pour former la phrase amour et haine et l’IA a considéré ce panneau comme étant celui limitant la vitesse dans 100% des cas. En posant juste des petits autocollants au hasard sur le panneau sens interdit ou peignant quelques graffitis, l’IA estime aussi qu’il s’agit du panneau de limitation de vitesse dans 67% des cas. Enfin, sur la dernière image, une affiche imprimée d’un panneau pour tourner à droite a été mal interprétée par l’IA du véhicule en le considérant dans 100% des cas comme un stop.

Ces découvertes montrent que les collectivités territoriales et l’Etat vont devoir veiller à ce que les panneaux de signalisation soient propres et sans taches. Un défi pour les villes intelligentes. Pour lutter contre ces risques, les chercheurs préconisent l’usage de matériaux antiadhésifs pour les panneaux de signalisation. Les constructeurs devront apprendre aux IA des choses logiques comme l’absence de panneaux stop sur des autoroutes par exemple.

Waymo confie la maintenance de ses voitures autonomes à Avis