IA : le scénario d’une dérive malveillante se précise

« Un point de Godwin technologique ». C’est en tout cas ce que Thierry Berthier, maître de conférences en mathématiques et cybersécurité de la chaire de cyberdéfense de Saint-Cyr à l’université de Limoges, croit déceler dans tous les articles sur l’IA. En toile de fond, la crainte de dérives, à plus ou moins long terme, des intelligences artificielles, qui finirait par donner une coloration anxiogène au traitement médiatique du sujet dans son ensemble.

Pour expliquer cette tonalité négative, le chercheur note l’influence de la lettre ouverte publiée en juillet 2015 à l’initiative de l’homme d’affaires Elon Musk et du physicien Stephen Hawking et appelant à refuser l’utilisation de l’IA dans le domaine militaire. « Pourtant, aucun argument tangible et rationnel justifiant d’une potentielle dérive malveillante ne figurait dans cette première mise en garde », écrit Thierry Berthier, dans un article publié sur The Conversation.

Une IA sans volonté de nuire

Ce dernier, associé à Jean-Gabriel Ganascia (UPMC–LIP6), Olivier Kempf (IRIS), s’est donc lancé dans l’élaboration d’un scénario de dérive malveillante de l’IA. « Notre approche nous a conduit à nous intéresser à la construction d’un scenario impliquant plusieurs IA et pouvant aboutir à une situation de crise dans un contexte militaire », écrit le chercheur. En l’occurrence, un conflit impliquant l’OTAN et d’autres grands acteurs.

Point remarquable, ce premier scénario, qui doit être détaillé dans un article à paraître début 2017 dans la Revue de la Défense Nationale, ne fait intervenir que des capacités ou fonctionnalités de l’IA, « existantes ou en cours de développement, notamment dans les récents programmes initiés par la Darpa », l’agence américaine pour les projets de recherche avancée de défense. L’hypothèse ne nécessite pas davantage que la machine impliquée soit dotée d’une volonté de nuisance, ni même d’une compréhension de son environnement et de son activité. « Contrairement à la lettre ouverte d’ Hawking-Musk qui postulait l’avènement d’une IA forte et d’une forme de singularité technologique, notre travail se situe à un échelon bien plus modeste et pragmatique puisque nous nous restreignons à la technologie existante », résume Thierry Berthier. Ce dernier précise également que l’hypothèse mise sur pied par les chercheurs ne fait pas appel au hacking.

« Nous sommes convaincus que le risque (et le danger) de dérive malveillante s’incarne dans des séquences de mécanismes relevant de l’intelligence artificielle, de systèmes d’apprentissage qui, associés ou mis bout à bout, deviennent potentiellement dangereux sans que chacun de ces mécanismes pris individuellement le soit », conclut le chercheur.

A lire aussi :

Lecture sur les lèvres : l’IA fait désormais mieux que l’homme

Carnegie Mellon se penche (à son tour) sur l’éthique de l’IA

Une IA pour piloter le datacenter du futur ?