Quels impacts de l’IA générative sur le monde de la cybersécurité ? : regards croisés entre Onepoint, Wavestone et Fortinet

Walid Cheriaa, leader conformité, data protection et IA générative chez Onepoint

«  L’IA générative n’arrêtera jamais le crime »

« L’arrivée de l’IA générative dans le monde de la cybersécurité aura les mêmes conséquences que dans les jeux d’échecs. Si on place deux IA face à face, la partie arrive systématiquement au nul.

Transposées dans le monde de la cybersécurité, les IA génératives défendantes face aux IA génératives attaquantes vont se neutraliser.

D’ici à ce que l’on arrive à ce niveau, cela va amener à une réflexion très intéressante : est-ce que la somme à investir sur une IA générative attaquante est justifiée par le gain espéré ?

Les entreprises et les éditeurs vont pouvoir consacrer plus de moyens techniques à développer des IA très entraînées que les attaquants, qui devront investir beaucoup plus de moyens pour construire des IA capables de s’attaquer à ces solutions.

L’IA générative permettra sans doute de réduire les attaques. Elle n’arrêtera jamais le crime, mais elle amènera un niveau de difficulté supplémentaire aux attaquants. »

Gérôme Billois, partenaire chez Wavestone

« Des cyberattaques d’un genre nouveau »

« On a observé au cours de l’année 2023 se développer diverses méthodes pour passer outre les protections mises en place dans les systèmes d’IA génératives, notamment l’attaque de la « grand-mère » et qui fonctionne dans plusieurs cas.

En jouant sur l’empathie, il est possible de faire révéler à l’intelligence artificielle le texte d’un captcha qu’il ne devait pas lire.
Cette technique a aussi été utilisée pour obtenir des clés de licence Windows, etc. L’empathie codée dans le modèle peut s’avérer plus forte que le codage des règles de sécurité…

Autre technique pour contourner ces règles, masquer son objectif.  En faisant écrire de petits fragments de code pour des raisons pédagogiques ou de recherche, un chercheur de ForcePoint a réussi à générer un code malveillant qui n’a pu être détecté par l’ensemble des tests de VirusTotal.

Ce sont des attaques d’un genre totalement nouveau et les systèmes actuels de cybersécurité ne sont pas encore préparés à les détecter. »

Christophe Auberger, CTO de Fortinet

« Le facteur humain est extrêmement important »

« L’intégration des LLM au sein des infrastructures de traitement des informations des entreprises arrive et ce mouvement va s’amplifier. Cela ne pourra pas se faire sans cybersécurité, sans contrôle, et le facteur humain est extrêmement important, car un certain nombre de vulnérabilités sont issues du facteur humain.

Certaines vulnérabilités sont peu connues, notamment les injections rapides pour contourner les blocages naturels du modèle. Il y a aussi des problématiques d’empoisonnement direct ou indirect des données.

Sur les modèles pré-entraînés, outre le jeu de données initial, l’entreprise peut fournir au modèle de nouvelles données pour optimiser ses réponses dans certains domaines. Si ces données sont fausses ou biaisées, on va injecter des données fausses dans le système, ce que le modèle va restituer dans ses réponses. »

Propos recueillis par Alain Clapaud

A lire sur le même sujet

> Cybersécurité et GenAI : au défi des nouvelles menaces