Machine learning : vers une classification dédiée des menaces de sécurité

Catégoriser les menaces contre les systèmes de machine learning : c’est l’objectif du projet open source Adversarial ML Threat Matrix.

L’organisation américaine MITRE, connue notamment pour maintenir le dictionnaire de vulnérabilités de sécurité CVE, supervise la démarche. Airbus, Bosch, IBM, Microsoft, NVIDIA et PwC sont les principales entreprises à s’y être jointes.

L’initiative s’inspire du framework ATT&CK, qui fait office de base de connaissances sur les menaces contre les logiciels. Elle en reprend la structure et la terminologie. Avec toutefois quelques différences. Notamment un code couleur qui distingue les techniques spécifiques aux modèles d’IA (en orange).

(cliquer sur l’image pour l’agrandir)

La matrice s’accompagne de « cas d’étude » sur des systèmes de production. Entre autres :

  • Sur la partie traitement du langage naturel, le modèle GPT-2 d’OpenAI, reproduit à partir d’un autre modèle (Grover) et de jeux de données publics
  • Dans le domaine de la reconnaissance faciale, le détournement de l’IA de ClearView par accès aux données d’entraînement
  • Le contournement du modèle de machine learning qui porte l’offre de protection des messageries électroniques de Proofpoint

Toute démonstration d’une attaque qui affecte l’intégralité, la confidentialité ou la disponibilité des systèmes de machine learning est susceptible de rejoindre cette liste.
En la matière, on se souviendra de l’IA Inception de Google pour la reconnaissance d’images, trompée par la rotation d’objets. Ou encore du pilote automatique de Tesla, perturbé en conditions réelles dans l’identification du marquage au sol par la présence de morceaux d’adhésif blanc sur la chaussée.

Illustration principale © zapp2photo – Fotolia

Recent Posts

Cybersécurité : le Cigref et Kaspersky répondent à l’Appel de Paris

Le Cigref et Kaspersky co-président un groupe de travail de l'Appel de Paris consacré au…

5 heures ago

Assurances cyber : Google crée un raccourci vers son cloud

Google Cloud expérimente un produit d'assurance cyber à souscrire depuis sa console d'admin, à partir…

5 heures ago

Fuite de données : quel est l’impact pour les entreprises ?

Malveillantes ou accidentelles, les fuites de données augmentent avec la généralisation du télétravail. Temps, ressources,…

9 heures ago

Linux : la question lancinante des mises à jour automatiques

Linux Mint revoit le fonctionnement de son gestionnaire de mises à jour. La question de…

9 heures ago

BI : AWS vient côtoyer Microsoft et Salesforce au Magic Quadrant

AWS fait son entrée au Magic Quadrant de la BI. Le trio Microsoft-Tableau-Qlik domine toujours…

12 heures ago

LastPass : la sécurité malgré les trackers ?

Pointé du doigt pour l'usage de modules de suivi dans son application Android, LastPass se…

1 jour ago