Pour gérer vos consentements :

Machine learning : vers une classification dédiée des menaces de sécurité

Catégoriser les menaces contre les systèmes de machine learning : c’est l’objectif du projet open source Adversarial ML Threat Matrix.

L’organisation américaine MITRE, connue notamment pour maintenir le dictionnaire de vulnérabilités de sécurité CVE, supervise la démarche. Airbus, Bosch, IBM, Microsoft, NVIDIA et PwC sont les principales entreprises à s’y être jointes.

L’initiative s’inspire du framework ATT&CK, qui fait office de base de connaissances sur les menaces contre les logiciels. Elle en reprend la structure et la terminologie. Avec toutefois quelques différences. Notamment un code couleur qui distingue les techniques spécifiques aux modèles d’IA (en orange).

(cliquer sur l’image pour l’agrandir)

La matrice s’accompagne de « cas d’étude » sur des systèmes de production. Entre autres :

  • Sur la partie traitement du langage naturel, le modèle GPT-2 d’OpenAI, reproduit à partir d’un autre modèle (Grover) et de jeux de données publics
  • Dans le domaine de la reconnaissance faciale, le détournement de l’IA de ClearView par accès aux données d’entraînement
  • Le contournement du modèle de machine learning qui porte l’offre de protection des messageries électroniques de Proofpoint

Toute démonstration d’une attaque qui affecte l’intégralité, la confidentialité ou la disponibilité des systèmes de machine learning est susceptible de rejoindre cette liste.
En la matière, on se souviendra de l’IA Inception de Google pour la reconnaissance d’images, trompée par la rotation d’objets. Ou encore du pilote automatique de Tesla, perturbé en conditions réelles dans l’identification du marquage au sol par la présence de morceaux d’adhésif blanc sur la chaussée.

Illustration principale © zapp2photo – Fotolia

Recent Posts

Bug Bounty : le Pentagone s’offre (encore) les services de hackers

Six ans après son premier bug bounty, le Département de la défense des Etats-Unis lance…

3 heures ago

Typosquatting de dépendances : gare à cette pratique résiduelle

Des chercheurs attirent l'attention sur une campagne de diffusion de code malveillant par l'intermédiaire de…

6 heures ago

Salaires IT : à qui profite le dégel des rémunérations ?

La part des cadres de la fonction informatique qui bénéficient d'une hausse de rémunération retrouve…

7 heures ago

Quels standards pour la cryptographie post-quantique ?

À l'issue d'une procédure de six ans, le NIST a sélectionné quatre algorithmes à standardiser…

7 heures ago

DMA, DSA : une régulation à la hauteur des « Big Tech » ?

Le Parlement européen a définitivement adopté le DMA et le DSA ce 5 juillet. Des…

12 heures ago

DevSecOps : Snyk plie mais ne rompt pas

Snyk rejoint la liste de licornes de la cybersécurité qui réduisent leurs effectifs pour affronter…

1 jour ago