Machine learning : vers une classification dédiée des menaces de sécurité

Catégoriser les menaces contre les systèmes de machine learning : c’est l’objectif du projet open source Adversarial ML Threat Matrix.

L’organisation américaine MITRE, connue notamment pour maintenir le dictionnaire de vulnérabilités de sécurité CVE, supervise la démarche. Airbus, Bosch, IBM, Microsoft, NVIDIA et PwC sont les principales entreprises à s’y être jointes.

L’initiative s’inspire du framework ATT&CK, qui fait office de base de connaissances sur les menaces contre les logiciels. Elle en reprend la structure et la terminologie. Avec toutefois quelques différences. Notamment un code couleur qui distingue les techniques spécifiques aux modèles d’IA (en orange).

(cliquer sur l’image pour l’agrandir)

La matrice s’accompagne de « cas d’étude » sur des systèmes de production. Entre autres :

  • Sur la partie traitement du langage naturel, le modèle GPT-2 d’OpenAI, reproduit à partir d’un autre modèle (Grover) et de jeux de données publics
  • Dans le domaine de la reconnaissance faciale, le détournement de l’IA de ClearView par accès aux données d’entraînement
  • Le contournement du modèle de machine learning qui porte l’offre de protection des messageries électroniques de Proofpoint

Toute démonstration d’une attaque qui affecte l’intégralité, la confidentialité ou la disponibilité des systèmes de machine learning est susceptible de rejoindre cette liste.
En la matière, on se souviendra de l’IA Inception de Google pour la reconnaissance d’images, trompée par la rotation d’objets. Ou encore du pilote automatique de Tesla, perturbé en conditions réelles dans l’identification du marquage au sol par la présence de morceaux d’adhésif blanc sur la chaussée.

Illustration principale © zapp2photo – Fotolia

Recent Posts

Splunk acquiert Flowmill start-up de surveillance réseau

Le spécialiste de l'analyse de données machine Splunk enrichit son Observability Suite avec la solution…

1 heure ago

Syntec Numérique et Tech in France vont fusionner en 2021

Une fois la fusion opérée, la nouvelle organisation du numérique en France représentera 65 Mds…

4 heures ago

Conteneurs : Canonical livre LTS Docker Image Portfolio

Canonical fournit sur Docker Hub un ensemble d'images de conteneurs applicatifs sécurisés incluant jusqu'à 10…

6 heures ago

Ransomware : Egregor fait son nid en France

La liste des entreprises françaises figurant parmi les revendiquées d'Egregor s'allonge. Ouest-France l'a récemment rejointe.

7 heures ago

« Score de productivité » Microsoft 365 : la crainte d’une surveillance au travail

Des voix s'élèvent contre le « score de productivité » intégré à Microsoft 365. assimilé…

9 heures ago

Smartphones et tablettes : Apple fait plus que résister en Europe

Apple échappe au repli des ventes de smartphones en Europe de l'Ouest et tire profit…

1 jour ago