Pour gérer vos consentements :

Machine learning : Meta tente une approche « privacy »

Intel, HPE, Google… Qui n’a pas son architecture d’apprentissage fédéré ? Tous les trois ont exploré cette approche dont le concept fondamental peut se résumer ainsi : comment entraîner des modèles sans centraliser les données utilisées à ces fins ? En toile de fond, des logiques de réduction des coûts, des goulets d’étranglements techniques, des problèmes de sécurité et des enjeux juridiques.

Le premier y a couplé, sous la bannière du Private AI Collaborative Research Institute, la dimension de l’informatique dite « confidentielle ». Avec le chiffrement homomorphe comme pilier. Le second y a notamment associé une brique blockchain destinée à décentraliser complètement le partage des connaissances qu’acquièrent les modèles. Quant au troisième, il mise, entre autres, sur la notion de « vie privée différentielle ». En l’occurrence, l’exploitation de techniques mathématiques pour rendre le plus anonymes possible les résultats produits en local.

Meta creuse aussi cette piste. Ses recherches en la matière ont fait l’objet d’un rapport récemment publié. Y est décrite une architecture appliquée aux réseaux de neurones et censée éliminer plusieurs problèmes que pose l’apprentissage fédéré. Notamment sur les enjeux suivants :

– Assurer une distribution équilibrée des données d’entraînement, normaliser les fonctions des modèles et évaluer leurs performances
– Garder les différentes copies du modèle à jour, maintenir suffisamment d’appareils dans la boucle et limiter la durée des cycles d’entraînement
– Anonymiser les logs sans réduire leur qualité

Se rapprocher des performances de l’apprentissage centralisé

L’architecture – schématisée ci-dessous – implique un environnement d’exécution sécurisé comportant deux serveurs. L’un gère, en boucle, la distribution des copies du modèle, l’agrégation de leurs poids et la mise à jour du modèle central. L’autre aide à normaliser les fonctions et à équilibrer les données d’entraînement. Sur ce dernier point, il doit pallier le fait qu’aucune information n’est partagée entre appareils et que le calcul de la rétropropagation se fait en local.

L’environnement d’exécution sécurisé se présente comme une extension des devices. Il travaille ainsi en tandem avec eux pour l’évaluation des fonctions et des étiquettes. Les statistiques qui en résultent sont stockées dans un même magasin de données. Au bout de la chaîne, elles atterrissent dans les datacenters de Meta, sous une forme agrégée censée ne pas permettre la réidentification d’utilisateurs.

Pour ce qui est de garder les copies du modèle à jour, Meta a fait en sorte qu’un maximum de fonctions ne dépendent pas d’un update d’application. Il a, par exemple, implémenté certaines fonctions dans un script torch plutôt qu’en code natif.

Illustration principale © Siarhei – Adobe Stock

Recent Posts

Après la NAND, Intel dit stop à la gamme Optane

Après avoir vendu son activité NAND, Intel tire un trait sur la technologie 3D XPoint,…

3 semaines ago

Google Analytics : la Cnil a posé les règles du jeu

Près de six mois ont passé depuis de que la Cnil a déclaré l'usage de…

3 semaines ago

Truffle 100 France : le top 20 des éditeurs de logiciels

Truffle 100 France : qui sont les 21 entreprises qui ont dépassé, en 2021, les…

3 semaines ago

Cloud : AWS brocarde les politiques de licences Microsoft

Un dirigeant d'Amazon Web Services dénonce des "changements cosmétiques" apportés par Microsoft à ses politiques…

3 semaines ago

Sécurité du code au cloud : Snyk Cloud, un joker pour développeurs

Snyk officialise le lancement de sa solution de sécurité cloud pour développeurs, Snyk Cloud, fruit…

3 semaines ago

Cegid accroche Grupo Primavera à son tableau d’acquisitions

Cegid va absorber Grupo Primavera, plate-forme de logiciels de gestion d'entreprise née dans la péninsule…

3 semaines ago