Comment Pinterest a implémenté la détection d’anomalies
Pinterest évoque la mise en œuvre de sa plate-forme de détection d’anomalies face au spam et à la dérive des modèles de machine learning.
Automatiser l’analyse des causes premières ? Il y a les modèles GPT pour ça. La fintech française Younited a en tout cas fait ce choix. Nous nous en étions fait l’écho la semaine passée.
Chez Pinterest, pas de GPT pour l’analyse des causes premières – tout du moins officiellement. L’entreprise projette, en revanche, d’aborder ce cas d’usage avec sa plate-forme Warden.
Cette dernière constitue son socle pour la détection d’anomalies. Elle est modulaire, au sens où des briques fonctionnelles distinctes gèrent respectivement l’ingestion de données, leur analyse et le traitement des résultats.
Pinterest utiliser PSI pour repérer les dérives du machine learning…
Warden sert notamment à détecter les dérives des modèles d’apprentissage automatique. Pinterest s’appuie pour le moment sur l’algorithme PSI (Population Stability Index) avec, comme base de comparaison, des données historiques.
L’algorithme divise cette data en compartiments et donne à chacun un score en fonction du pourcentage de données qu’il contient. La somme de ces scores donne un « score PSI ». Plus il est élevé, plus la dérive est importante.
Pinterest a opté pour une fenêtre temporelle de trois heures, avec un recalcul des scores toutes les trois à cinq minutes. Il compte intégrer, à l’avenir, d’autres algos, dont KLD/JSD (Kullback-Leibler Divergence/Jensen-Shannon Divergence). Ainsi que d’autres méthodes de comparaison, notamment entre environnements (staging vs prod, par exemple).
… et EGADS pour détecter le spam
Warden sert aussi à la détection de spam. Dans le contexte de Pinterest, il s’agit des épingles contenant des liens indésirables.
On a décidé de s’appuyer sur EGADS (Extensible Generic Anomaly Detection System). Ce framework made in Yahoo prédit des données futures à partir de données historiques. Il compare cette prédiction aux données réelles et détecte ainsi les écarts.
La première version du système récupère, en quasi-temps réel dans un cluster Apache Druid, des données horodatées. Un connecteur Presto a été ajouté pour de futurs projets. En bout de chaîne, un outil de visualisation permet d’affiner l’analyse. Les alertes partent sur Slack et par mail, entre autres.
Photo d’illustration © Sergey – Adobe Stock
