Pour gérer vos consentements :

Test de Turing : le succès du chatbot Eugene est contesté

Lors d’une compétition à la Royal Society de Londres le 7 juin dernier, le programme informatique Eugene Goostman serait parvenu à duper 33% de ses interlocuteurs humains pendant une conversation de 5 minutes. Le jury a pensé que le dispositif était un jeune garçon de 13 ans, d’origine ukrainienne… Le programme de type chatter bot ou chatbot du russe Vladimir Veselov aurait ainsi passé le « test de Turing », selon l’université britannique de Reading. Mais la communauté scientifique conteste cette performance qualifiée d’historique par ses promoteurs.

Un grand pas pour l’intelligence artificielle ?

Le test de Turing, du nom de son inventeur, le mathématicien britannique Alan Turing, a été conçu en 1950 pour évaluer la faculté d’une machine à imiter la conversation humaine. Ce test d’intelligence artificielle consiste à mettre en confrontation verbale un jury avec un humain et un ordinateur. Les échanges se font à l’aveugle. Si plus de 30% des membres du jury ne distinguent pas l’humain de la machine sur une période donnée, alors le test est considéré comme réussi. Le programme Eugene a franchi le seuil. Mais les critiques, des chercheurs de Google à ceux de l’Institut de technologie du Massachusetts (MIT), doutent de la pertinence du procédé et déplorent l’absence, à ce jour, de détails scientifiques concernant l’épreuve du 7 juin.

« La définition du test de Turing varie d’une personne à l’autre… Les premières revendications sur les machines ayant passé le test seront donc démystifiées par des observateurs bien informés, y compris moi-même », a déclaré Ray Kurzweil, directeur de l’ingénierie chez Google, dans un billet daté du 10 juin. Selon lui, la portée de la performance annoncée par le professeur Kevin Warwick de Reading est limitée. « Le chatbot se fait passer pour un enfant de 13 ans dont l’anglais n’est pas la langue maternelle, il s’agit d’une limite, assure l’ingénieur. De plus, les interactions auraient été limitées à cinq minutes chacune. La probabilité de tromper des juges naïfs dans un laps de temps si court est forte. »