Vous souvenez-vous du film Psychose, et de Norman Bates, son personnage glaçant aux multiples personnalités ? C’est en référence à ce dernier que les chercheurs du MIT ont baptisé leur nouvelle IA « Norman ». Sa spécificité ? Il s’agirait de « la première intelligence artificielle psychopathe au monde ».

Bien sûr, les scientifiques ne se sont pas lancés dans ce projet par pure curiosité morbide. Leur volonté était plutôt de démontrer que « les données utilisées pour enseigner à un algorithme de machine learning peuvent influencer son comportement de manière significative ». Et que lorsqu’on accuse les algorithmes d’être biaisés, « le coupable n’est généralement pas l’algorithme lui-même, mais plutôt les données utilisées pour l’alimenter ».

Lorsque l’IA standard voit « deux personnes se tenant face à face », Norman perçoit plutôt « un homme se jetant par une fenêtre »

Cette IA dédiée à la description d’images a été entraînée avec des clichés macabres dénichés sur Reddit. Les chercheurs lui ont ensuite fait passer le test de Rorschach (les fameuses tâches d’encre). Ils ont comparé ses réponses avec une intelligence artificielle « standard », entraînée sur des clichés plus neutres. Lorsque cette dernière voit « deux personnes se tenant face à face », Norman perçoit plutôt « un homme se jetant par une fenêtre ».  De même, quand l’IA normale décrit une personne tenant un parapluie, Norman légende l’image par « un homme tué par balle devant sa femme qui hurle ». Des interprétations radicalement différentes…

À travers ces recherches, les chercheurs souhaitent montrer la perception du monde d’une IA lorsqu’elle se heurte aux data les plus sombres d’Internet… et ainsi alerter sur les dangers de l’intelligence artificielle lorsqu’elle se base sur des données biaisées. Une expérience qui n’est pas sans rappeler Tay, l’IA de Microsoft. Celle-ci était devenue nazie en moins de 24h. En cause ? Des propos haineux et racistes, proférés par des trolls qui souhaitaient tester ses limites. De précédentes études du MIT avaient également révélé les biais de la reconnaissance faciale, plus précise sur les peaux claires que sur les peaux foncées. La raison ? Une surreprésentation des hommes à la peau claire dans les bases de données utilisées pour entraîner leurs programmes.

Et si vous aidiez Norman à « se réparer » ?

Heureusement, Norman peut apprendre à devenir meilleur. Les internautes sont invités à « l’aider à se réparer » en réalisant eux-mêmes le test de Rorschach en ligne. En donnant sa propre description des tâches d’encre, chacun peut enrichir la base de données de l’IA avec des légendes moins sinistres, et ainsi contribuer à l’améliorer… À condition de ne pas voir soi-même des morts violentes dans chacune des images !