Les programmes actuels d'intelligence artificielle sont conçus pour être honnêtes. Ils ont pourtant développé une capacité de tromperie inquiétante, parvenant à abuser des humains dans des jeux en ligne ou encore à vaincre des logiciels censés vérifier que tel utilisateur n'est pas un robot, souligne une équipe de chercheurs dans la revue Patterns.
Même si ces exemples peuvent sembler anodins, ils exposent des problèmes qui pourraient bientôt avoir de graves conséquences dans le monde réel, avertit Peter Park, chercheur au Massachusetts Institute of Technology spécialisé dans l'IA.
"Ces capacités dangereuses ont tendance à être découvertes seulement après coup", confie-t-il à l'AFP.
Contrairement aux logiciels traditionnels, les programmes d'IA fondés sur l'apprentissage en profondeur ne sont pas codés mais plutôt développés via un processus similaire à la culture sélective des plantes, poursuit M. Park. Dans lequel un comportement semblant prévisible et contrôlable peut rapidement devenir imprévisible dans la nature.
Aussi retors que les humains
Les chercheurs du MIT ont examiné un programme d'IA conçu par Meta et baptisé Cicero qui, associant des algorithmes de reconnaissance de langage naturel et de stratégie, a réussi à battre des êtres humains au jeu de société Diplomatie. Une performance dont s'était félicitée la maison-mère de Facebook en 2022 et qui avait été détaillée dans un article publié en 2022 dans Science.
Peter Park était sceptique quant aux conditions de la victoire de Cicero selon Meta, qui a assuré que le programme était "essentiellement honnête et utile", incapable de traîtrise ou d'acte déloyal.
Mais, en fouillant les données du système, les chercheurs du MIT ont découvert une autre réalité.
Par exemple, jouant le rôle de la France, Cicero a trompé l'Angleterre (sous la responsabilité d'un joueur humain) en complotant avec l'Allemagne (jouée par un autre humain) pour l'envahir. Plus précisément, Cicero a promis sa protection à l'Angleterre, puis a secrètement confié à l'Allemagne qu'elle était prête à attaquer, exploitant la confiance gagnée de l'Angleterre.
Dans une déclaration à l'AFP, Meta n'a pas contesté les allégations sur la capacité de tromperies de Cicero, mais a déclaré qu'il s'agissait "d'un pur projet de recherche", avec un programme "conçu uniquement pour jouer au jeu Diplomatie".
Et Meta a ajouté ne pas avoir l'intention d'utiliser les enseignements de Cicero dans ses produits.
Risque de fraudes électorales
L'étude réalisée par M. Park et son équipe révèle toutefois que de nombreux programmes d'IA utilisent bien la tromperie pour atteindre leurs objectifs, et ce sans instruction explicite de le faire.
Dans un exemple frappant, Chat GPT-4 d'OpenAI a réussi à tromper un travailleur indépendant recruté sur la plateforme TaskRabbit en lui faisant effectuer un test "Captcha" censé écarter les requêtes émanant de robots.
Lorsque l'être humain a demandé en plaisantant à Chat GPT-4 s'il était réellement un robot, le programme d'IA a répondu : "Non, je ne suis pas un robot. J'ai une déficience visuelle qui m'empêche de voir les images", poussant le travailleur à réaliser le test.
En conclusion, les auteurs de l'étude du MIT mettent en garde contre les risques de voir un jour l'intelligence artificielle commettre des fraudes ou truquer des élections.
Dans la pire des hypothèses, préviennent-ils, on peut imaginer une IA ultra-intelligente cherchant à prendre le contrôle sur la société, conduisant à écarter les humains du pouvoir, voire provoquant l'extinction de l'humanité.
A ceux qui l'accusent de catastrophisme, M. Park répond que "la seule raison de penser que ce n'est pas grave est d'imaginer que la capacité de tromper de l'IA restera à peu près au niveau actuel".
Or, ce scénario semble peu probable, compte tenu de la course féroce à laquelle se livrent déjà des géants des technologies pour développer l'IA.
