Le chercheur principal chez Microsoft, Adrian de Wynter, remet en question les prétentions selon lesquelles les grandes modèles linguistiques (LLM) comme ChatGPT ou Claude posséderaient une véritable compréhension, une morale ou même une conscience. En s’appuyant sur une démonstration originale, il montre qu’un réseau de neurones intégré dans le jeu Age of Empires II affiche des propriétés similaires à celles des LLM, ce qui souligne que ces attributs humains projetés sur l’IA manquent souvent de critères mesurables solides.
Dans son étude, de Wynter explique qu’il a construit un petit réseau de neurones dans Age of Empires II, en exploitant le fait que le jeu est Turing-complet, c’est-à-dire capable de réaliser tout calcul théoriquement possible. En établissant une telle comparaison, il affirme que ce qui est considéré comme une « compréhension » ou une « morale » dans un LLM n’est en réalité rien d’autre qu’une émergence dans un substrat complexe, mais mesurable et reproductible. Il souligne également que des activités menées dans divers autres systèmes, comme des LEGO ou même la ville de Boston, peuvent créer des comportements similaires en termes de complexité et d’émergences.
Il faut cesser de projeter des attributs humains sur l’IA sans critères précis, car cela ne repose souvent que sur des attentes, pas sur des mesures concrètes.
De Wynter invite donc à adopter une démarche scientifique basée sur une hypothèse nulle : ne pas supposer que l’IA possède des qualités humaines intrinsèques, mais plutôt laisser l’expérience et des mesures explicites établir si tel ou tel attribut est réellement présent. À terme, il considère que cette approche pourrait corriger la tendance à crier à l’émergence dès qu’un modèle effectue une tâche inattendue. Ayant déjà expérimenté avec GPT-4 dans des contextes variés, tels que le jeu Doom en 2024, il insiste sur le fait que les expériences de ce type manquent souvent de rigueur dans la recherche en IA, ce qui peut mener à des conclusions biaisées ou peu fondées.
En démontrant que Age of Empires II est apte à réaliser tout calcul de manière théorique, grâce à sa Turing-completude, il rappelle que des actions de programmation dans les jeux vidéo existent depuis longtemps, mais qu’en établir une preuve formelle est une avancée importante. Cependant, tout ceci s’accompagne d’un message de prudence : prêter des intentions ou une compréhension humaine à une IA peut conduire à une confiance excessive et des comportements à risque, comme confier des informations personnelles ou s’y attacher émotionnellement. La comparaison entre un réseau neuronal intégré dans un jeu vidéo et un modèle de langage avancé sert à illustrer que ces « attributs humains » peuvent aussi bien surgir là où on ne l’attend pas, tant qu’on ne dispose pas de critères d’évaluation précis.
Pour conclure, de Wynter insiste sur la nécessité d’une approche critique et mesurable face aux prétentions de l’IA : « Ajoutez une pincée de scepticisme chaque fois qu’on vous vend une IA comme étant consciente ou comprenant, car au fond, même des petits paysans dans Age of Empires II ont une conscience aussi avancée que beaucoup d’IA modernes. »
