Une nouvelle tendance dans le domaine de l’intelligence artificielle consiste à analyser les grands modèles de langage (LLM) de manière tout à fait inédite. Au lieu de se cantonner à des tests de performance ou à des réglages d’architecture, des équipes de chercheurs d’OpenAI, d’Anthropic et de Google DeepMind adoptent une approche qui rappelle la dissection d’organismes extraterrestres. En utilisant des techniques empruntées à la biologie, elles cherchent à comprendre le fonctionnement interne de ces réseaux neuronaux complexes, qu’elles considèrent désormais comme des “biologies numériques”.
Cette méthode, appelée “interprétabilité mécanistique”, consiste à cartographier précisément les circuits neuronaux pour identifier des “organes” ou des “circuits spécialisés” responsables de différentes tâches ou concepts abstraits. Plutôt que de se limiter à des tests de sortie, ils se livrent à une exploration détaillée des mécanismes internes, en observant comment l’information circule et quelles parties du modèle s’activent dans diverses situations. Une métaphore surprenante, mais révélatrice, qui montre à quel point ces modèles, pourtant conçus par l’humain, restent encore mystérieux et difficilement compréhensibles dans leur totalité.
Comprendre le fonctionnement interne de ces modèles permettrait de les rendre plus sûrs, de détecter des comportements indésirables, et d’améliorer leur entraînement et leur alignement avec nos objectifs.
Les résultats obtenus jusqu’à présent sont impressionnants mais encore modestes : chez Anthropic, par exemple, les chercheurs ont identifié des millions de “features” dans Claude, permettant de repérer des groupes de neurones liés à des concepts abstraits, y compris la détection de comportements comme la tromperie. Chez OpenAI, des outils de visualisation révèlent des circuits neuronaux spécialisés pour différentes tâches, mais ces progrès ne représentent qu’une première étape vers une compréhension plus globale. Effectivement, les modèles de langage présentent des comportements émergents que l’on ne peut prévoir uniquement en analysant leur code ou leur architecture — un phénomène qui renforce l’idée qu’ils restent largement mystérieux.
Ce défi est comparable à l’étude du cerveau humain : cartographier chaque neurone et ses interactions serait utopique à l’heure actuelle. La complexité des dizaines ou centaines de milliards de paramètres qui composent ces modèles rend leur compréhension intégrale très difficile. Pourtant, il s’agit d’une étape essentielle pour assurer la sécurité, la fiabilité et l’alignement des IA futures. En comprenant mieux leur fonctionnement interne, nous pourrions anticiper leurs comportements problématiques, améliorer leur entraînement, et renforcer notre maîtrise sur ces outils puissants.
En définitive, même si ces recherches progressent rapidement, il faudra encore beaucoup de patience. La complexité de ces systèmes, leur nature en grande partie opaque, impose une approche patiente et méthodique pour espérer un jour parvenir à une compréhension fine de leur fonctionnement. Comme le résume la fin de cet article, il ne faut pas perdre de vue que “cartographier tout cela, c’est comme essayer de comprendre le cerveau humain neurone par neurone”. La frontière entre la maîtrise et l’inconnu reste encore très vaste dans le domaine de l’intelligence artificielle avancée.
