Sam Paech a lancé EQ-Bench, un outil de référence visant à évaluer l’intelligence émotionnelle des grands modèles de langage (GML). Contrairement aux évaluations traditionnelles qui privilégient la performance en code ou en mathématiques, EQ-Bench se concentre sur la capacité des IA à comprendre et à réagir aux émotions humaines. À travers 45 scénarios sous forme de jeux de rôle, un modèle nommé Claude joue le rôle de l’examinateur en attribuant des notes sur huit dimensions clés, telles que l’empathie, la finesse sociale ou la capacité à poser des limites dans une conversation. Ce système de notation est inspiré du classement Elo, connu pour le chess, permettant d’établir un classement dynamique des modèles selon leur compétence émotionnelle.
Le projet d’EQ-Bench est entièrement open source et repose sur le financement personnel de Paech. Il s’agit d’une collection de tests spécialisés visant à approfondir la compréhension de l’intelligence émotionnelle des IA. Parmi ces tests, on retrouve des échelles pour mesurer la créativité, l’humour, la capacité de négociation à la manière du jeu Diplomacy, ou encore un Slop Score, qui détecte les indices classiques d’une rédaction générée par une IA, tels que les mots sur-utilisés ou le tic stylistique du “pas X, mais Y”. Cette diversité de tests permet d’obtenir une vision plus complète des qualités émotionnelles des modèles, même si l’évaluation reste subjective et doit être considérée comme une boussole plutôt qu’un verdict définitif.
Ce benchmark vise à objectiver la capacité des IA à comprendre et à exprimer les émotions humaines, un aspect encore peu mesuré dans l’univers de l’intelligence artificielle.
Depuis sa création en 2023, EQ-Bench a connu une évolution régulière, intégrant de nouveaux tests pour mieux cerner ce qui différencie une IA “humaine” d’une autre. Par exemple, des évaluations ont été ajoutées pour vérifier si un modèle sait recadrer une conversation ou faire preuve d’humour, ou encore s’il peut négocier et bluff dans des jeux comme Diplomacy. L’un des tests les plus innovants est le Slop Score, qui traque les signes qu’un texte a été généré par une machine, notamment par l’usage excessif de certains mots ou expressions récurrentes. Ce logiciel permet ainsi, de manière semi-objective, de qualifier la “nature humaine” d’un texte synthétisé par une IA. La démarche offre une nouvelle perspective sur l’évaluation des capacités émotionnelles des modèles, en complément des traditionnelles mesures techniques.
Il est important de noter que Sam Paech insiste sur le fait que ses jugements restent subjectifs. Il ne s’agit pas de fournir des vérités absolues, mais plutôt de fournir des repères pour mieux comprendre les limites et les forces des modèles linguistiques. Selon lui, il est essentiel de continuer à développer des outils spécialisés pour mieux appréhender des qualités essentielles, souvent ignorées dans les tests classiques. Cette initiative pourrait ainsi influencer la conception future des IA plus empathiques et plus naturelles dans leurs interactions humaines.
EQ-Bench représente une étape importante vers une meilleure compréhension de l’intelligence émotionnelle des IA, en proposant une évaluation plus nuancée que les simples performances techniques.
Pour en savoir plus, il est possible de consulter leur site officiel (eqbench.com) ou la publication de recherche qui détaille la méthodologie (arXiv). En proposant une évaluation plus fine de l’aspect émotionnel, EQ-Bench offre un nouvel éclairage sur le potentiel des IA à communiquer de façon plus authentique, plus humaine. Reste à voir si cette approche pourra influencer le futur de l’intelligence artificielle vers davantage d’empathie et de nuances dans leurs interactions avec l’homme.
