Les modèles IA sont toujours surprenants, non seulement dans ce qu’ils peuvent faire, mais aussi dans ce qu’ils ne peuvent pas faire, et pourquoi. Un nouveau comportement intéressant est à la fois superficiel et révélateur de ces systèmes : ils choisissent des nombres aléatoires comme s’ils étaient des êtres humains, c’est-à-dire, mal. Mais d’abord, qu’est-ce que cela signifie ? Les gens ne peuvent-ils pas choisir des nombres au hasard ? Et comment pouvez-vous dire si quelqu’un le fait avec succès ou non ? C’est en fait une limitation très ancienne et bien connue que nous, les humains, avons : nous sur-réfléchissons et ne comprenons pas le hasard.
Demandez à une personne de prédire 100 lancers de pièces, et comparez cela à 100 lancers de pièces réels – vous pouvez presque toujours les distinguer car, de manière contre-intuitive, les vrais lancers de pièces semblent moins aléatoires. Il y aura souvent, par exemple, six ou sept faces ou piles à la suite, quelque chose que presque aucun prédicteur humain n’inclut dans ses 100. C’est la même chose lorsque vous demandez à quelqu’un de choisir un nombre entre 0 et 100. Les gens choisissent presque jamais 1, ou 100. Les multiples de 5 sont rares, tout comme les nombres avec des chiffres répétés comme 66 et 99. Ces choix ne nous semblent pas “aléatoires”, car ils incarnent une certaine qualité: petit, grand, distinctif. Au lieu de cela, nous choisissons souvent des nombres se terminant par 7, généralement quelque part au milieu. Il existe d’innombrables exemples de ce type de prévisibilité en psychologie.
Mais cela n’enlève rien à l’étrangeté quand les IA font la même chose. En effet, certains ingénieurs curieux de Gramener ont mené une expérience informelle mais néanmoins fascinante dans laquelle ils ont simplement demandé à plusieurs grands chatbots LLM de choisir un nombre aléatoire entre 0 et 100. Le lecteur, les résultats n’étaient pas aléatoires.
Les trois modèles testés avaient un numéro “préféré” qui était toujours leur réponse lorsqu’ils étaient mis en mode le plus déterministe, mais qui apparaissait le plus souvent même à des “températures” plus élevées, un réglage que les modèles ont souvent et qui augmente la variabilité de leurs résultats. Le GPT-3.5 Turbo d’OpenAI aime vraiment le numéro 47. Auparavant, il aimait le numéro 42 – un numéro rendu célèbre, bien sûr, par Douglas Adams dans Le Guide du voyageur galactique comme la réponse à la vie, l’univers et tout. Claude 3 Haiku d’Anthropic est allé avec le 42. Et Gemini aime le 72. Plus intéressant encore, les trois modèles ont démontré un biais humain semblable dans les autres chiffres qu’ils ont sélectionnés, même à haute température.
Tous avaient tendance à éviter les nombres faibles et élevés ; Claude n’est jamais allé au-dessus de 87 ou en dessous de 27, et même ceux-ci étaient des valeurs aberrantes. Les doubles chiffres étaient scrupuleusement évités : pas de 33, de 55, ou de 66, mais on a vu apparaître le 77 (se termine par 7). Presque pas de chiffres ronds – bien que Gemini, à la température la plus élevée, se soit déchaîné et ait choisi 0.
Pourquoi cela devrait-il être le cas ? Les IA ne sont pas humaines ! Pourquoi se soucieraient-elles de ce qui “semble” aléatoire ? Ont-elles finalement atteint la conscience et est-ce ainsi qu’elles la montrent ? Non. La réponse, comme c’est généralement le cas avec ces choses, est que nous anthropomorphisons un peu trop. Ces modèles ne se soucient pas de ce qui est et n’est pas aléatoire. Ils ne savent pas ce qu’est “l’aléa” ! Ils répondent à cette question de la même manière qu’ils répondent à toutes les autres : en regardant leurs données d’entraînement et en répétant ce qui a été le plus souvent écrit après une question qui ressemble à “choisissez un nombre aléatoire”. Plus il apparaît souvent, plus le modèle le répète. Où, dans leurs données d’entraînement, verraient-ils le 100, si presque personne ne répond jamais de cette façon ? Pour tout ce que le modèle IA sait, 100 n’est pas une réponse acceptable à cette question. Avec aucune capacité de raisonnement réelle, et aucune compréhension des nombres que ce soit, il ne peut que répondre comme le perroquet stochastique qu’il est.
