Le laboratoire de recherche Thinking Machines, dirigé par Mira Murati et financé à hauteur de 2 milliards de dollars, suscite un grand intérêt dans le domaine de l’intelligence artificielle. Avec une équipe impressionnante composée d’anciens chercheurs d’OpenAI, le laboratoire a récemment dévoilé l’un de ses projets via un article de blog intitulé « Defeating Nondeterminism in LLM Inference ». Ce billet traite de la problématique de la variabilité des réponses des modèles d’IA, un phénomène largement accepté dans la communauté, mais que le laboratoire considère comme un problème pouvant être résolu.
L’article, rédigé par le chercheur Horace He, explore les raisons fondamentales derrière l’aléatoire observé dans les réponses générées par l’IA. Par exemple, lorsqu’on interroge ChatGPT plusieurs fois avec la même question, on constate une grande diversité dans les réponses. Cette variabilité est souvent attribuée à la nature non déterministe des systèmes d’IA actuels. Cependant, le Thinking Machines Lab soutient qu’en contrôlant de manière plus précise les couches d’orchestration lors du traitement d’inférence, il est possible de rendre les modèles d’IA plus déterministes.
Le réel défi pour Thinking Machines Lab sera de résoudre ces problèmes et de créer des produits autour de sa recherche pour justifier son évaluation de 12 milliards de dollars.
En rendant les réponses des modèles d’IA plus fiables, le laboratoire espère également améliorer le processus d’apprentissage par renforcement (RL), qui consiste à récompenser les modèles d’IA pour des réponses correctes. Si les réponses sont par nature variables, les données peuvent devenir bruitées, rendant le processus moins efficace. Horace He argue qu’une plus grande cohérence dans les réponses générées pourrait donc rendre l’apprentissage par renforcement plus fluide.
Mira Murati, ancienne directrice technique d’OpenAI, a annoncé en juillet que le produit phare de Thinking Machines Lab serait révélé dans les mois à venir, et qu’il serait spécifiquement conçu pour les chercheurs et les startups développant des modèles personnalisés. Bien que le type exact de ce produit reste flou, il est plausible qu’il intègre les techniques explorées dans cette recherche pour améliorer la cohérence des réponses.
Thinking Machines Lab entend également publier régulièrement des billets de blog et d’autres informations sur ses recherches, dans un effort pour “bénéficier au public, tout en améliorant notre culture de recherche”. En offrant un aperçu rare d’une des startups d’IA les plus secrètes de la Silicon Valley, ce premier article de la série « Connectionism » semble être un pas vers une plus grande transparence, similaire à l’engagement d’OpenAI envers la recherche ouverte à ses débuts.
