Appelons cela une renaissance du raisonnement. À la suite de la sortie du modèle de raisonnement o1 de OpenAI, nous assistons à une explosion de modèles de raisonnement provenant d’autres laboratoires d’IA concurrents. Au début du mois de novembre, DeepSeek, une entreprise de recherche en IA financée par des traders quantitatifs, a lancé un aperçu de son premier algorithme de raisonnement, DeepSeek-R1. Le même mois, l’équipe Qwen de Alibaba a dévoilé ce qu’elle prétend être le premier challenger “ouvert” à o1. Qu’est-ce qui a ouvert les vannes? Eh bien, pour un, la recherche de nouvelles approches pour affiner la technologie générative de l’IA. Comme l’a récemment rapporté mon collègue Max Zeff, les techniques de “force brute” pour augmenter la taille des modèles ne produisent plus les améliorations qu’elles généraient auparavant. Il y a une forte pression concurrentielle sur les entreprises d’IA pour maintenir le rythme actuel de l’innovation.
Selon une estimation, le marché mondial de l’IA a atteint 196,63 milliards de dollars en 2023 et pourrait valoir 1,81 billion de dollars d’ici 2030. OpenAI, pour sa part, a déclaré que les modèles de raisonnement peuvent “résoudre des problèmes plus difficiles” que les modèles précédents et représentent un changement majeur dans le développement de l’IA générative. Mais tout le monde n’est pas convaincu que les modèles de raisonnement sont le meilleur chemin à suivre. Ameet Talwalkar, professeur agrégé en apprentissage automatique à Carnegie Mellon, dit qu’il trouve la première série de modèles de raisonnement “assez impressionnante”. Dans le même souffle, cependant, il m’a dit qu’il “questionnerait les motivations” de quiconque prétend avec certitude savoir jusqu’où les modèles de raisonnement mèneront l’industrie.
“Les entreprises d’IA ont des incitations financières à offrir des projections roses sur les capacités des futures versions de leur technologie”, a déclaré Talwalkar. “Nous courons le risque de nous concentrer myopiquement sur un seul paradigme – c’est pourquoi il est crucial que la communauté de recherche en IA évite de croire aveuglément le battage médiatique et les efforts de marketing de ces entreprises et se concentre plutôt sur des résultats concrets”.
Deux inconvénients des modèles de raisonnement sont qu’ils sont (1) coûteux et (2) gourmands en énergie. Par exemple, dans l’API de OpenAI, la société facture 15$ pour chaque ~750 000 mots que o1 analyse et 60$ pour chaque ~750 000 mots que le modèle génère. C’est entre 3x et 4x le coût du dernier modèle “non raisonnant” de OpenAI, le GPT-4o. O1 est disponible gratuitement, avec des limites, sur la plateforme de chatbot alimentée par l’IA de OpenAI, ChatGPT. Mais plus tôt ce mois-ci, OpenAI a introduit un niveau o1 plus avancé, le mode pro o1, qui coûte une somme vertigineuse de 2400$ par an. “Le coût global du raisonnement de [grand modèle de langage] ne diminue certainement pas”, a déclaré à TechCrunch Guy Van Den Broeck, professeur de science informatique à l’UCLA.
L’une des raisons pour lesquelles les modèles de raisonnement coûtent si cher est qu’ils nécessitent beaucoup de ressources informatiques pour fonctionner. Contrairement à la plupart des IA, o1 et d’autres modèles de raisonnement tentent de vérifier leur propre travail au fur et à mesure qu’ils le font. Cela leur permet d’éviter certains des pièges qui font normalement trébucher les modèles, le revers de la médaille étant qu’ils mettent souvent plus de temps à parvenir à des solutions. OpenAI envisage que les futurs modèles de raisonnement “réfléchissent” pendant des heures, des jours, voire des semaines d’affilée. Les coûts d’utilisation seront plus élevés, l’entreprise le reconnaît, mais les retombées – des batteries révolutionnaires à de nouveaux médicaments contre le cancer – pourraient bien en valoir la peine. La proposition de valeur des modèles de raisonnement actuels est moins évidente. Costa Huang, chercheur et ingénieur en apprentissage automatique chez l’organisation à but non lucratif AI2, fait remarquer que o1 n’est pas une calculatrice très fiable. Et une recherche sommaire sur les médias sociaux révèle un certain nombre d’erreurs en mode pro o1.
“Ces modèles de raisonnement sont spécialisés et peuvent sous-performer dans des domaines généraux”, a déclaré Huang à TechCrunch. “Certaines limites seront surmontées plus tôt que d’autres limitations.” Van den Broeck affirme que les modèles de raisonnement ne font pas vraiment de raisonnement et sont donc limités dans les types de tâches qu’ils peuvent réussir à mener à bien. “Le véritable raisonnement fonctionne sur tous les problèmes, pas seulement ceux qui sont probables [dans les données de formation d’un modèle]”, a-t-il déclaré. “C’est le principal défi à relever”. Compte tenu de la forte incitation du marché à améliorer les modèles de raisonnement, il est fort probable qu’ils s’amélioreront avec le temps. Après tout, ce ne sont pas seulement OpenAI, DeepSeek et Alibaba qui investissent dans cette nouvelle ligne de recherche en IA. Les investisseurs en capital-risque et les fondateurs d’industries adjacentes se regroupent autour de l’idée d’un avenir dominé par l’IA de raisonnement. Cependant, Talwalkar s’inquiète du fait que les grands laboratoires monopoliseront ces améliorations. “Les grands laboratoires ont compréhensiblement des raisons concurrentielles de rester secrets, mais ce manque de transparence entrave sérieusement la capacité de la communauté de recherche à s’engager avec ces idées”, a-t-il déclaré.
