Les modèles d’IA dits de raisonnement deviennent plus faciles — et moins chers — à développer. Vendredi, NovaSky, une équipe de chercheurs basée au Sky Computing Lab de l’UC Berkeley, a publié Sky-T1-32B-Preview, un modèle de raisonnement qui rivalise avec une version antérieure du o1 d’OpenAI sur plusieurs critères clés. Sky-T1 semble être le premier modèle de raisonnement véritablement open source en ce sens qu’il peut être reproduit à partir de zéro ; l’équipe a publié le jeu de données qu’ils ont utilisé pour le former ainsi que le code d’entraînement nécessaire. « De manière remarquable, Sky-T1-32B-Preview a été formé pour moins de 450 $ », a écrit l’équipe dans un article de blog, « prouvant qu’il est possible de reproduire des capacités de raisonnement de haut niveau de manière abordable et efficace. »
450 dollars peuvent ne pas sembler si abordables que cela. Mais il n’y a pas si longtemps, le coût de formation d’un modèle à performances comparables se chiffrait souvent en millions de dollars. Les données d’entraînement synthétiques, ou données d’entraînement générées par d’autres modèles, ont contribué à réduire les coûts. Palmyra X 004, un modèle récemment publié par la société d’IA Writer, formé presque entièrement sur des données synthétiques, aurait coûté seulement 700 000 $ à développer.
Cependant, contrairement à la plupart des IA, les modèles de raisonnement vérifient effectivement eux-mêmes les faits, ce qui les aide à éviter certains des pièges qui entravent normalement les modèles.
Les modèles de raisonnement prennent un peu plus de temps — généralement de quelques secondes à quelques minutes de plus — pour parvenir à des solutions par rapport à un modèle non-raisonnant typique. L’avantage est qu’ils tendent à être plus fiables dans des domaines tels que la physique, la science et les mathématiques. L’équipe de NovaSky dit avoir utilisé un autre modèle de raisonnement, le QwQ-32B-Preview d’Alibaba, pour générer les données d’entraînement initiales de Sky-T1, puis avoir « réglé » le mélange de données et exploité le GPT-4o-mini d’OpenAI pour refactoriser les données dans un format plus facile à gérer.
La formation du Sky-T1 à 32 milliards de paramètres a pris environ 19 heures en utilisant une baie de 8 GPU Nvidia H100. (Les paramètres correspondent à peu près aux compétences de résolution de problèmes d’un modèle.) Selon l’équipe de NovaSky, Sky-T1 se comporte mieux qu’une version bêta de o1 sur MATH500, une série de défis mathématiques « de niveau compétition ». Le modèle bat également la preview de o1 sur un ensemble de problèmes difficiles de LiveCodeBench, une évaluation de codage.
Cependant, Sky-T1 est en deçà de la prévisualisation de o1 sur GPQA-Diamond, qui contient des questions de physique, de biologie et de chimie que l’on attendrait d’un doctorat. Il est également important de noter que la version GA de o1 d’OpenAI est un modèle plus puissant que la version préliminaire de o1, et qu’OpenAI devrait publier un modèle de raisonnement encore meilleur, o3, dans les semaines à venir. Mais l’équipe de NovaSky dit que Sky-T1 ne marque que le début de leur voyage pour développer des modèles open source dotés de capacités de raisonnement avancées. « À l’avenir, nous nous concentrerons sur le développement de modèles plus efficaces qui maintiennent une forte performance de raisonnement et explorerons des techniques avancées qui améliorent encore l’efficacité et la précision des modèles lors du test », a écrit l’équipe dans l’article. « Restez à l’écoute alors que nous progressons dans ces initiatives passionnantes. »
