Des chercheurs en IA de Stanford et de l’Université de Washington ont réussi à entraîner un modèle de “raisonnement” en IA pour moins de 50 dollars en crédits de calcul en nuage, selon un nouveau document de recherche publié vendredi dernier. Le modèle, connu sous le nom de s1, performe de manière similaire aux modèles de raisonnement de pointe, tels que o1 d’OpenAI et R1 de DeepSeek, lors de tests mesurant les capacités en mathématiques et en codage. Le modèle s1 est disponible sur GitHub, ainsi que les données et le code utilisés pour le former.
L’équipe derrière s1 a déclaré avoir commencé par un modèle de base en libre-service, puis l’avoir affiné par le processus de distillation, processus consistant à extraire les capacités de “raisonnement” d’un autre modèle d’IA en s’entraînant sur ses réponses. Les chercheurs affirment que s1 est distillé à partir de l’un des modèles de raisonnement de Google, Gemini 2.0 Flash Thinking Experimental. La distillation est la même approche qu’ont utilisée les chercheurs de Berkeley pour créer un modèle de raisonnement en IA pour environ 450 dollars le mois dernier.
En 2025, Meta, Google et Microsoft prévoient d’investir des centaines de milliards de dollars dans l’infrastructure IA, qui servira en partie à l’entraînement des modèles IA de prochaine génération. Cependant, la distillation s’est révélée être une bonne méthode pour recréer à moindre coût les capacités d’un modèle d’IA, mais elle ne crée pas de nouveaux modèles d’IA nettement supérieurs à ce qui existe aujourd’hui.
Pour certains, l’idée que quelques chercheurs sans des millions de dollars derrière eux puissent toujours innover dans le domaine de l’IA est excitante. Mais s1 soulève de véritables questions sur la marchandisation des modèles d’IA. Où est la barrière si quelqu’un peut reproduire de près un modèle à plusieurs millions de dollars avec une somme d’argent relativement modique ? Sans surprise, les grands laboratoires d’IA ne sont pas contents. OpenAI a accusé DeepSeek de collecter de manière indue des données à partir de son API à des fins de distillation de modèle.
Les chercheurs qui ont développé s1 cherchaient à trouver l’approche la plus simple pour obtenir de bonnes performances en “raisonnement” et en “mise à l’échelle au moment du test” ou permettre à un modèle d’IA de réfléchir davantage avant de répondre à une question. Ces avancées faisaient partie de o1 d’OpenAI, que DeepSeek et d’autres laboratoires d’IA ont essayé de reproduire par diverses techniques. Les chercheurs ont utilisé un stratagème astucieux pour amener s1 à vérifier deux fois son travail et à prolonger son temps de “réflexion”. Ils lui ont dit d’attendre. Ajouter le mot “attendre” pendant le raisonnement de s1 a aidé le modèle à obtenir des réponses légèrement plus précises, selon le document.
Google propose un accès gratuit à Gemini 2.0 Flash Thinking Experimental, bien qu’avec des limites quotidiennes, via sa plateforme Google AI Studio. Les conditions de Google interdisent toutefois l’ingénierie inverse de ses modèles pour développer des services en concurrence avec les propres offres d’AI de l’entreprise. S1 est basé sur un petit modèle d’IA en libre-service du laboratoire d’IA chinois Qwen, propriété d’Alibaba, qui est disponible en téléchargement gratuit. Pour former s1, les chercheurs ont créé un ensemble de données de seulement 1 000 questions soigneusement sélectionnées, accompagnées des réponses à ces questions, ainsi que du processus de “raisonnement” derrière chaque réponse provenant de Gemini 2.0 Flash Thinking Experimental de Google. Après l’entraînement de s1, qui a pris moins de 30 minutes avec 16 GPU Nvidia H100, s1 a obtenu de bonnes performances sur certains benchmarks d’IA, selon les chercheurs. Niklas Muennighoff, un chercheur de Stanford qui a travaillé sur le projet, a déclaré à TechCrunch qu’il pouvait louer la puissance de calcul nécessaire aujourd’hui pour environ 20 dollars.
