OpenAI a lancé ses nouveaux modèles o1 jeudi, donnant aux utilisateurs de ChatGPT leur première chance d’essayer des modèles d’IA qui marquent une pause pour “réfléchir” avant de répondre. Il y a eu beaucoup de battage médiatique autour de ces modèles, baptisés en interne “Strawberry” par OpenAI. Mais Strawberry est-il à la hauteur des attentes ? Plus ou moins. Comparé à GPT-4o, les modèles o1 semblent être un pas en avant et deux pas en arrière. OpenAI o1 excelle dans le raisonnement et la réponse à des questions complexes, mais le modèle est environ quatre fois plus cher à utiliser que GPT-4o. Le dernier modèle d’OpenAI manque d’outils, de capacités multimodales et de rapidité qui rendaient GPT-4o si impressionnant. En fait, OpenAI admet même que “GPT-4o est toujours la meilleure option pour la plupart des prompts” sur sa page d’aide, et note ailleurs que o1 peine dans les tâches plus simples.
C’est impressionnant, mais je pense que l’amélioration n’est pas très significative”, a déclaré Ravid Shwartz Ziv, professeur à l’Université de New York qui étudie les modèles d’IA. “Il est meilleur pour certains problèmes, mais on n’a pas cette amélioration générale.” Pour toutes ces raisons, il est important d’utiliser o1 uniquement pour les questions auxquelles il est vraiment conçu pour répondre : les grandes questions. Pour être clair, la plupart des gens n’utilisent pas l’IA générative pour répondre à ce type de questions aujourd’hui, en grande partie parce que les modèles d’IA actuels ne sont pas très bons pour cela. Cependant, o1 est un pas timide dans cette direction.
Penser à travers de grandes idées
OpenAI o1 est unique parce qu’il “réfléchit” avant de répondre, décomposant de grands problèmes en petites étapes et tentant d’identifier quand il réussit ou échoue l’une de ces étapes. Ce “raisonnement multi-étapes” n’est pas entièrement nouveau (des chercheurs l’ont proposé depuis des années, et You.com l’utilise pour des requêtes complexes), mais il n’a pas été pratique jusqu’à récemment. “Il y a beaucoup d’excitation dans la communauté de l’IA”, a déclaré Kian Katanforoosh, PDG de Workera et chargé de cours adjoint à Stanford, qui donne des cours sur l’apprentissage automatique, dans une interview. “Si vous pouvez entraîner un algorithme d’apprentissage par renforcement couplé à certaines des techniques de modèle de langage qu’OpenAI a, vous pouvez techniquement créer une réflexion étape par étape et permettre au modèle d’IA de revenir en arrière à partir de grandes idées que vous essayez d’élaborer.”
OpenAI o1 est également particulièrement coûteux. Dans la plupart des modèles, vous payez pour les tokens d’entrée et de sortie. Cependant, o1 ajoute un processus caché (les petites étapes auxquelles le modèle réduit les gros problèmes), qui ajoute une grande quantité de calcul que vous ne voyez jamais entièrement. OpenAI cache certains détails de ce processus pour préserver son avantage concurrentiel. Cela étant dit, vous êtes quand même facturé pour ces éléments sous la forme de “tokens de raisonnement”. Cela souligne encore pourquoi vous devez être prudent lorsque vous utilisez OpenAI o1, afin de ne pas être facturé une tonne de tokens pour demander quelle est la capitale du Nevada.
L’idée d’un modèle d’IA qui vous aide à “revenir en arrière à partir de grandes idées” est puissante. En pratique, le modèle est plutôt bon pour cela. Dans un exemple, j’ai demandé à ChatGPT o1 preview d’aider ma famille à préparer Thanksgiving, une tâche qui pourrait bénéficier d’un peu de logique et de raisonnement non biaisé. Plus précisément, je voulais de l’aide pour savoir si deux fours seraient suffisants pour préparer un dîner de Thanksgiving pour 11 personnes et je voulais discuter de la possibilité de louer un Airbnb pour avoir accès à un troisième four.
Tempérer les attentes
D’une certaine manière, Strawberry n’allait jamais être à la hauteur du battage médiatique. Les rapports sur les modèles de raisonnement d’OpenAI remontent à novembre 2023, à peu près au moment où tout le monde cherchait une réponse sur les raisons pour lesquelles le conseil d’administration d’OpenAI a évincé Sam Altman. Cela a alimenté la rumeur dans le monde de l’IA, amenant certains à spéculer que Strawberry était une forme d’AGI, la version éclairée de l’IA qu’OpenAI aspire à créer finalement. Altman a confirmé que o1 n’est pas AGI pour dissiper les doutes, pas que vous seriez confus après avoir utilisé l’outil.
Le PDG a également réduit les attentes autour de ce lancement, en tweetant que “o1 est toujours imparfait, toujours limité, et il semble toujours plus impressionnant lors de la première utilisation qu’après avoir passé plus de temps avec lui.” Le reste du monde de l’IA en vient à accepter un lancement moins excitant que prévu. “Le battage médiatique a en quelque sorte échappé au contrôle d’OpenAI”, a déclaré Rohan Pandey, ingénieur de recherche chez l’entreprise de démarrage en IA ReWorkd, qui construit des web scrapers avec les modèles d’OpenAI. Il espère que la capacité de raisonnement de o1 sera suffisamment bonne pour résoudre un ensemble de problèmes compliqués où GPT-4 tombe à court.
Quelle est la valeur ici ?
Les principes sous-jacents utilisés pour créer o1 remontent à des années. Google a utilisé des techniques similaires en 2016 pour créer AlphaGo, le premier système d’IA à vaincre un champion du monde du jeu de Go, rappelle Andy Harrison, ancien de Google et PDG de la société de capital-risque S32. AlphaGo s’est entraîné en jouant contre lui-même un nombre incalculable de fois, s’auto-enseignant jusqu’à atteindre une capacité surhumaine.
Il note que cela soulève un débat de longue date dans le monde de l’IA. “Le premier camp pense que vous pouvez automatiser les workflows par ce processus d’agent. Le deuxième camp pense que si vous aviez une intelligence et un raisonnement généralisés, vous n’auriez pas besoin du workflow et, comme un humain, l’IA prendrait juste une décision”, a déclaré Harrison dans une interview. Harrison dit qu’il fait partie du premier camp et que le deuxième camp nécessite de faire confiance à l’IA pour prendre la bonne décision. Il ne pense pas que nous en soyons là encore.
Cependant, d’autres considèrent o1 moins comme un décideur que comme un outil pour remettre en question votre réflexion sur les grandes décisions. Katanforoosh, le PDG de Workera, a décrit un exemple où il allait interviewer un data scientist pour travailler dans son entreprise. Il dit à OpenAI o1 qu’il n’a que 30 minutes et veut évaluer un certain nombre de compétences. Il peut réfléchir à rebours avec le modèle d’IA pour comprendre s’il réfléchit correctement à cela, et o1 comprendra les contraintes de temps et autres.
La question est de savoir si cet outil utile vaut le prix élevé. Alors que les modèles d’IA continuent à devenir moins chers, o1 est l’un des premiers modèles d’IA depuis longtemps que nous avons vu devenir plus cher.
