Les laboratoires d’intelligence artificielle (IA) rivalisent pour construire des centres de données aussi vastes que Manhattan, chacun coûtant des milliards de dollars et consommant autant d’énergie qu’une petite ville. Cet effort est motivé par une croyance profonde dans le concept de “scalabilité” — l’idée qu’en ajoutant davantage de puissance de calcul aux méthodes existantes d’entraînement de l’IA, nous finirons par produire des systèmes superintelligents capables d’accomplir toutes sortes de tâches. Cependant, un nombre croissant de chercheurs en IA affirment que l’escalade des grands modèles de langage pourrait atteindre ses limites et que d’autres percées seront nécessaires pour améliorer les performances de l’IA.
C’est le pari que prend Sara Hooker, ancienne vice-présidente de la recherche en IA chez Cohere et diplômée de Google Brain, avec sa nouvelle startup, Adaption Labs. Elle a cofondé l’entreprise avec Sudip Roy, un autre vétéran de Cohere et Google, sur l’idée que la scalabilité des modèles de langage devient une manière inefficace de tirer plus de performances des modèles d’IA. Hooker, qui a quitté Cohere en août, a annoncé discrètement la création de la startup ce mois-ci afin de commencer un recrutement plus large.
Si Hooker et Adaption Labs ont raison sur les limitations de la scalabilité, les implications pourraient être énormes.
Dans une interview avec TechCrunch, Hooker déclare qu’Adaption Labs construit des systèmes d’IA capables de s’adapter en continu et d’apprendre de leurs expériences du monde réel, et ce de manière extrêmement efficace. Elle a refusé de partager des détails sur les méthodes derrière cette approche ou de révéler si l’entreprise s’appuie sur des modèles de langage ou une autre architecture. “Il est très clair qu’il y a un point de basculement maintenant où la formule de simplement augmenter la taille de ces modèles — des approches basées sur la scalabilité, qui sont attrayantes mais extrêmement ennuyeuses — n’a pas produit d’intelligence capable de naviguer ou d’interagir avec le monde,” a-t-elle expliqué.
Adapting est au “cœur de l’apprentissage,” selon Hooker. Par exemple, si vous vous cognez le pied en passant près de la table à manger, vous apprendrez à faire plus attention la prochaine fois. Les laboratoires d’IA ont tenté de capturer cette idée à travers l’apprentissage par renforcement (RL), qui permet aux modèles d’IA d’apprendre de leurs erreurs dans des environnements contrôlés. Cependant, les méthodes RL d’aujourd’hui ne permettent pas aux modèles d’IA en production — donc déjà utilisés par les clients — d’apprendre de leurs erreurs en temps réel. Ils continuent de se cogner les pieds.
Alors que des laboratoires d’IA offrent des services de consultance pour aider les entreprises à affiner leurs modèles d’IA selon leurs besoins, ces services ont un coût élevé. OpenAI aurait exigé des clients qu’ils dépensent plus de 10 millions de dollars pour bénéficier de ses services de conseil en matière d’ajustement. Hooker déclare qu’il existe un petit nombre de laboratoires de pointe qui déterminent une gamme de modèles d’IA, servis de la même manière à tout le monde, et qui sont très coûteux à adapter. Elle estime que cela ne devrait plus être le cas et que les systèmes d’IA peuvent apprendre de manière très efficace de leur environnement. Preuves à l’appui, cela pourrait complètement changer la dynamique de qui contrôle et façonne l’IA, et surtout, pour qui ces modèles servent au final.
Adaption Labs représente le dernier signe que l’industrie perd confiance dans la scalabilité des modèles de langage. Un article récent de chercheurs du MIT a révélé que les plus grands modèles d’IA pourraient bientôt montrer des rendements décroissants. À San Francisco, l’atmosphère semble également changer. Le podcasteur favori du monde de l’IA, Dwarkesh Patel, a récemment animé des conversations particulièrement sceptiques avec des chercheurs célèbres en IA. Richard Sutton, un lauréat du prix Turing considéré comme le “père du RL”, a confié à Patel en septembre que les LLM ne peuvent pas véritablement évoluer parce qu’ils n’apprennent pas de l’expérience réelle.
