Une avancée innovante dans le domaine de l’intelligence artificielle vient d’être réalisée par Andrej Karpathy, ancien chercheur chez OpenAI et ex-responsable de l’IA chez Tesla. En laissant un agent IA fonctionner en boucle continue pendant 48 heures, il a pu tester 700 expériences sur un petit modèle de langage, aboutissant à 20 optimisations cumulables et un gain de 11 % en temps d’entraînement, passant de 2h02 à 1h80.
Ce processus, baptisé “autoresearch”, repose sur une approche nouvelle où l’agent IA lit un script d’entraînement en Python, formule des hypothèses, modifie le code, et lance des expérimentations pour évaluer leurs résultats. Contrairement à l’AutoML, qui se limite à des variations aléatoires ou évolutives, cette méthode utilise un vrai modèle de langage qui apprend de ses propres essais, tout en étant capable d’accéder à internet et de se corriger en temps réel.
L’objectif est d’automatiser la recherche d’optimisations à l’échelle d’une communauté entière de chercheurs plutôt que de simplement reproduire le travail d’un seul scientifique.
Le système a également été testé par Tobias Lütke, le patron de Shopify, sur des données internes. Après une seule nuit d’expérimentations, 37 tests effectués, le modèle a gagné 19 % de performance. Ces résultats soulignent le potentiel de cette approche pour accélérer considérablement la recherche en IA et automatiser une grande partie du processus d’optimisation, laissant entrevoir des implications futures très prometteuses.
Karpathy envisage toutefois que cette technologie ne se limite pas à l’amélioration de petits modèles, mais qu’elle évolue vers des essaims d’agents qui collaborent à grande échelle, testant différentes pistes simultanément et partageant leurs découvertes pour accélérer le progrès dans le domaine de l’intelligence artificielle. Il voit cette démarche comme une alternative à la recherche collective humaine, permettant à la fois d’augmenter l’efficacité et de repousser les limites de l’innovation.
Malgré les promesses, certains critiques soulignent que cette méthode ressemble en partie à l’AutoML déjà utilisée par Microsoft ou Google. Cependant, Karpathy insiste sur le fait que l’utilisation d’un vrai modèle de langage capable de générer du code, d’apprendre de ses expériences et d’accéder à internet distingue l’autoresearch de ces autres techniques, le rendant potentiellement plus puissant pour l’avenir.
En résumé, cette innovation pourrait accélérer la recherche en IA tout en soulevant des questions sur l’automatisation de l’intelligence elle-même, mode de développement qui pourrait transformer radicalement la façon dont les modèles de langage et autres systèmes intelligents sont conçus et optimisés.
