La liste des modèles phares d’IA qui n’ont pas respecté leur fenêtre de lancement promise continue de s’allonger. L’été dernier, le milliardaire Elon Musk, fondateur et PDG de la société d’IA xAI, a déclaré que Grok 3, le prochain grand modèle d’IA de xAI, arriverait d’ici la “fin de l’année” 2024. Grok, la réponse de xAI à des modèles tels que GPT-4o d’OpenAI et Gemini de Google, peut analyser des images et répondre à des questions, et alimente un certain nombre de fonctionnalités sur X, le réseau social de Musk. “Grok 3 fin d’année après avoir été entraîné sur 100k H100s devrait vraiment être quelque chose de spécial”, a écrit Musk dans un post de juillet sur X, faisant référence au gigantesque cluster de GPU basé à Memphis de xAI. “Grok 3 sera un grand bond en avant”, a-t-il déclaré dans un post de suivi à la mi-décembre. Pourtant, nous sommes le 2 janvier et Grok 3 n’est pas arrivé – et il n’y a pas de signe que son déploiement est imminent.
En fait, un code sur le site web de xAI repéré par le tisseur d’IA Tibor Blaho suggère qu’un modèle intermédiaire, “Grok 2.5”, pourrait arriver en premier. Grok[.]com pourrait bientôt arriver avec le modèle Grok 2.5 (grok-2-latest – “Notre modèle le plus intelligent”) – merci pour l’indice, anon! tweet de Tibor Blaho (@btibor91) le 20 décembre 2024.
Certes, ce n’est pas la première fois que Musk fixe un objectif ambitieux et ne l’atteint pas. Il est bien établi que les annonces de Musk sur le calendrier des lancements de produits sont souvent peu réalistes au mieux. Et pour être juste, dans une interview avec le podcasteur Lex Fridman en août, Musk a déclaré que Grok 3 serait “espérons-le” disponible en 2024 “si nous avons de la chance”.
Néanmoins, le retard de Grok 3 ajoute au faisceau de preuves suggérant que les approches conventionnelles de l’entraînement de l’IA sont confrontées à un mur.
Mais l’absence de Grok 3 est intéressante car elle s’inscrit dans une tendance croissante. L’année dernière, la start-up AI Anthropique a échoué à livrer un successeur à son modèle phare Claude 3 Opus. Des mois après avoir annoncé qu’un modèle de nouvelle génération, Claude 3.5 Opus, serait sorti d’ici la fin de 2024, Anthropic a supprimé toute mention du modèle de sa documentation pour les développeurs. (Selon un rapport, Anthropic a terminé l’entraînement de Claude 3.5 Opus l’année dernière, mais a décidé que sa sortie n’était pas économiquement sensée.) On rapporte également que Google et OpenAI ont connu des revers avec leurs modèles phares ces derniers mois.
Ceci pourrait être la preuve des limites des lois actuelles de mise à l’échelle de l’IA – les méthodes que les entreprises utilisent pour augmenter les capacités de leurs modèles. Dans un passé pas si lointain, il était possible d’obtenir des améliorations substantielles de performance en entraînant des modèles à l’aide de quantités massives de puissance de calcul et de jeux de données de plus en plus grands. Mais les gains avec chaque génération de modèle ont commencé à diminuer, poussant les entreprises à rechercher des techniques alternatives. Grok 3 s’entraîne avec 10X, bientôt 20X la puissance de calcul de Grok 2 – tweet d’Elon Musk (@elonmusk) le 21 septembre 2024.
