Une des techniques les plus couramment utilisées pour rendre les modèles d’IA plus efficaces, la quantification, a ses limites – et l’industrie pourrait rapidement les atteindre. Dans le contexte de l’IA, la quantification fait référence à la diminution du nombre de bits – les plus petites unités qu’un ordinateur peut traiter – nécessaires pour représenter l’information. Pour faire une analogie: quand quelqu’un vous demande l’heure, vous diriez probablement “midi” – et non “douze heures, une seconde et quatre millisecondes”. C’est ce qu’on appelle quantifier; les deux réponses sont correctes, mais l’une est légèrement plus précise. Le degré de précision dont vous avez réellement besoin dépend du contexte.
Les modèles d’IA comportent plusieurs composants qui peuvent être quantifiés – en particulier les paramètres, les variables internes que les modèles utilisent pour faire des prédictions ou prendre des décisions. C’est pratique, étant donné que les modèles effectuent des millions de calculs lorsqu’ils sont exécutés. Les modèles quantifiés avec moins de bits représentant leurs paramètres sont moins exigeants en termes de calculs, et donc en termes de ressources informatiques. (Pour être clair, il s’agit d’un processus différent de la “distillation”, qui est une élagage plus impliqué et sélectif des paramètres.) Mais la quantification pourrait avoir plus de compromis qu’on ne le pensait auparavant.
“La précision de bits importe, et ce n’est pas gratuit”, a-t-il dit. “Vous ne pouvez pas la réduire indéfiniment sans que les modèles en souffrent. Les modèles ont une capacité limitée, donc plutôt que d’essayer de mettre un quadrillion de tokens dans un petit modèle, à mon avis, beaucoup plus d’efforts seront consacrés à un filtrage et une curation de données méticuleux, afin que seules les données de la plus haute qualité soient intégrées dans des modèles plus petits.”
Selon une étude menée par des chercheurs de Harvard, Stanford, MIT, Databricks et Carnegie Mellon, les modèles quantifiés offrent de moins bonnes performances si la version originale, non quantifiée du modèle, a été formée sur une longue période avec beaucoup de données. En d’autres termes, à un certain point, il serait peut-être préférable de simplement former un modèle plus petit plutôt que de réduire un grand. Cela pourrait être une mauvaise nouvelle pour les entreprises d’IA qui forment de très grands modèles (connus pour améliorer la qualité des réponses) puis les quantifient dans le but de les rendre moins coûteux.
Les effets commencent déjà à se manifester. Il y a quelques mois, des développeurs et des universitaires ont signalé que la quantification du modèle Llama 3 de Meta s’avérait “plus préjudiciable” par rapport à d’autres modèles, potentiellement en raison de la façon dont il a été formé. “À mon avis, le coût numéro un pour tout le monde en IA est et restera l’inférence, et notre travail montre qu’une façon importante de le réduire ne fonctionnera pas éternellement”, a déclaré Tanishq Kumar, un étudiant en mathématiques de Harvard et premier auteur de l’article, à TechCrunch.
Il convient de noter que l’inférence d’un modèle d’IA – l’exécution d’un modèle, comme lorsque ChatGPT répond à une question – est souvent plus coûteuse dans l’ensemble que sa formation. Prenons comme exemple que Google aurait dépensé environ 191 millions de $ pour former l’un de ses modèles phares, Gemini – certainement une somme princière. Mais si la société devait utiliser un modèle pour générer des réponses de seulement 50 mots pour la moitié des requêtes de Google Search, elle dépenserait environ 6 milliards de $ par an.
