C’est une affirmation audacieuse de la part de Jensen Huang, PDG de Nvidia, lors d’une interview avec TechCrunch mardi dernier, la veille de son discours devant une foule de 10 000 personnes lors du CES à Las Vegas. “Nos systèmes progressent bien plus rapidement que la loi de Moore,” a déclaré Huang. Enoncé par le co-fondateur d’Intel, Gordon Moore, en 1965, la loi de Moore prédisait que le nombre de transistors sur les puces informatiques doublerait environ tous les ans, doublant essentiellement les performances de ces puces. Cette prédiction s’est avérée en grande partie exacte, créant des avancées rapides en matière de capacités et une chute des coûts pendant des décennies.
Ces dernières années, cependant, la loi de Moore a ralenti. C’est là que les puces IA de Nvidia entrent en jeu, progressant à un rythme accéléré qui leur est propre. L’entreprise affirme que son dernier superchip de centre de données surpassent de plus de 30 fois son prédécesseur en termes de performance pour l’exécution des charges de travail d’inférence IA. “On peut construire l’architecture, la puce, le système, les librairies et les algorithmes tous en même temps,” a déclaré Huang. “Si vous faites cela, alors vous pouvez avancer plus vite que la loi de Moore, car vous pouvez innover à travers toute la pile.”.
“Les puces IA d’aujourd’hui de Nvidia sont 1000 fois meilleures que celles qu’elle fabriquait il y a 10 ans”, déclare Jensen Huang, une progression bien plus rapide que le rythme fixé par la loi de Moore qu’il ne voit pas de signe de ralentissement.
En effet, les affirmations audacieuses de Huang interviennent à un moment où beaucoup se demandent si les progrès de l’IA sont en train de stagner. Des laboratoires de pointe en IA tels que Google, OpenAI et Anthropic utilisent les puces IA de Nvidia pour former et faire fonctionner leurs modèles IA, et les améliorations de ces puces se traduiront probablement par des progrès supplémentaires dans les capacités des modèles IA.
Il s’agit là d’une déclaration que Huang a déjà faite par le passé. En novembre, sur un podcast, il a suggéré que le monde de l’IA est en avance sur une “hyper loi de Moore”. Huang refuse l’idée que les progrès de l’IA ralentissent. Il affirme qu’il y a actuellement trois lois d’échelle active de l’IA: le pré-entraînement, qui est la phase initiale d’entraînement où les modèles IA apprennent des motifs à partir de grandes quantités de données; le post-entraînement, qui affine les réponses d’un modèle IA en utilisant des méthodes telles que les retours d’information humains; et le calcul au temps de test, qui se produit pendant la phase d’inférence et donne au modèle IA plus de temps pour “réfléchir” après chaque question.
