La firme Meta, à l’origine de Llama, l’un des plus importants modèles de langage ouvert de grande taille, estime qu’elle aura besoin d’une puissance de calcul nettement supérieure pour entraîner ses modèles à l’avenir. Mark Zuckerberg a déclaré lors de l’appel aux résultats du deuxième trimestre de Meta mardi que pour entraîner Llama 4, l’entreprise aura besoin de 10 fois plus de puissance de calcul que ce qui était nécessaire pour entraîner Llama 3. Cependant, il souhaite que Meta développe sa capacité à entraîner des modèles plutôt que de rester à la traine de ses concurrents.
“La quantité de calculs nécessaires pour entraîner Llama 4 sera probablement presque 10 fois supérieure à celle que nous avons utilisée pour entraîner Llama 3, et les futurs modèles continueront à augmenter au-delà de cela”, a déclaré Zuckerberg. “Il est difficile de prédire comment cela évoluera sur plusieurs générations dans le futur. Mais à ce stade, je préfère prendre le risque de développer une capacité avant qu’elle ne soit nécessaire plutôt que trop tard, compte tenu des longs délais nécessaires pour lancer de nouveaux projets d’inférence”. Meta a lancé Llama 3 avec 8 milliards de paramètres en avril. La semaine dernière, l’entreprise a publié une version améliorée du modèle, appelée Llama 3.1 405B, qui dispose de 405 milliards de paramètres, en faisant le plus grand modèle open source de Meta.
“Alors que nous développons notre capacité d’entraînement à l’IA générative pour faire progresser nos modèles de base, nous continuerons à construire notre infrastructure de manière à nous offrir une flexibilité dans l’utilisation que nous en ferons à l’avenir. Cela nous permettra d’orienter la capacité d’entraînement vers l’inférence GenAI ou vers notre travail de base sur le classement et la recommandation, lorsque nous pensons que cela serait plus précieux.”
Susan Li, directrice financière de Meta, a également indiqué que la société réfléchit à différents projets de centres de données et qu’elle augmente sa capacité à entraîner des modèles d’IA futurs. Elle s’attend à ce que cet investissement entraîne une augmentation des dépenses d’investissement en 2025. L’entraînement de grands modèles de langue peut représenter une entreprise coûteuse. Les dépenses en capital de Meta ont augmenté de près de 33% pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, en raison des investissements dans les serveurs, les centres de données et l’infrastructure réseau.
En effet, selon un rapport de The Information, OpenAI dépense 3 milliards de dollars pour entraîner des modèles et 4 milliards de dollars supplémentaires pour louer des serveurs à un tarif réduit chez Microsoft. Au cours de l’appel, Meta a également commenté l’utilisation de Meta AI par les consommateurs et a déclaré que l’Inde est le plus grand marché de ses chatbots. Cependant, Li a noté que l’entreprise ne s’attend pas à ce que les produits Gen AI contribuent de manière significative aux revenus.
