Meta a annoncé la dernière addition à sa famille de modèles d’IA génératifs Llama : Llama 3.3 70B. Dans un post sur X, Ahmad Al-Dahle, vice-président de l’IA générative chez Meta, a déclaré que le Llama 3.3 70B, qui ne fonctionne qu’avec du texte, offre les performances du Llama 3.1 405B le plus gros modèle de Meta à un coût inférieur. “En utilisant les dernières avancées des techniques post-formation … ce modèle améliore les performances de base à un coût significativement inférieur”, a écrit Al-Dahle.
Al-Dahle a publié un graphique montrant que le Llama 3.3 70B surclasse le Gemini 1.5 Pro de Google, le GPT-4o d’OpenAI et le Nova Pro récemment lancé par Amazon sur un certain nombre de benchmarks industriels, dont le MMLU, qui évalue la capacité d’un modèle à comprendre la langue. Par e-mail, un porte-parole de Meta a déclaré que le modèle devrait apporter des améliorations dans des domaines tels que les mathématiques, la connaissance générale, le suivi des instructions et l’utilisation des applications.
“Meta vise à dominer le domaine de l’IA avec des modèles ‘ouverts’ qui peuvent être utilisés et commercialisés pour toute une gamme d’applications.”
Le Llama 3.3 70B, qui peut être téléchargé à partir de la plateforme de développement IA Hugging Face et d’autres sources, y compris le site officiel Llama, est le dernier pari de Meta pour dominer le domaine de l’IA avec des modèles dits “ouverts” qui peuvent être utilisés et commercialisés pour toute une gamme d’applications. Les conditions de Meta limitent la manière dont certains développeurs peuvent utiliser les modèles Llama ; les plateformes comptant plus de 700 millions d’utilisateurs mensuels doivent demander une licence spéciale. Mais pour beaucoup, il est indifférent que les modèles Llama ne soient pas “ouverts” au sens strict du terme. Et pour cause, Llama a recueilli plus de 650 millions de téléchargements, selon Meta.
Meta a également mis à profit Llama en interne. Meta AI, l’assistant IA de l’entreprise, qui s’appuie entièrement sur les modèles Llama, compte maintenant près de 600 millions d’utilisateurs actifs par mois, selon le PDG de Meta, Mark Zuckerberg. Zuckerberg affirme que Meta AI est en passe de devenir l’assistant IA le plus utilisé au monde. Pour Meta, le caractère ouvert de Llama a été une bénédiction et une malédiction. En novembre, un rapport a affirmé que des chercheurs militaires chinois avaient utilisé un modèle Llama pour développer un chatbot de défense. Meta a réagi en rendant ses modèles Llama disponibles pour les entreprises de défense américaines.
Meta a également exprimé des préoccupations quant à sa capacité à se conformer au AI Act, la loi de l’UE qui établit un cadre réglementaire pour l’IA, qualifiant la mise en œuvre de la loi de “trop imprévisible” pour sa stratégie de diffusion ouverte. Une question connexe pour l’entreprise concerne les dispositions du RGPD, la loi sur la protection de la vie privée de l’UE, relatives à la formation de l’IA. Meta forme des modèles d’IA sur les données publiques des utilisateurs d’Instagram et de Facebook qui n’ont pas opté pour l’exclusion – des données qui en Europe sont soumises aux garanties du RGPD. Les régulateurs de l’UE ont demandé plus tôt cette année à Meta de cesser la formation sur les données des utilisateurs européens pendant qu’ils évaluaient la conformité de l’entreprise au RGPD. Meta a cédé, tout en approuvant en même temps une lettre ouverte appelant à “une interprétation moderne” du RGPD qui ne “rejette pas le progrès”.
Meta, n’est pas à l’abri des défis techniques auxquels font face d’autres laboratoires d’IA, augmente son infrastructure informatique pour former et servir les futures générations de Llama. L’entreprise a annoncé mercredi qu’elle construirait un centre de données d’IA de 10 milliards de dollars en Louisiane – le plus grand centre de données d’IA que Meta ait jamais construit. Zuckerberg a déclaré lors de l’appel aux résultats du 4ème trimestre de Meta en août que pour former le prochain lot important de modèles Llama, Llama 4, l’entreprise aurait besoin de 10 fois plus de calculs que ce qui était nécessaire pour former Llama 3. Meta a acquis un cluster de plus de 100 000 GPU Nvidia pour le développement du modèle, rivalisant avec les ressources de concurrents comme xAI. La formation de modèles d’IA génératifs est une activité coûteuse. Les dépenses en capital de Meta ont augmenté de près de 33% à 8,5 milliards de dollars au 2ème trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, en raison des investissements dans les serveurs, les centres de données et l’infrastructure réseau.
