Lundi dernier, le National Institute of Standards and Technology (NIST), une agence du département du Commerce des États-Unis qui développe et teste les technologies pour le gouvernement américain, les entreprises et le grand public, a annoncé le lancement de NIST GenAI. Ce nouveau programme vise à évaluer les technologies d’IA génératives, notamment celles dédiées à la génération de texte et d’image. NIST GenAI prévoit de publier des benchmarks, de contribuer à la création de systèmes de détection de “l’authenticité du contenu” (c’est-à-dire, la vérification de deepfakes) et d’encourager le développement de logiciels capables de détecter l’origine de fausses informations générées par l’IA, comme l’explique NIST sur le site web récemment lancé de NIST GenAI et dans un communiqué de presse.
“Le programme NIST GenAI publiera une série de problèmes de défi [destinés] à évaluer et à mesurer les capacités et les limites des technologies d’IA génératives”, indique le communiqué de presse. “Ces évaluations seront utilisées pour identifier des stratégies de promotion de l’intégrité de l’information et guider une utilisation sûre et responsable du contenu numérique”. Le premier projet de NIST GenAI est une étude pilote visant à développer des systèmes capables de distinguer de manière fiable les médias créés par l’homme de ceux générés par l’IA, en commençant par le texte. Bien que de nombreux services prétendent détecter les deepfakes, les études et nos propres tests ont montré qu’ils étaient au mieux instables, surtout en ce qui concerne le texte.
Le lancement de NIST GenAI et l’étude centrée sur les deepfakes interviennent alors que le volume d’informations erronées et désinformantes générées par l’IA augmente exponentiellement.
NIST GenAI invite les équipes universitaires, industrielles et de laboratoires de recherche à soumettre soit des “générateurs” – des systèmes d’IA pour générer du contenu – soit des “discriminateurs”, qui sont des systèmes conçus pour identifier le contenu généré par l’IA. Les générateurs participant à l’étude doivent générer des résumés de 250 mots ou moins, à partir d’un sujet et d’un ensemble de documents, tandis que les discriminateurs doivent détecter si un résumé donné est potentiellement écrit par l’IA. Pour assurer l’équité, NIST GenAI fournira les données nécessaires pour tester les générateurs. “Les systèmes formés sur des données disponibles publiquement et qui ne respectent pas les lois et règlements applicables ne seront pas acceptés”, affirme le NIST. Les inscriptions pour le projet pilote débuteront le 1er mai, avec une première vague de deux prévue pour se clôturer le 2 août. Les résultats finaux de l’étude devraient être publiés en février 2025.
Ce lancement fait suite à une augmentation spectaculaire du nombre de deepfakes créés et publiés cette année par rapport à la même période l’année dernière : une augmentation de 900% selon les données de Clarity, une entreprise de détection de deepfakes. Sans surprise, cela suscite l’inquiétude. Un sondage récent de YouGov a révélé que 85% des Américains étaient préoccupés par la propagation en ligne de deepfakes trompeurs.
Le lancement de NIST GenAI fait partie de la réponse du NIST au décret présidentiel de Joe Biden sur l’IA, qui impose des règles de transparence aux entreprises d’IA concernant le fonctionnement de leurs modèles et établit une série de nouvelles normes, notamment pour l’étiquetage du contenu généré par l’IA. Il s’agit également de la première annonce du NIST en lien avec l’IA depuis la nomination de Paul Christiano, un ancien chercheur d’OpenAI, à l’Institut de sécurité de l’IA de l’agence. Christiano, dont le choix a fait controverse pour ses vues “doomeristes” (il a un jour prédit qu’il y avait 50% de chances que le développement de l’IA se termine par la destruction de l’humanité), devrait influencer le travail de l’Institut de sécurité de l’IA selon le NIST.
