L’Institut de Sécurité du Royaume-Uni, l’organisme récemment mis en place pour la sécurité de l’IA au Royaume-Uni, a lancé une panoplie d’outils conçus pour “renforcer la sécurité de l’IA” en facilitant le développement des évaluations de l’IA par l’industrie, les organismes de recherche et le monde universitaire. Ce jeu d’outils, nommé Inspect, est disponible sous une licence libre, plus précisément une licence MIT. Il a pour but d’évaluer certaines capacités des modèles d’IA, notamment la connaissance de base des modèles et leur capacité à raisonner, et de générer un score basé sur les résultats.
Dans un communiqué de presse publié vendredi, l’Institut de Sécurité a affirmé que Inspect marque “la première fois qu’une plateforme de tests de sécurité de l’IA a été initiée par un organisme soutenu par l’État et mise à disposition pour une utilisation plus large”. En examinant le tableau de bord de Inspect, on peut en déduire que “la réussite d’une collaboration sur les tests de sécurité de l’IA signifie disposer d’une approche d’évaluation partagée et accessible, et nous espérons que Inspect pourra être un élément de construction”, a déclaré Ian Hogarth, président de l’Institut de Sécurité.
“Nous espérons voir la communauté mondiale de l’IA utiliser Inspect non seulement pour réaliser leurs propres tests de sécurité de modèle, mais aussi pour aider à adapter et à développer la plateforme open source afin que nous puissions produire des évaluations de grande qualité sur l’ensemble du spectre”.
Comme nous l’avons déjà écrit, les références de l’IA sont difficiles — pas des moindres parce que les modèles d’IA les plus sophistiqués d’aujourd’hui sont des boîtes noires dont l’infrastructure, les données d’entraînement et d’autres détails clés sont gardés secrets par les entreprises qui les créent. Comment Inspect relève-t-il donc le défi ? En étant principalement extensible et adaptable aux nouvelles techniques de test. Inspect est composé de trois éléments de base : les jeux de données, les solveurs et les générateurs de score. Les jeux de données fournissent des échantillons pour les tests d’évaluation. Les solveurs effectuent le travail de réalisation des tests. Et les générateurs de score évaluent le travail des solveurs et agrègent les scores des tests en métriques.
Les composants intégrés d’Inspect peuvent être augmentés par des packages tiers écrits en Python. Dans un post sur X, Deborah Raj, chercheuse à Mozilla et éthicienne de l’IA reconnue, a qualifié Inspect de “témoignage de la puissance de l’investissement public dans les outils open source pour la responsabilisation de l’IA”. Clément Delangue, PDG de la start-up d’IA Hugging Face, a émis l’idée d’intégrer Inspect à la bibliothèque de modèles de Hugging Face ou de créer un classement public avec les résultats des évaluations de l’outil.
Le lancement d’Inspect intervient après que l’Institut National des Normes et de la Technologie (NIST), une agence gouvernementale américaine, a lancé NIST GenAI, un programme destiné à évaluer diverses technologies génératives d’IA, y compris l’IA génératrice de texte et d’images. NIST GenAI prévoit de publier des références, de soutenir la création de systèmes de détection d’authenticité de contenu et d’encourager le développement de logiciels pour repérer les fausses informations générées par l’IA.
