Mercredi, la société de sécurité AI Irregular a annoncé une levée de fonds de 80 millions de dollars lors d’un tour de financement dirigé par Sequoia Capital et Redpoint Ventures, avec la participation du PDG de Wiz, Assaf Rappaport. Une source proche du dossier a indiqué que ce tour valorisait Irregular à 450 millions de dollars. “Notre conviction est que bientôt, une grande partie de l’activité économique viendra de l’interaction humain-AI et de l’interaction AI-AI”, a déclaré le co-fondateur Dan Lahav à TechCrunch, “et cela va briser la chaîne de sécurité à plusieurs niveaux.”
Autrefois connu sous le nom de Pattern Labs, Irregular est déjà un acteur significatif dans les évaluations de l’IA. Le travail de la société est cité dans les évaluations de sécurité pour Claude 3.7 Sonnet ainsi que pour les modèles o3 et o4-mini d’OpenAI. Plus généralement, le cadre de l’entreprise pour évaluer la capacité de détection des vulnérabilités d’un modèle (appelé SOLVE) est largement utilisé dans l’industrie.
“Notre objectif est de sécuriser ces modèles, mais c’est une cible mouvante, il y a donc encore beaucoup de travail à faire à l’avenir.”
Bien qu’Irregular ait réalisé des travaux significatifs sur les risques existants des modèles, l’entreprise cherche maintenant à détecter des risques et des comportements émergents avant qu’ils ne se manifestent dans le monde réel. Pour ce faire, elle a construit un système élaboré d’environnements simulés, permettant des tests intensifs d’un modèle avant sa publication. “Nous avons des simulations de réseau complexes où l’IA joue à la fois le rôle d’attaquant et de défenseur”, explique le co-fondateur Omer Nevo. “Ainsi, lorsque qu’un nouveau modèle sort, nous pouvons voir où les défenses tiennent et où elles ne tiennent pas.”
La sécurité est devenue un point de focus intense pour l’industrie de l’IA, alors que les risques potentiels posés par les modèles de pointe continuent d’émerger. OpenAI a révisé ses mesures de sécurité internes cet été, en vue des éventuelles cyber-espionnages. Parallèlement, les modèles d’IA deviennent de plus en plus capables de trouver des vulnérabilités logicielles — un pouvoir qui a des implications sérieuses tant pour les attaquants que pour les défenseurs.
Pour les fondateurs d’Irregular, c’est le premier des nombreux maux de tête en matière de sécurité causés par les capacités croissantes des grands modèles de langage. “Si l’objectif du laboratoire de pointe est de créer des modèles de plus en plus sophistiqués et performants, notre objectif est de sécuriser ces modèles”, conclut Lahav. “Mais c’est une cible mouvante, donc il y a encore beaucoup de travail à faire à l’avenir.”
