“`html
Depuis quelques années, la notion de “AI slop”, désignant les images, vidéos et textes de faible qualité générés par des modèles de langage, a envahi Internet, polluant les sites web, les plateformes de médias sociaux, et même certaines publications de presse. Le monde de la cybersécurité n’échappe pas à ce phénomène. Au cours de l’année écoulée, l’industrie de la cybersécurité a exprimé des préoccupations concernant les rapports de bug bounty d’AI slop, signifiant des signalements de vulnérabilités qui n’existent pas vraiment, car générés par un grand modèle de langage qui a simplement inventé la vulnérabilité, puis l’a emballée dans un rapport d’apparence professionnelle.
Vlad Ionescu, co-fondateur et CTO de RunSybil, une startup développant des chasseurs de bugs alimentés par l’IA, a expliqué à TechCrunch que “les rapports semblent raisonnables, ils ont l’air techniquement corrects. Et puis vous finissez par essayer de les explorer pour comprendre, ‘oh non, où est cette vulnérabilité ?'”. Ionescu a également pointé une faille fondamentale dans le fonctionnement des LLMs : leur conception pour être utiles et donner des réponses positives. “Si vous lui demandez un rapport, il va vous fournir un rapport. Et les gens copient et collent ces informations sur les plateformes de bug bounty, engorgeant à la fois ces plateformes et leurs clients.”
“Avec l’augmentation des soumissions alimentées par l’IA, la ligne entre l’innovation et le désordre devient de plus en plus floue.”
Des exemples concrets témoignent de ce problème. Harry Sintonen, chercheur en sécurité, a révélé que le projet de sécurité open source Curl avait reçu un faux rapport. En réponse, Benjamin Piouffle, d’Open Collective, a déclaré que leur boîte de réception était “inondée de déchets générés par l’IA”. De même, un développeur d’open source a retiré son programme de bug bounty après avoir reçu une grande majorité de rapports provenant d’AI slop. Les plateformes de bug bounty, qui font le lien entre hackers et entreprises disposées à récompenser la découverte de failles, constatent également une hausse des rapports générés par l’IA.
Michiel Prins, co-fondateur et directeur senior de la gestion de produit chez HackerOne, a confirmé que leur entreprise avait rencontré des cas d’AI slop, évoquant une augmentation des faux positifs – des vulnérabilités qui semblent réelles mais sont en réalité générées par des LLMs. Casey Ellis, fondateur de Bugcrowd, a noté que bien que l’utilisation de l’IA dans les soumissions ait augmenté, cela n’a pas encore entraîné de pic significatif dans les rapports de mauvaise qualité. Cependant, cela pourrait changer à l’avenir.
Pour examiner comment d’autres entreprises gèrent l’augmentation des rapports invalides, TechCrunch a contacté des géants comme Google, Meta et Microsoft. Si Mozilla a indiqué ne pas avoir constaté d’augmentation significative des rapports faussement générés par l’IA, Microsoft et Meta ont choisi de ne pas commenter la situation. Pour contrer cette montée de l’AI slop, Ionescu suggère d’investir dans des systèmes alimentés par l’IA qui pourraient effectuer une première vérification des soumissions pour en vérifier l’exactitude. HackerOne a récemment lancé un nouveau système de tri, Hai Triage, qui combine l’humain et l’IA pour préciser en amont les vraies menaces.
“`
