Lorsque Brett Levenson a quitté Apple en 2019 pour diriger l’intégrité commerciale chez Facebook, le géant des réseaux sociaux était en plein bouillon suite aux retombées de l’affaire Cambridge Analytica. À l’époque, il pensait pouvoir simplement résoudre le problème de modération de contenu de Facebook grâce à une meilleure technologie. Cependant, il a rapidement compris que le problème était bien plus profond que la technologie seule.
Les évaluateurs humains de Facebook devaient se souvenir d’un document de politique de 40 pages, traduit par machine dans leur langue, et se voyaient allouer environ 30 secondes pour examiner chaque contenu signalé. Le choix de l’action à prendre — bloquer, bannir l’utilisateur ou limiter la diffusion — était fait en se fiant à une décision prise dans un délai très court, avec une précision à peine meilleure que celle d’un tirage à la courte paille, selon Levenson. Ce système réactif, lent et inefficace, ne pouvait pas suivre le rythme rapide et adaptatif des acteurs malveillants.
“Le problème de la modération de contenu dépasse la simple technologie, et cette approche de réaction différée n’est pas durable à l’ère des acteurs hybrides et bien financés.”
Face à ces limites, Levenson a eu l’idée de “policy as code” — transformer les politiques statiques en logique exécutable, ajustable en temps réel, pour renforcer l’application des règles. Cette vision l’a conduit à fonder Moonbounce, une startup qui a annoncé un financement de 12 millions de dollars, co-dirigé par Amplify Partners et StepStone Group. Moonbounce propose une couche de sécurité supplémentaire pour tout contenu généré, qu’il soit créé par des utilisateurs ou par IA.
La société a formé son propre modèle de langage large capable d’interpréter les politiques de ses clients, d’évaluer le contenu en temps réel en moins de 300 millisecondes, et d’agir en conséquence. Selon le choix du client, cela peut signifier ralentir la diffusion pour une revue humaine ultérieure, ou bloquer immédiatement le contenu à haut risque.
Moonbounce intervient dans trois principaux secteurs : les plateformes avec du contenu généré par les utilisateurs comme les applications de rencontres ; les entreprises d’IA développant des personnages ou compagnons virtuels ; et les générateurs d’images IA. Elle soutient aujourd’hui plus de 40 millions de vérifications quotidiennes, avec plus de 100 millions d’utilisateurs actifs journaliers, selon Levenson. Parmi ses clients figurent Channel AI, Civitai, Dippy AI et Moescape.
La sécurité étant souvent perçue comme un coût ou un frein, Levenson affirme que “la sécurité peut réellement devenir un avantage produit”. Il cite l’exemple de Tinder, qui a atteint un facteur 10 d’amélioration dans la détection grâce à l’utilisation de modèles linguistiques avancés. Selon Lenny Pruss d’Amplify Partners, “nous envisageons un monde où des garde-fous objectifs en temps réel deviennent la colonne vertébrale de chaque application IA.” Cependant, la multiplication des incidents liés à l’IA — comme des chatbots incitant au suicide ou la création d’images non consensuelles — souligne à quel point les garde-fous internes échouent aujourd’hui, devenant une question de responsabilité juridique et réputationnelle pour les entreprises.
“Une infrastructure de sécurité déployée en amont, intégrée directement dans le produit, pourrait transformer la sécurité en un différenciateur stratégique.”
Levenson explique que de plus en plus, les entreprises d’IA recherchent de l’aide extérieure pour renforcer leur sécurité. Moonbounce agit comme un intermédiaire, indépendamment des modèles conversationnels, se concentrant uniquement sur l’application des règles en temps réel. La prochaine étape pour la société est le développement d’une capacité d'”orientation itérative”, permettant une redirection active des conversations pour mieux soutenir les utilisateurs en détresse. Ce système pourrait modifier en temps réel les prompts pour transformer une interaction potentiellement nuisible en une conversation plus soutenante.
Interrogé sur une éventuelle acquisition par une grande entreprise comme Meta, Levenson a admis que son ancien employeur pourrait parfaitement intégrer sa technologie. Cependant, il précise qu’il souhaite préserver la liberté d’usage et la commercialisation de son innovation. “Je préférerais voir notre technologie bénéficier à tout le monde plutôt que d’être confinée ou restrictivement accaparée par une seule entité.”
