Le gouverneur de Californie, Gavin Newsom, a signé lundi une loi emblématique qui régule l’utilisation des chatbots compagnons IA, faisant de l’État le premier du pays à exiger que les opérateurs de chatbots mettent en place des protocoles de sécurité pour ces compagnons. La loi, SB 243, vise à protéger les enfants et les utilisateurs vulnérables des dangers associés à l’utilisation des chatbots compagnons. Elle rend les entreprises — des grands laboratoires comme Meta et OpenAI aux start-ups de compagnons comme Character AI et Replika — légalement responsables si leurs chatbots ne respectent pas les normes établies par la loi.
Introduite en janvier par les sénateurs Steve Padilla et Josh Becker, la législation a pris de l’ampleur après le suicide tragique d’Adam Raine, un adolescent qui a mis fin à ses jours après une série de conversations suicidaires avec ChatGPT d’OpenAI. De plus, des documents internes divulgués ont révélé que les chatbots de Meta étaient autorisés à engager des discussions “romantiques” et “sensuelles” avec des enfants. Récemment, une famille du Colorado a également porté plainte contre la start-up Character AI, suite au suicide de leur fille de 13 ans après des échanges problématiques et sexualisés avec les chatbots de la société.
“Notre devoir est de protéger les personnes les plus vulnérables parmi nous”, a déclaré le sénateur Padilla.
Dans une déclaration, Newsom a déclaré : “Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, éduquer et connecter – mais sans vraies protections, ces technologies peuvent également exploiter, tromper et mettre en danger nos enfants. Nous avons vu des exemples véritablement horribles et tragiques de jeunes victimes de technologies non régulées, et nous ne resterons pas les bras croisés tandis que les entreprises continuent sans limites nécessaires et responsabilité.” La loi SB 243 entrera en vigueur le 1er janvier 2026 et exigera des entreprises qu’elles mettent en œuvre certaines fonctionnalités telles que la vérification d’âge et des avertissements concernant les chatbots compagnons.
En outre, la loi prévoit des pénalités plus sévères pour ceux qui tirent profit de deepfakes illégaux, pouvant aller jusqu’à 250 000 dollars par infraction. Les entreprises devront établir des protocoles pour traiter des situations de suicide et d’automutilation, ces protocoles étant partagés avec le Département de la Santé publique de l’État. Les plateformes devront également indiquer clairement que toute interaction est générée artificiellement et ne doivent pas représenter leurs chatbots comme des professionnels de la santé.
Des sociétés ont déjà commencé à mettre en œuvre certaines mesures de sécurité pour les enfants. Par exemple, OpenAI a récemment commencé à déployer des contrôles parentaux et un système de détection de comportements autodestructeurs pour les jeunes utilisateurs de ChatGPT. Character AI a indiqué que son chatbot comprend un avertissement selon lequel toutes les discussions sont générées par IA et sont fictives. Le sénateur Padilla a souligné que cette loi est “un pas dans la bonne direction” pour mettre en place des garde-fous sur “une technologie incroyablement puissante”. Il a exprimé l’espoir que d’autres États prendront également conscience des risques et agiront en conséquence.
