Dans un monde en perpétuelle évolution, les adolescents tentent de s’y retrouver, submergés par des émotions intenses et une stimulation constante. La montée en puissance des chatbots, conçus pour dialoguer sans fin, exacerbe cette situation. Character.AI, une startup spécialisée dans les IA de jeux de rôle, est récemment sous les feux de l’actualité à la suite de tragédies, notamment le suicide de deux adolescents après des interactions prolongées avec ses chatbots. Face à ce drame, l’entreprise est contrainte de réévaluer ses pratiques.
Karandeep Anand, le PDG de Character.AI, a annoncé des changements significatifs sur la plateforme, notamment la suppression de la possibilité pour les utilisateurs de moins de 18 ans d’engager des discussions ouvertes avec les IA. Ce type d’interaction, où le chatbot entretient un échange continu basé sur des invitations à parler, est jugé risqué, non seulement pour les jeunes, mais aussi en décalage avec la vision initiale de l’entreprise. Le but est dorénavant de transformer l’expérience de conversation en une expérience de création, permettant aux utilisateurs de bâtir des histoires ou de générer des visuels ensemble.
Character.AI aspire à établir un nouveau standard de sécurité et de responsabilité pour les interactions entre adolescents et IA.
Le processus de retrait de l’accès des adolescents aux chatbots commencera le 25 novembre, avec une réduction progressive du temps d’utilisation allant d’un maximum de deux heures par jour jusqu’à une interdiction totale. Pour s’assurer que cette mesure soit respectée, des outils de vérification d’âge seront mis en place, incluant une analyse du comportement des utilisateurs et, si nécessaire, des contrôles d’identification par reconnaissance faciale. Bien que ces changements visent à protéger les jeunes, ils risquent également de provoquer une perte importante de la base d’utilisateurs de moins de 18 ans.
Anand a reconnu que ces mesures, bien que nécessaires, ne seront pas bien accueillies par tous. Cependant, il est convaincu que cette direction permettra d’élargir l’éventail d’expériences offertes à cette tranche d’âge, incluant des fonctionnalités de création de contenu comme AvatarFX, qui transforme des images en vidéos animées, et Streams, permettant des interactions dynamiques entre personnages. “Nous ne fermons pas l’application pour les moins de 18 ans; nous fermons juste les discussions ouvertes”, explique Anand.
Alors que d’autres entreprises, comme OpenAI, font également face à des critiques après des incidents tragiques similaires, Character.AI se positionne comme un précurseur en matière de sécurité dans le domaine des chatbots. En agissant avant même que des réglementations ne soient imposées, la startup espère établir un cadre de référence pour l’usage responsable de l’intelligence artificielle auprès des jeunes. En parallèle, Character.AI a annoncé la création d’un laboratoire de sécurité dédié, visant à explorer des solutions pour garantir des interactions plus sûres à l’avenir.
