OpenAI a développé un outil qui pourrait éventuellement repérer les étudiants qui trichent en demandant à ChatGPT d’écrire leurs devoirs. Cependant, selon le Wall Street Journal, la société se demande si elle doit réellement le lancer. Dans une déclaration fournie à TechCrunch, un porte-parole d’OpenAI a confirmé que la société étudie la méthode de tatouage de texte décrite dans l’article du Journal, mais a déclaré qu’elle adopte une “approche délibérée” à cet égard en raison des “complexités impliquées et de son impact probable sur l’écosystème plus large au-delà d’OpenAI”.
“La méthode de tatouage de texte que nous développons est techniquement prometteuse, mais présente des risques importants que nous évaluons tout en recherchant des alternatives, y compris la susceptibilité de contournement par des acteurs malveillants et le potentiel d’impact disproportionné sur des groupes comme les non-anglophones”, a déclaré le porte-parole. Cette approche différerait de la plupart des tentatives précédentes de détection de texte généré par l’IA, qui ont été largement inefficaces. OpenAI lui-même a même fermé son précédent détecteur de texte AI l’année dernière en raison de son “taux de précision faible”. Avec le tatouage de texte, OpenAI se concentrerait uniquement sur la détection de l’écriture provenant de ChatGPT, et non des modèles d’autres entreprises.
Il le ferait en apportant de petits changements à la façon dont ChatGPT sélectionne les mots, créant essentiellement un filigrane invisible dans l’écriture qui pourrait plus tard être détecté par un outil séparé.
Suite à la publication de l’article du Journal, OpenAI a également mis à jour un article de blog de mai sur ses recherches autour de la détection de contenu généré par l’IA. La mise à jour stipule que le tatouage de texte s’est révélé “hautement précis et même efficace contre la falsification localisée, comme la paraphrase”, mais s’est révélé “moins robuste contre la falsification globalisée ; comme l’utilisation de systèmes de traduction, la reformulation avec un autre modèle génératif, ou demander au modèle d’insérer un caractère spécial entre chaque mot puis de supprimer ce caractère”. En conséquence, OpenAI écrit que cette méthode est “triviale à contourner par des acteurs malveillants”.
La mise à jour d’OpenAI fait également écho au point du porte-parole concernant les non-anglophones, écrivant que le tatouage de texte pourrait “stigmatiser l’utilisation de l’IA comme un outil d’écriture utile pour les non-anglophones de langue maternelle”. Malgré la demande croissante de sécurité et de responsabilité en matière d’IA, les tests et les benchmarks actuels peuvent être insuffisants, selon un nouveau rapport. Des modèles d’IA génératifs – des modèles capables d’analyser et de produire du contenu – ont été mis en évidence comme des outils potentiellement utiles en matière d’éducation et d’aide à la rédaction, mais leur utilisation dans un cadre éducatif soulève toujours des questions d’éthique et d’authenticité.
