OpenAI n’a jamais révélé exactement quelles données il a utilisées pour entrainer Sora, son IA génératrice de vidéos. Mais à première vue, une partie des données pourrait provenir de streams Twitch et de walkthroughs de jeux vidéo. Sora a été lancé ce lundi et j’ai eu l’occasion de jouer avec pour un certain temps (dans la mesure où les problèmes de capacité le permettent). À partir d’un prompt de texte ou d’une image, Sora peut générer des vidéos allant jusqu’à 20 secondes dans une gamme de proportions et résolutions d’aspect. Lorsque OpenAI a révélé Sora pour la première fois en février, il a laissé entendre qu’il avait entraîné le modèle sur des vidéos Minecraft. Je me suis donc demandé, quels autres walkthroughs de jeux vidéo pourraient se cacher dans le set d’entraînement ? Apparemment, pas mal.
Sora peut générer une vidéo de ce qui est essentiellement un clone de Super Mario Bros (bien que avec quelques bugs) : Crédits Image : OpenAI. Elle peut créer des images de gameplay d’un shooter à la première personne qui semble inspiré de Call of Duty et Counter-Strike : Crédits Image : OpenAI. Et elle peut produire un clip présentant un combattant d’arcade dans le style d’un jeu des années 90, Teenage Mutant Ninja Turtle : Crédits Image : OpenAI. Il semble que Sora ait également une compréhension de ce à quoi devrait ressembler un flux Twitch — ce qui implique qu’elle en a vu quelques uns.
“Nous avons constaté qu’il y a des implications juridiques potentielles à l’utilisation du contenu de jeux vidéo dans les données d’entraînement des IA, surtout si elles sont utilisées pour créer des expériences plus interactives.”
Une autre chose remarquable à propos de la capture d’écran : elle présente la ressemblance du célèbre streamer Twitch Raúl Álvarez Genes, plus connu sous le nom de Auronplay — jusqu’au tatouage sur son avant-bras gauche. Auronplay n’est pas le seul streamer Twitch que Sora semble “connaître”. Elle a généré une vidéo d’un personnage ressemblant (avec certaines libertés artistiques) à Imane Anys, mieux connue sous le nom de Pokimane. Image Credits:OpenAI.
Cependant, j’ai dû faire preuve de créativité avec certaines des invites (par exemple, “jeu de plombier italien”). OpenAI a mis en place un filtre pour tenter d’empêcher Sora de générer des clips représentant des personnages protégés par des droits d’auteur. Taper quelque chose comme “Mortal Kombat 1 gameplay”, par exemple, ne donnera rien qui ressemble au titre. Mais mes tests suggèrent que du contenu de jeu peut avoir trouvé son chemin dans les données d’entraînement de Sora.
OpenAI a été évasif sur l’origine de ses données d’entraînement. Dans une interview avec The Wall Street Journal en mars, la CTO d’OpenAI à l’époque, Mira Murati, n’a pas voulu nier catégoriquement que Sora a été entraînée sur du contenu YouTube, Instagram et Facebook. Et dans les spécifications techniques pour Sora, OpenAI a reconnu avoir utilisé des données “publiquement disponibles”, ainsi que des données sous licence de bibliothèques de médias de stock comme Shutterstock, pour développer Sora.
