Elon Musk’s Grok a dévoilé mardi soir une nouvelle fonctionnalité de génération d’images IA qui, tout comme le chatbot IA, possède très peu de garde-fous. Cela signifie que vous pouvez générer de fausses images de Donald Trump fumant de la marijuana dans le show de Joe Rogan, par exemple, et les télécharger directement sur la plateforme X. Cependant, ce n’est pas vraiment la compagnie d’IA d’Elon Musk qui alimente cette folie ; c’est plutôt une nouvelle startup – Black Forest Labs – qui est l’instigatrice de cette fonctionnalité controversée. La collaboration entre les deux a été révélée lorsque xAI a annoncé qu’elle travaillait avec Black Forest Labs pour alimenter le générateur d’images de Grok en utilisant son modèle FLUX.1.
Startup d’images et de vidéos IA lancée le 1er août, Black Forest Labs semble sympathiser avec la vision de Musk pour Grok en tant que “chatbot anti-woke”, sans les garde-fous stricts que l’on trouve dans Dall-E d’OpenAI ou dans Imagen de Google. Le site des médias sociaux est déjà inondé d’images invraisemblables issues de la nouvelle fonctionnalité. Black Forest Labs est basé en Allemagne et est récemment sorti de l’anonymat avec une levée de fonds de démarrage de 31 millions de dollars, menée par Andreessen Horowitz, selon un communiqué de presse. Parmi les autres investisseurs notables figurent le PDG de Y Combinator, Garry Tan et l’ancien PDG d’Oculus, Brendan Iribe. Les co-fondateurs de la startup, Robin Rombach, Patrick Esser et Andreas Blattmann, étaient auparavant des chercheurs qui ont aidé à créer les modèles Stable Diffusion de Stability AI.
“Le danger de former un IA à être éveillée – en d’autres termes, à mentir – est mortel”, a déclaré Musk dans un tweet de 2022.
Selon Artificial Analysis, les modèles FLUX.1 de Black Forest Labs surpassent ceux des générateurs d’images IA de Midjourney et d’OpenAI en termes de qualité, du moins selon le classement des utilisateurs dans leur arène d’images. La start-up déclare qu’elle “met nos modèles à la disposition d’un large public”, avec des modèles de génération d’images IA open source sur Hugging Face et GitHub. L’entreprise dit qu’elle prévoit de créer un modèle de texte-à-vidéo prochainement, également. Black Forest Labs n’a pas immédiatement répondu à la demande de commentaire de TechCrunch.
Dans son communiqué de lancement, l’entreprise affirme qu’elle vise à “renforcer la confiance dans la sécurité de ces modèles” ; cependant, certains pourraient dire que le raz-de-marée de ses images générées par IA sur X mercredi a eu l’effet inverse. De nombreuses images que les utilisateurs ont pu créer en utilisant Grok et l’outil de Black Forest Labs, comme Pikachu tenant un fusil d’assaut, n’ont pas pu être recréées avec les générateurs d’images de Google ou d’OpenAI. Il ne fait aucun doute que des images protégées par des droits d’auteur ont été utilisées pour l’entraînement du modèle. C’est d’ailleurs tout l’intérêt de la chose. Ce manque de garde-fous est probablement une des principales raisons pour lesquelles Musk a choisi ce collaborateur.
L’absence générale de garde-fous pourrait poser des problèmes à Musk. La plateforme X a été critiquée lorsque des images explicites de deepfake générées par IA représentant Taylor Swift sont devenues virales sur la plateforme. Outre cet incident, Grok génère des titres hallucinés qui apparaissent aux utilisateurs sur X presque chaque semaine. La semaine dernière, cinq secrétaires d’État ont exhorté X à arrêter de diffuser de la désinformation à propos de Kamala Harris sur X. Plus tôt ce mois-ci, Musk a partagé une vidéo qui utilisait l’IA pour cloner la voix de Harris, la faisant passer comme si la vice-présidente avait admis être un “recrutement basé sur la diversité”. Musk semble déterminé à laisser ce genre de désinformation envahir la plateforme. En permettant aux utilisateurs de poster des images d’IA de Grok, qui semblent ne comporter aucun filigrane, directement sur la plateforme, il a essentiellement ouvert un tuyau d’arrosage de désinformation dirigé vers le fil d’actualités de chacun sur X.
