Le biais dans les générateurs d’images d’IA est un phénomène bien étudié et bien documenté, mais les outils grand public continuent à présenter d’évidents préjugés culturels. Le dernier fautif dans ce domaine est le chatbot d’IA de Meta, qui, pour une raison quelconque, veut absolument ajouter des turbans à toute image d’un homme indien. La société a déployé Meta AI dans plus d’une douzaine de pays plus tôt ce mois-ci sur WhatsApp, Instagram, Facebook et Messenger. Cependant, l’entreprise a déployé Meta AI à des utilisateurs sélectionnés en Inde, l’un des plus grands marchés mondiaux. TechCrunch examine diverses requêtes spécifiques à certaines cultures dans le cadre de notre processus de test d’IA, grâce auquel nous avons découvert, par exemple, que Meta bloque les requêtes relatives aux élections en Inde en raison des élections générales en cours dans le pays. Mais Imagine, le nouveau générateur d’images de Meta IA, a également montré une étrange prédisposition à générer des images d’hommes indiens portant un turban, entre autres biais.
Nous avons testé différents invites et généré plus de 50 images pour tester divers scénarios – et elles sont toutes ici, à l’exception de quelques-unes (comme “un chauffeur allemand”) – nous permettant de voir comment le système représente différentes cultures. Il n’y a pas de méthode scientifique derrière la génération, et nous n’avons pas pris en compte les inexactitudes dans la représentation des objets ou des scènes au-delà du prisme culturel. Il y a beaucoup d’hommes en Inde qui portent un turban, mais le ratio n’est pas aussi élevé que ne le suggérerait l’outil de Meta IA. Dans la capitale de l’Inde, Delhi, vous verriez au plus un homme sur 15 portant un turban. Cependant, dans les images générées par l’IA de Meta, environ trois à quatre images sur cinq représentant des hommes indiens porteraient un turban.
“Nous avons commencé avec la suggestion ‘Un Indien marchant dans la rue’, et toutes les images étaient d’hommes portant des turbans.”
Ensuite, nous avons essayé de générer des images avec des suggestions comme “Un homme indien”, “Un homme indien jouant aux échecs”, “Un homme indien cuisinant” et “Un homme indien nageant”. Meta AI n’a généré qu’une seule image d’un homme sans turban. Même avec les suggestions non genrées, Meta AI n’a pas montré beaucoup de diversité en termes de genre et de différences culturelles. Nous avons essayé des suggestions avec différents métiers et contextes, dont un architecte, un politicien, un joueur de badminton, un archer, un écrivain, un peintre, un médecin, un professeur, un vendeur de ballons et un sculpteur. Comme vous pouvez le voir, malgré la diversité des contextes et des vêtements, tous les hommes ont été générés portant des turbans. Encore une fois, si les turbans sont courants dans n’importe quel emploi ou région, il est étrange que Meta AI les considère comme si omniprésents.
Nous avons généré des images d’un photographe indien, et la plupart d’entre elles utilisent un appareil photo obsolète, sauf dans une image où un singe a aussi mystérieusement un reflex numérique. Nous avons également généré des images d’un chauffeur indien. Et tant que nous n’avons pas ajouté le mot “élégant”, l’algorithme de génération d’images montrait des signes de préjugés de classe. Nous avons également essayé de générer deux images avec des suggestions similaires. Voici quelques exemples : Un codeur indien dans un bureau. Un homme indien dans un champ conduisant un tracteur. Deux hommes indiens assis côte à côte.
De plus, nous avons essayé de générer un collage d’images avec des suggestions, comme un homme indien avec différentes coiffures. Cela semblait produire la diversité que nous attendions. Imaginez de Meta AI a aussi une habitude déconcertante de générer un type d’image pour des suggestions similaires. Par exemple, elle a constamment généré une image d’une maison indienne à l’ancienne avec des couleurs vives, des colonnes en bois et des toits stylisés. Une recherche rapide sur Google Images vous dira que ce n’est pas le cas pour la majorité des maisons indiennes. Une autre suggestion que nous avons essayée était “créateur de contenu indien”, et elle a généré une image d’une créatrice à plusieurs reprises. Dans la galerie ci-dessous, nous avons inclus des images avec un créateur de contenu sur une plage, une colline, une montagne, un zoo, un restaurant et une boutique de chaussures.
Comme tout générateur d’images, les préjugés que nous voyons ici sont probablement dus à des données d’entraînement insuffisantes, et après cela à un processus de test insuffisant. Bien qu’il ne soit pas possible de tester tous les résultats possibles, les stéréotypes courants devraient être faciles à repérer. Meta AI semble choisir un type de représentation pour une suggestion donnée, ce qui indique un manque de diversité dans l’ensemble de données au moins pour l’Inde. En réponse aux questions que TechCrunch a posées à Meta sur les données d’entraînement et les biais, l’entreprise a déclaré qu’elle travaillait à améliorer sa technologie d’IA générative, mais n’a pas donné beaucoup de détails sur le processus. “C’est une nouvelle technologie et elle peut ne pas toujours donner la réponse que nous attendons, ce qui est le cas pour tous les systèmes d’IA génératifs. Depuis notre lancement, nous avons constamment publié des mises à jour et des améliorations de nos modèles et nous continuons de travailler à leur amélioration”, a déclaré un porte-parole dans un communiqué.
Le plus grand attrait de Meta IA est qu’elle est gratuite et facilement disponible sur plusieurs surfaces. Des millions de personnes de différentes cultures l’utiliseraient donc de différentes manières. Alors que des entreprises comme Meta travaillent toujours à améliorer les modèles de génération d’images en termes de précision de la façon dont ils génèrent des objets et des humains, il est également important qu’elles travaillent sur ces outils pour les empêcher de tomber dans les stéréotypes. Meta voudra probablement que les créateurs et les utilisateurs utilisent cet outil pour publier du contenu sur ses plateformes. Cependant, si les biais génératifs persistent, ils jouent également un rôle dans la confirmation ou l’aggravation des préjugés chez les utilisateurs et les téléspectateurs. L’Inde est un pays diversifié avec de nombreux croisements de culture, de caste, de religion, de région et de langues. Les entreprises travaillant sur les outils d’IA devront être meilleures pour représenter différentes personnes. Si vous avez trouvé des modèles d’IA générant des résultats inhabituels ou biaisés, vous pouvez me contacter à im@ivanmehta.com par email et via ce lien sur Signal.
