Cette histoire a paru à l’origine dans The Algorithm, notre newsletter hebdomadaire sur l’IA. Pour recevoir d’abord des histoires comme celle-ci dans votre boîte de réception, inscrivez-vous ici.
Mes flux de médias sociaux cette semaine ont été dominés par deux sujets d’actualité : le dernier chatbot d’OpenAI, ChatGPT, et l’application d’avatar AI virale Lensa. J’adore jouer avec les nouvelles technologies, alors j’ai essayé Lensa.
J’espérais obtenir des résultats similaires à ceux de mes collègues du MIT Technology Review. L’application a généré pour eux des avatars réalistes et flatteurs – pensez aux astronautes, aux guerriers et aux couvertures d’albums de musique électronique.
Au lieu de cela, j’ai eu des tonnes de nus. Sur 100 avatars que j’ai générés, 16 étaient torse nu, et 14 autres m’avaient dans des vêtements extrêmement maigres et des poses ouvertement sexualisées. Vous pouvez lire mon histoire ici.
Lensa crée ses avatars à l’aide de Stable Diffusion, un modèle d’IA open source qui génère des images basées sur des invites textuelles. Stable Diffusion est formé sur LAION-5B, un ensemble massif de données open source qui a été compilé en grattant des images sur Internet.
Et parce qu’Internet regorge d’images de femmes nues ou à peine vêtues, et d’images reflétant des stéréotypes sexistes et racistes, l’ensemble de données est également biaisé vers ce type d’images.
En tant que femme asiatique, je pensais avoir tout vu.Je me suis senti mal après avoir réalisé qu’un ancien rendez-vous ne sortait qu’avec des femmes asiatiques. Je me suis battue avec des hommes qui pensent que les femmes asiatiques font de bonnes femmes au foyer. J’ai entendu des commentaires grossiers sur mes organes génitaux. J’ai été confondu avec l’autre personne asiatique dans la pièce.
Être sexualisé par une IA n’était pas quelque chose auquel je m’attendais, même si ce n’est pas surprenant. Franchement, c’était terriblement décevant. Mes collègues et amis ont eu le privilège d’être stylisés dans des représentations astucieuses d’eux-mêmes. Ils étaient reconnaissables à leurs avatars ! Je n’étais pas. J’ai obtenu des images de femmes asiatiques génériques clairement calquées sur des personnages d’anime ou des jeux vidéo.
Curieusement, j’ai trouvé des représentations plus réalistes de moi-même lorsque j’ai dit à l’application que j’étais un homme. Cela a probablement appliqué un ensemble différent d’invites aux images. Les différences sont flagrantes. Dans les images générées à l’aide de filtres masculins, je porte des vêtements, j’ai l’air affirmé et, le plus important, je peux me reconnaître dans les images.
« Les femmes sont associées au contenu sexuel,alors que les hommes sont associés à un contenu professionnel lié à la carrière dans n’importe quel domaine important comme la médecine, la science, les affaires, etc. », explique Aylin Caliskan, professeur adjoint à l’Université de Washington qui étudie les préjugés et la représentation dans les systèmes d’IA.
Ce type de stéréotype peut être facilement repéré grâce à un nouvel outil conçu par la chercheuse Sasha Luccioni, qui travaille à la start-up AI Hugging Face, qui permet à quiconque d’explorer les différents biais de Stable Diffusion.
L’outil montre comment le modèle d’IA propose des images d’hommes blancs en tant que médecins, architectes et designers tandis que les femmes sont représentées en tant que coiffeuses et femmes de chambre.
Mais ce ne sont pas seulement les données d’entraînement qui sont à blâmer.Les entreprises qui développent ces modèles et applications font des choix actifs sur la façon dont elles utilisent les données, explique Ryan Steed, doctorant à l’Université Carnegie Mellon, qui a étudié les biais dans les algorithmes de génération d’images.
« Quelqu’un doit choisir les données d’entraînement, décider de construire le modèle, décider de prendre certaines mesures pour atténuer ou non ces biais », dit-il.
Prisma Labs, la société derrière Lensa, affirme que tous les genres sont confrontés à une « sexualisation sporadique ». Mais pour moi, ce n’est pas suffisant. Quelqu’un a pris la décision consciente d’appliquer certains schémas de couleurs et scénarios et de mettre en évidence certaines parties du corps.
À court terme, certains préjudices évidents pourraient résulter de ces décisions, comme un accès facile à des générateurs de deepfake qui créent des images nues non consensuelles de femmes ou d’enfants.
Mais Aylin Caliskan voit des problèmes encore plus importants à plus long terme. Alors que les images générées par l’IA avec leurs biais intégrés inondent Internet, elles finiront par devenir des données de formation pour les futurs modèles d’IA. « Allons-nous créer un avenir où nous continuons à amplifier ces préjugés et à marginaliser les populations ? elle dit.
C’est une pensée vraiment effrayante, et j’espère pour ma part que nous donnerons à ces questions le temps et l’attention nécessaires avant que le problème ne devienne encore plus important et plus enraciné.
Apprentissage plus approfondi
Comment la police américaine utilise l’argent du contre-terrorisme pour acheter des technologies d’espionnage
L’argent des subventions destiné à aider les villes à se préparer aux attentats terroristes est dépensé pour des « achats massifs de technologies de surveillance » pour les services de police américains, selon un nouveau rapport des organisations de défense Action Center on Race and Economy (ACRE), LittleSis, MediaJustice et l’immigrant Projet de défense montre.
Acheter des technologies d’espionnage alimentées par l’IA :Par exemple, le département de police de Los Angeles a utilisé des fonds destinés à la lutte contre le terrorisme pour acheter des lecteurs de plaques d’immatriculation automatisés d’une valeur d’au moins 1,27 million de dollars, des équipements radio d’une valeur supérieure à 24 millions de dollars, des plates-formes de fusion de données Palantir (souvent utilisées pour la police prédictive alimentée par l’IA) et des réseaux sociaux. logiciel de surveillance des médias.
Pourquoi c’est important :Pour diverses raisons, de nombreuses technologies problématiques se retrouvent dans des secteurs à fort enjeu tels que la police avec peu ou pas de surveillance. Par exemple, la société de reconnaissance faciale Clearview AI propose des « essais gratuits » de sa technologie aux services de police, ce qui leur permet de l’utiliser sans accord d’achat ni approbation budgétaire. Les subventions fédérales pour la lutte contre le terrorisme ne nécessitent pas autant de transparence et de surveillance publiques. Les conclusions du rapport sont un autre exemple d’une tendance croissante dans laquelle les citoyens sont de plus en plus tenus dans l’ignorance au sujet de l’approvisionnement en technologie policière. En savoir plus sur Tate Ryan-Mosley ici.
Bits et octets
hatGPT, Galactica et le piège du progrès
Les chercheurs en IA Abeba Birhane et Deborah Raji écrivent que les « approches nonchalantes de la publication de modèles » (comme on le voit avec Galactica de Meta) et la réponse extrêmement défensive aux commentaires critiques constituent une tendance « profondément préoccupante » dans l’IA en ce moment. Ils soutiennent que lorsque les modèles ne « répondent pas aux attentes de ceux qui risquent le plus d’être lésés », alors « leurs produits ne sont pas prêts à servir ces communautés et ne méritent pas une diffusion généralisée ». (Câblé)
Les nouveaux chatbots pourraient changer le monde. Pouvez-vous leur faire confiance ?
Les gens ont été époustouflés par la cohérence de ChatGPT. Le problème, c’est qu’une grande partie de ce qu’il crache est absurde. Les grands modèles de langage ne sont rien de plus que des conneries confiantes, et nous serions sages de les approcher en gardant cela à l’esprit.
(Le New York Times)
Trébuchant avec leurs mots, certaines personnes laissent l’IA parler
Malgré les défauts de la technologie, certaines personnes, comme celles qui ont des difficultés d’apprentissage, trouvent toujours de grands modèles de langage utiles pour s’exprimer.
(Le Washington Post)
La position des pays de l’UE sur les règles de l’IA suscite les critiques des législateurs et des militants
La loi de l’UE sur l’IA, la loi sur l’IA, est sur le point d’être finalisée. Les pays de l’UE ont approuvé leur position sur ce à quoi devrait ressembler le règlement, mais les critiques affirment que de nombreuses questions importantes, telles que l’utilisation de la reconnaissance faciale par les entreprises dans les lieux publics, n’ont pas été abordées et que de nombreuses garanties ont été édulcorées. (Reuters)
Les investisseurs cherchent à tirer profit des startups d’IA générative
Il n’y a pas que vous. Les capital-risqueurs pensent également que les startups d’IA générative telles que Stability.AI, qui a créé le modèle populaire de texte en image Stable Diffusion, sont les choses les plus en vogue dans le domaine de la technologie en ce moment. Et ils leur jettent des tas d’argent. (Le Financial Times)
