L’automne dernier, canadien L’étudiant Colin Madland a remarqué que l’algorithme de recadrage automatique de Twitter sélectionnait continuellement son visage – pas son collègue à la peau plus foncée – à partir des photos de la paire pour l’afficher dans des tweets. le épisode a déclenché des accusations de biais alors qu’une rafale d’utilisateurs de Twitter a publié des photos allongées pour voir si l’IA choisirait le visage d’une personne blanche sur une personne noire ou si elle se concentrait sur la poitrine des femmes sur leurs visages.

À l’époque, un porte-parole de Twitter a déclaré que les évaluations de l’algorithme avant sa mise en service en 2018 avaient été trouvées. aucune preuve de préjugé racial ou sexiste. Maintenant, la plus grande analyse de l’IA à ce jour a révélé le contraire: l’algorithme de Twitter favorise les Blancs par rapport aux Noirs. Cette évaluation a également révélé que l’IA pour prédire la partie la plus intéressante d’une photo ne se concentre pas sur le corps des femmes plutôt que sur les visages des femmes.

Tests précédents par Twitter et le chercheur Vinay Prabhu a impliqué quelques centaines d’images ou moins. L’analyse publiée mercredi par les chercheurs scientifiques de Twitter est basée sur 10000 paires d’images de personnes de différents groupes démographiques pour tester les préférences de l’algorithme.

Les chercheurs ont trouvé un biais lorsque l’algorithme montre des photos de personnes appartenant à deux groupes démographiques. En fin de compte, l’algorithme sélectionne une personne dont le visage apparaîtra dans les chronologies de Twitter, et certains groupes sont mieux représentés sur la plate-forme que d’autres. Lorsque les chercheurs ont introduit l’image d’un homme noir et d’une femme blanche dans le système, l’algorithme a choisi d’afficher la femme blanche 64% du temps, et l’homme noir seulement 36% du temps, le plus grand écart pour tous les groupes démographiques inclus. dans l’analyse. Pour les images d’une femme blanche et d’un homme blanc, l’algorithme affiche la femme 62% du temps. Pour les images d’une femme blanche et d’une femme noire, l’algorithme affiche la femme blanche 57% du temps.

Le 5 mai, Twitter a supprimé le recadrage d’images pour les photos individuelles publiées à l’aide de l’application pour smartphone Twitter, une approche que le directeur de la conception de Twitter, Dantley Davis, a privilégiée. puisque la controverse sur l’algorithme a éclaté l’automne dernier. Le changement a conduit les gens à publier de grandes photos et a signalé la fin des tweets «Open for a surprise».

L’algorithme dit de saillance est toujours utilisé sur Twitter.com, ainsi que pour recadrer des tweets multi-images et créer des vignettes d’images. Un porte-parole de Twitter a déclaré que les photos excessivement hautes ou larges étaient désormais recadrées au centre et que la société prévoyait de mettre fin à l’utilisation de l’algorithme sur le site Web de Twitter. Les algorithmes de saillance sont formés en suivant ce que les gens regardent lorsqu’ils regardent une image.

D’autres sites, dont Facebook et Instagram, ont utilisé le recadrage automatisé basé sur l’IA. Facebook n’a pas répondu à une demande de commentaire.

Les accusations de préjugés sexistes et raciaux dans les systèmes de vision par ordinateur sont malheureusement assez courantes. Google a récemment détaillé ses efforts pour améliorer le fonctionnement des caméras Android pour les personnes à la peau foncée. La semaine dernière, le groupe Algorithm Watch a découvert que l’IA d’étiquetage d’image utilisée dans un iPhone décrivait des dessins animés de personnes à la peau foncée comme des «animaux». Un porte-parole d’Apple a refusé de commenter.

Quels que soient les résultats des mesures d’équité, les chercheurs de Twitter affirment que la prise de décision algorithmique peut priver les utilisateurs de choix et avoir un impact considérable, en particulier pour les groupes de personnes marginalisés.

Dans l’étude récemment publiée, les chercheurs de Twitter ont déclaré qu’ils n’avaient pas trouvé de preuves que l’algorithme de recadrage de photos favorise le corps des femmes par rapport à leurs visages. Pour le déterminer, ils ont alimenté l’algorithme 100 images choisies au hasard de personnes identifiées comme des femmes, et ont constaté que seuls trois corps centrés sur les visages. Les chercheurs suggèrent que cela est dû à la présence d’un badge ou d’un numéro de maillot sur la poitrine des gens. Pour mener l’étude, les chercheurs ont utilisé des photos de l’ensemble de données WikiCeleb; les traits d’identité des personnes sur les photos ont été tirés de Wikidata.