Avant de rejoindre Google en 2018, Gebru a travaillé avec la chercheuse du MIT Joy Buolamwini sur un projet appelé Gender Shades qui a révélé que la technologie d’analyse de visage d’IBM et de Microsoft était très précise pour les hommes blancs mais très inexacte pour les femmes noires. Cela a contribué à pousser les législateurs et les technologues américains à remettre en question et à tester l’exactitude de la reconnaissance faciale sur différentes données démographiques, et a contribué à Microsoft, IBM et Amazon annonçant qu’ils suspendraient les ventes de la technologie cette année. Gebru a également cofondé une conférence influente appelée Black in AI qui tente d’augmenter la diversité des chercheurs contribuant à ce domaine.

Le départ de Gebru a été déclenché lorsqu’elle a collaboré avec des chercheurs à l’intérieur et à l’extérieur de Google sur un document de recherche discutant des problèmes éthiques soulevés par les progrès récents des logiciels de langage IA.

image de l'article

Le guide WIRED de l’intelligence artificielle

Les algorithmes supersmart ne prendront pas tous les emplois, mais ils apprennent plus vite que jamais, allant des diagnostics médicaux à la diffusion d’annonces.

Les chercheurs ont fait des progrès considérables sur des problèmes tels que la génération de texte et la réponse à des questions en créant des modèles d’apprentissage automatique géants formés sur d’énormes pans du texte en ligne. Google a déclaré que la technologie avait rendu son moteur de recherche lucratif et éponyme plus puissant. Mais les chercheurs ont également montré que la création de ces modèles plus puissants consomme de grandes quantités d’électricité en raison des vastes ressources informatiques requises et ont documenté comment les modèles peuvent reproduire un langage biaisé sur le sexe et la race trouvé en ligne.

Gebru dit que son projet de document a discuté de ces questions et a encouragé l’utilisation responsable de la technologie, par exemple en documentant les données utilisées pour créer des modèles de langage. Elle a été troublée lorsque la directrice principale a insisté pour qu’elle et d’autres auteurs de Google suppriment leur nom du document ou le retirent complètement, en particulier lorsqu’elle ne pouvait pas apprendre le processus utilisé pour réviser le projet. «J’avais l’impression que nous étions censurés et je pensais que cela avait des implications pour toute la recherche éthique sur l’IA», dit-elle.

Gebru dit qu’elle n’a pas réussi à convaincre le directeur principal de résoudre les problèmes liés au journal; elle dit que le directeur a insisté pour qu’elle retire son nom. Mardi, Gebru a répondu par courrier électronique pour lui proposer un accord: si elle recevait une explication complète de ce qui s’était passé et que l’équipe de recherche rencontrait la direction pour convenir d’un processus de traitement équitable des recherches futures, elle retirerait son nom du document. Sinon, elle s’arrangerait pour quitter l’entreprise à une date ultérieure, la laissant libre de publier l’article sans l’affiliation de l’entreprise.

Gebru a également envoyé un e-mail à une liste plus large au sein du groupe de recherche sur l’IA de Google, affirmant que les tentatives des gestionnaires d’améliorer la diversité avaient été inefficaces. Elle a inclus une description de son différend sur le document linguistique comme exemple de la façon dont les responsables de Google peuvent faire taire les personnes issues de groupes marginalisés. Platformer a publié une copie de l’e-mail jeudi.

Mercredi, Gebru dit avoir appris de ses subordonnés directs qu’on leur avait dit que Gebru avait démissionné de Google et que sa démission avait été acceptée. Elle a découvert que son compte d’entreprise était désactivé.

Un e-mail envoyé par un responsable à l’adresse personnelle de Gebru indiquait que sa démission devait prendre effet immédiatement, car elle avait envoyé un e-mail reflétant « un comportement incompatible avec les attentes d’un responsable de Google ». Gebru s’est tourné vers Twitter et l’indignation s’est rapidement accrue parmi les chercheurs en IA en ligne.

Silhouette d'un humain et d'un robot à jouer aux cartes

Le secret de l’apprentissage automatique? Enseignants humains

De nombreux critiques de Google, tant à l’intérieur qu’à l’extérieur de l’entreprise, ont noté que l’entreprise avait d’un coup porté atteinte à la diversité de sa main-d’œuvre en IA et avait également perdu un défenseur de premier plan pour l’amélioration de cette diversité. Gebru soupçonne que son traitement était en partie motivé par son franc-parler concernant la diversité et le traitement par Google des personnes issues de groupes marginalisés. « Nous avons plaidé pour la représentation, mais il n’y a pratiquement pas de Noirs dans Google Research, et d’après ce que je ne vois aucun dirigeant, » dit-elle.