Les entreprises technologiques comme dépeindre l’intelligence artificielle comme un outil précis et puissant pour le bien. Kate Crawford dit que la mythologie est imparfaite. Dans son livre Atlas de l’IA, elle visite une mine de lithium, un entrepôt Amazon et des archives de crânes phrénologiques du XIXe siècle pour illustrer les ressources naturelles, la sueur humaine et la mauvaise science qui sous-tendent certaines versions de la technologie. Crawford, professeur à l’Université de Californie du Sud et chercheur à Microsoft, affirme que de nombreuses applications et effets secondaires de l’IA ont un besoin urgent de réglementation.

Crawford a récemment discuté de ces problèmes avec le rédacteur principal de WIRED, Tom Simonite. Une transcription révisée suit.

WIRED: Peu de gens comprennent tous les détails techniques de l’intelligence artificielle. Vous soutenez que certains experts travaillant sur la technologie comprennent mal l’IA plus profondément.

KATE CRAWFORD: Il est présenté comme cette façon éthérée et objective de prendre des décisions, quelque chose que nous pouvons intégrer à tout, de l’enseignement aux enfants à la décision de qui obtient une caution. Mais le nom est trompeur: l’IA n’est ni artificielle ni intelligente.

L’IA est fabriquée à partir de grandes quantités de ressources naturelles, de carburant et de main-d’œuvre humaine. Et ce n’est intelligent d’aucune manière d’intelligence humaine. Il n’est pas capable de discerner les choses sans une formation humaine approfondie, et il a une logique statistique complètement différente sur la façon dont le sens est fait. Depuis le tout début de l’IA en 1956, nous avons commis cette terrible erreur, une sorte de péché originel du terrain, de croire que les esprits sont comme des ordinateurs et vice versa. Nous supposons que ces choses sont analogues à l’intelligence humaine et que rien ne pourrait être plus éloigné de la vérité.

Vous prenez ce mythe en montrant comment l’IA est construite. Comme de nombreux processus industriels, il s’avère compliqué. Certains systèmes d’apprentissage automatique sont construits avec des données collectées à la hâte, ce qui peut causer des problèmes tels que les services de reconnaissance faciale plus sujets aux erreurs pour les minorités.

Nous devons examiner la production de bout en bout de l’intelligence artificielle. Les graines du problème des données ont été plantées dans les années 1980, quand il est devenu courant d’utiliser des ensembles de données sans une connaissance approfondie de ce qu’il y avait à l’intérieur ou sans souci de confidentialité. Ce n’était que de la matière «brute», réutilisée dans des milliers de projets.

Cela a évolué vers une idéologie d’extraction massive de données, mais les données ne sont pas une substance inerte – elles apportent toujours un contexte et une politique. Les phrases de Reddit seront différentes de celles des livres pour enfants. Les images des bases de données mugshot ont des histoires différentes de celles des Oscars, mais elles sont toutes utilisées de la même manière. Cela provoque une multitude de problèmes en aval. En 2021, il n’y a toujours pas de norme à l’échelle de l’industrie pour noter quels types de données sont conservées dans les ensembles de formation, comment elles ont été acquises ou les problèmes éthiques potentiels.

Vous retracez les racines du logiciel de reconnaissance des émotions à une science douteuse financée par le ministère de la Défense dans les années 1960. UNE examen récent sur plus de 1000 articles de recherche, aucune preuve ne permet de déduire de manière fiable les émotions d’une personne à partir de son visage.

La détection des émotions représente le fantasme que la technologie répondra enfin aux questions que nous nous posons sur la nature humaine qui ne sont pas du tout des questions techniques. Cette idée si contestée dans le domaine de la psychologie a fait le saut dans l’apprentissage automatique car il s’agit d’une théorie simple qui correspond aux outils. Enregistrer les visages des gens et les corréler à des états émotionnels simples et prédéfinis fonctionne avec l’apprentissage automatique – si vous abandonnez la culture et le contexte et que vous pouvez changer votre apparence et votre ressenti des centaines de fois par jour.

Cela devient également une boucle de rétroaction: parce que nous avons des outils de détection des émotions, les gens disent que nous voulons les appliquer dans les écoles et les salles d’audience et attraper les voleurs à l’étalage potentiels. Récemment, des entreprises utilisent la pandémie comme prétexte pour utiliser la reconnaissance des émotions sur les enfants dans les écoles. Cela nous ramène au passé phrénologique, cette croyance que vous détectez le caractère et la personnalité du visage et de la forme du crâne.

Gracieuseté de Cath Muscat

Vous avez contribué à la croissance récente de la recherche sur la façon dont l’IA peut avoir des effets indésirables. Mais ce domaine est enchevêtré avec les personnes et le financement de l’industrie de la technologie, qui cherche à tirer profit de l’IA. Google a récemment expulsé deux chercheurs respectés sur l’éthique de l’IA, Timnit Gebru et Margaret Mitchell. L’implication de l’industrie limite-t-elle la recherche questionnant l’IA?