Lorsqu’une personne meurt dans un accident de voiture aux États-Unis, les données sur l’incident sont généralement signalées à la National Highway Traffic Safety Administration. La loi fédérale exige que les pilotes d’avion civils informent le National Transportation Safety Board des incendies en vol et de certains autres incidents.

Les registres sinistres sont destinés à donner aux autorités et aux fabricants de meilleures informations sur les moyens d’améliorer la sécurité. Ils ont contribué à inspirer un référentiel participatif d’incidents d’intelligence artificielle visant à améliorer la sécurité dans des domaines beaucoup moins réglementés, tels que les véhicules autonomes et la robotique. La base de données des incidents d’IA lancée fin 2020 contient désormais 100 incidents, dont le n°68, le robot de sécurité qui s’est effondré dans une fontaine, et le n°16, dans lequel le service d’organisation de photos de Google a qualifié les Noirs de « gorilles ». Considérez-le comme le Hall of Shame de l’IA.

La base de données des incidents d’IA est hébergée par Partnership on AI, une organisation à but non lucratif fondée par de grandes entreprises technologiques pour rechercher les inconvénients de la technologie. Le rouleau de déshonneur a été lancé par Sean McGregor, qui travaille comme ingénieur en apprentissage automatique au démarrage du processeur vocal Syntiant. Il dit que c’est nécessaire parce que l’IA permet aux machines d’intervenir plus directement dans la vie des gens, mais la culture du génie logiciel n’encourage pas la sécurité.

« Souvent, je parlerai avec mes collègues ingénieurs et ils auront une idée assez intelligente, mais vous devez dire » Avez-vous pensé à la façon dont vous créez une dystopie? «  », Dit McGregor. Il espère que la base de données des incidents pourra fonctionner à la fois comme une carotte et un bâton sur les entreprises technologiques, en fournissant une forme de responsabilité publique qui encourage les entreprises à ne pas figurer sur la liste, tout en aidant les équipes d’ingénierie à concevoir des déploiements d’IA moins susceptibles de mal tourner.

La base de données utilise une définition large d’un incident d’IA comme une « situation dans laquelle les systèmes d’IA ont causé, ou presque causé, des dommages dans le monde réel ». La première entrée de la base de données recueille les accusations selon lesquelles YouTube Kids a affiché du contenu pour adultes, y compris un langage sexuellement explicite. Le plus récent, le #100, concerne un problème dans un système de protection sociale français qui peut déterminer à tort que les gens doivent de l’argent à l’État. Entre les deux, il y a des accidents de véhicules autonomes, comme l’incident mortel d’Uber en 2018, et des arrestations injustifiées dues à des défaillances de la traduction automatique ou de la reconnaissance faciale.

N’importe qui peut soumettre un article au catalogue de calamité de l’IA. McGregor approuve les ajouts pour le moment et a un arriéré important à traiter, mais espère que la base de données finira par devenir autonome et un projet open source avec sa propre communauté et son propre processus de conservation. L’un de ses incidents préférés est un blooper d’IA par un système de détection de jaywalking basé sur la reconnaissance faciale à Ningbo, en Chine, qui a accusé à tort une femme dont le visage est apparu dans une publicité sur le côté d’un bus.

Les 100 incidents enregistrés jusqu’à présent incluent 16 impliquant Google, plus que toute autre entreprise. Amazon en a sept et Microsoft deux. « Nous connaissons la base de données et soutenons pleinement la mission et les objectifs du partenariat dans la publication de la base de données », a déclaré Amazon dans un communiqué. « Gagner et maintenir la confiance de nos clients est notre priorité absolue, et nous avons conçu des processus rigoureux pour nous améliorer en permanence. nos services et les expériences de nos clients. Google et Microsoft n’ont pas répondu aux demandes de commentaires.

Le Center for Security and Emerging Technology de Georgetown essaie de rendre la base de données plus puissante. Les entrées sont actuellement basées sur des reportages médiatiques, tels que l’incident 79, qui cite des rapports WIRED sur un algorithme d’estimation de la fonction rénale qui, par conception, classe la maladie des patients noirs comme moins grave. Les étudiants de Georgetown travaillent à la création d’une base de données complémentaire qui comprend les détails d’un incident, par exemple si le préjudice était intentionnel ou non, et si l’algorithme du problème a agi de manière autonome ou avec une intervention humaine.

Helen Toner, directrice de la stratégie au CSET, affirme que l’exercice éclaire la recherche sur les risques potentiels d’accidents liés à l’IA. Elle pense également que la base de données montre à quel point ce pourrait être une bonne idée pour les législateurs ou les régulateurs qui envisagent les règles de l’IA d’envisager de rendre obligatoire une forme de rapport d’incident, similaire à celle de l’aviation.

Les responsables de l’UE et des États-Unis ont manifesté un intérêt croissant pour la réglementation de l’IA, mais la technologie est si variée et largement appliquée que l’élaboration de règles claires qui ne seront pas rapidement obsolètes est une tâche ardue. Les projets de propositions récents de l’UE ont été accusés à divers degrés de portée excessive, d’analphabétisme technologique et d’être plein de lacunes. Toner dit qu’exiger la déclaration des accidents d’IA pourrait aider à ancrer les discussions politiques. «Je pense qu’il serait sage que ceux-ci soient accompagnés de commentaires du monde réel sur ce que nous essayons d’éviter et sur les types de problèmes qui ne vont pas», dit-elle.