Yeshimabeit Milner était au lycée la première fois qu'elle a vu des enfants qu'elle connaissait menottés et fourrés dans des voitures de police. C'était le 29 février 2008, et le directeur d'une école voisine de Miami, avec une population majoritairement haïtienne et afro-américaine, avait mis un de ses élèves dans un étouffement. Le lendemain, plusieurs dizaines d'enfants ont organisé une manifestation pacifique. Ça ne s'est pas bien passé.

Cette nuit-là, NBC 6 News at Six à Miami a débuté avec un segment intitulé "Chaos on Campus". (Il y a un clip sur YouTube.) "Les tensions sont vives à l'Edison Senior High après qu'une lutte pour les droits se soit terminée par une bataille avec la loi", a indiqué la diffusion. Coupure d'images vidéo floues d'adolescents qui crient: "Le chaos que vous voyez est une bagarre totale à l'intérieur de la cafétéria de l'école."

Les étudiants ont déclaré aux journalistes que la police les avait frappés avec des matraques, les avait jetés par terre et les avait poussés contre les murs. La police a affirmé que ce sont eux qui ont été attaqués – «avec des bouteilles d'eau, des boissons gazeuses, du lait, etc.» – et a appelé à une sauvegarde d'urgence. Environ 25 étudiants ont été arrêtés et nombre d'entre eux ont été inculpés de plusieurs délits, notamment d'avoir résisté à une arrestation avec violence. Milner se souvient avoir regardé à la télévision et vu des enfants qu’elle était allée à l’école primaire après avoir été placés en détention. «C'était tellement fou», dit-elle.

Pour Milner, les événements de cette journée et les implications à long terme pour les personnes arrêtées ont été cruciaux. Peu de temps après, alors qu’elle était encore à l’école, elle s’est impliquée dans l’activisme basé sur des données, documentant les expériences des camarades de police racistes. Elle est maintenant directrice de Data for Black Lives, une organisation populaire de défense des droits numériques qu'elle a cofondée en 2017. Ce qu'elle a appris à l'adolescence l'a poussée dans une vie de lutte contre les préjugés dans le système de justice pénale et de démantèlement de ce qu'elle appelle l'école – pipeline vers la prison. "Il y a une longue histoire de données en cours d'armement contre les communautés noires", dit-elle.

Les inégalités et les abus de pouvoir de la police ne se limitent pas à la rue ou aux émeutes scolaires. Pour Milner et d'autres militants, l'accent est désormais mis sur les domaines où il existe le plus de risques de dommages durables: les outils de police prédictifs et l'abus de données par les forces de police. Un certain nombre d'études ont montré que ces outils perpétuent le racisme systémique, et pourtant nous savons encore très peu de choses sur la façon dont ils fonctionnent, qui les utilise et dans quel but. Tout cela doit changer avant qu'un calcul correct puisse avoir lieu. Heureusement, la marée peut tourner.


Il existe deux grands types d'outils de police prédictive. Les algorithmes basés sur la localisation s'appuient sur les liens entre les lieux, les événements et les taux de criminalité historiques pour prédire où et quand les crimes sont plus susceptibles de se produire, par exemple dans certaines conditions météorologiques ou lors de grands événements sportifs. Les outils identifient les points chauds et la police prévoit des patrouilles autour de ces dénonciations. L'un des plus courants, appelé PredPol, qui est utilisé par des dizaines de villes aux États-Unis, divise les emplacements en blocs de 500 pieds sur 500 et met à jour ses prévisions tout au long de la journée, une sorte de prévision météorologique de la criminalité.

Yeshimabeit Milner
Yeshimabeit Milner est co-fondateur et directeur de Data for Black Lives, un collectif populaire de militants et d'informaticiens utilisant des données pour réformer le système de justice pénale.
COURTOISIE DES DONNÉES POUR BLACK LIVES

D'autres outils s'appuient sur des données sur les personnes, telles que leur âge, leur sexe, leur situation matrimoniale, leurs antécédents de toxicomanie et leur casier judiciaire, pour prédire qui a le plus de chances d'être impliqué dans de futures activités criminelles. Ces outils personnels peuvent être utilisés soit par la police, pour intervenir avant qu'un crime ne se produise, soit par les tribunaux, pour déterminer lors des audiences ou de la détermination de la peine si une personne arrêtée est susceptible de récidiver. Par exemple, un outil appelé COMPAS, utilisé dans de nombreuses juridictions pour aider à prendre des décisions concernant la mise en liberté provisoire et la détermination de la peine, délivre un score statistique compris entre 1 et 10 pour quantifier la probabilité qu'une nouvelle personne soit arrêtée de nouveau en cas de libération.

Le problème réside dans les données sur lesquelles les algorithmes se nourrissent. D'une part, les algorithmes prédictifs sont facilement biaisés par les taux d'arrestation. Selon les chiffres du département américain de la Justice, vous êtes plus de deux fois plus susceptible d'être arrêté si vous êtes noir que si vous êtes blanc. Un Noir est cinq fois plus susceptible d'être arrêté sans juste motif qu'un Blanc. L'arrestation massive à Edison Senior High n'était qu'un exemple d'un type de réponse policière disproportionnée qui n'est pas rare dans les communautés noires.

Les enfants que Milner a vu être arrêtés étaient mis en place pour toute une vie d'évaluation biaisée en raison de ce dossier d'arrestation. Mais ce n'est pas seulement leur propre vie qui a été affectée ce jour-là. Les données générées par leurs arrestations auraient été introduites dans des algorithmes qui cibleraient de manière disproportionnée tous les jeunes Noirs que les algorithmes ont évalués. Bien que, selon la loi, les algorithmes n'utilisent pas la race comme prédicteur, d'autres variables, telles que le contexte socioéconomique, l'éducation et le code postal, agissent comme des proxys. Même sans considérer explicitement la race, ces outils sont racistes.

C’est pourquoi, pour beaucoup, le concept même de la police prédictive est le problème. L'écrivain et universitaire Dorothy Roberts, qui étudie le droit et les droits sociaux à l'Université de Pennsylvanie, l'a bien expliqué lors d'une table ronde en ligne en juin. «Le racisme a toujours été une question de prédiction, de faire croire à certains groupes raciaux qu'ils sont prédisposés à faire de mauvaises choses et donc à justifier leur contrôle», a-t-elle déclaré.

L'évaluation des risques fait partie du système de justice pénale depuis des décennies. Mais les services de police et les tribunaux ont eu davantage recours aux outils automatisés au cours des dernières années, pour deux raisons principales. Premièrement, les coupes budgétaires ont conduit à un effort d'efficacité. «Les gens appellent à rembourser la police, mais ils ont déjà été financés», explique Milner. "Les villes font faillite depuis des années, et elles remplacent les flics par des algorithmes." Les chiffres exacts sont difficiles à trouver, mais les outils de prévision sont censés être utilisés par les forces de police ou les tribunaux dans la plupart des États américains.

La deuxième raison de l'utilisation accrue des algorithmes est la croyance répandue qu'ils sont plus objectifs que les humains: ils ont d'abord été introduits pour rendre la prise de décision dans le système de justice pénale plus équitable. À partir des années 1990, les premières techniques automatisées utilisaient des arbres de décision basés sur des règles, mais aujourd'hui, la prédiction se fait avec l'apprentissage automatique.

Des manifestants à Charlotte, NC s'agenouillent pour George Floyd

CLAY BANKS VIA UNSPLASH

Pourtant, de plus en plus de preuves suggèrent que les préjugés humains ont été intégrés dans ces outils parce que les modèles d'apprentissage automatique sont formés sur des données policières biaisées. Loin d'éviter le racisme, ils peuvent simplement mieux le cacher. De nombreux critiques considèrent désormais ces outils comme une forme de lavage technologique, où un vernis d'objectivité recouvre des mécanismes qui perpétuent les inégalités dans la société.

«C'est vraiment au cours des dernières années que l'opinion des gens sur ces outils est passée de quelque chose qui pourrait atténuer les préjugés à quelque chose qui pourrait enraciner», explique Alice Xiang, avocate et scientifique des données qui mène des recherches sur l'équité, la transparence et la responsabilité. au Partenariat sur l'IA. Ces biais ont été aggravés depuis l'apparition de la première génération d'outils de prédiction il y a 20 ou 30 ans. «Nous avons d'abord pris de mauvaises données, puis nous avons utilisé des outils pour les aggraver», explique Katy Weathington, qui étudie le biais algorithmique à l'Université du Colorado à Boulder. "C'est juste une boucle qui se renforce à plusieurs reprises."

Les choses pourraient empirer. À la suite des protestations contre les préjugés de la police après la mort de George Floyd aux mains d'un policier à Minneapolis, certains services de police ont doublé leur utilisation d'outils prédictifs. Il y a un mois, le commissaire du Département de police de New York, Dermot Shea, a envoyé une lettre à ses agents. "Dans le climat actuel, nous devons lutter contre le crime différemment", a-t-il écrit. «Nous le ferons avec moins d'arrêts dans la rue – vous exposant peut-être à moins de danger et de responsabilité – tout en utilisant mieux les données, les renseignements et toutes les technologies à notre disposition… Cela signifie que pour le NYPD, nous redoublerons nos contrôles de précision efforts."


Selon Rashida Richardson, directrice de la recherche sur les politiques à l'AI Now Institute, la police aime l'idée d'outils qui leur donnent un avertissement et leur permettent d'intervenir tôt, car ils pensent que cela réduit les taux de criminalité. Mais en pratique, leur utilisation peut ressembler à du harcèlement. Elle a constaté que certains services de police donnent aux agents la liste des personnes les plus recherchées que l'outil identifie comme présentant un risque élevé. Elle en a entendu parler pour la première fois lorsque des gens de Chicago lui ont dit que la police avait frappé à leurs portes et leur avait dit qu'ils étaient surveillés. Dans d'autres États, explique Richardson, la police avertissait les personnes figurant sur les listes qu'elles couraient un risque élevé d'être impliquées dans des délits liés aux gangs et leur demandait de prendre des mesures pour éviter cela. S'ils ont ensuite été arrêtés pour tout type de délit, les procureurs ont utilisé l'avertissement préalable pour les inculper. «C’est presque comme une forme de piégeage numérique, où vous donnez aux gens des informations vagues, puis vous les en tenez compte», dit-elle.

De même, des études – dont une commandée par le Center for Data Ethics and Innovation du gouvernement britannique l'année dernière – suggèrent que l'identification de certaines zones comme des points chauds incite les officiers à s'attendre à des ennuis lorsqu'ils patrouillent, ce qui les rend plus susceptibles d'arrêter ou d'arrêter des gens en raison de préjugés plutôt que de besoin.

Rashida Richardson
Rashida Richardson est directrice de la recherche sur les politiques à l'Institut AI Now. Auparavant, elle a dirigé des travaux sur les questions juridiques relatives à la confidentialité et à la surveillance à l'American Civil Liberties Union.
COURTOISIE D'IA MAINTENANT

Un autre problème avec les algorithmes est que beaucoup ont été formés sur des populations blanches en dehors des États-Unis, en partie parce que les casiers judiciaires sont difficiles à obtenir dans différentes juridictions américaines. Static 99, un outil conçu pour prédire la récidive chez les délinquants sexuels, a été formé au Canada, où seulement environ 3% de la population est noire, contre 12% aux États-Unis. Plusieurs autres outils utilisés aux États-Unis ont été développés en Europe, où 2% de la population est noire. En raison des différences de conditions socio-économiques entre les pays et les populations, les outils sont susceptibles d'être moins précis dans les endroits où ils n'ont pas été formés. De plus, certains algorithmes préliminaires formés il y a de nombreuses années utilisent encore des prédicteurs obsolètes. Par exemple, certains prédisent toujours qu'un accusé qui n'a pas de téléphone fixe est moins susceptible de se présenter au tribunal.


Mais ces outils fonctionnent-ils, même imparfaitement? Cela dépend de ce que vous entendez par «travail». En général, il est pratiquement impossible de dissocier l'utilisation des outils de police prédictive des autres facteurs qui influent sur les taux de criminalité ou d'incarcération. Pourtant, une poignée de petites études ont tiré des conclusions limitées. Certains montrent que l’utilisation par les tribunaux des outils d’évaluation des risques a eu un impact positif mineur. Une étude de 2016 sur un outil d'apprentissage automatique utilisé en Pennsylvanie pour éclairer les décisions de libération conditionnelle n'a trouvé aucune preuve qu'il mettait en danger la sécurité publique (c'est-à-dire qu'il identifiait correctement les personnes à haut risque qui ne devraient pas être mises en liberté conditionnelle) et certaines preuves qu'il identifiait des personnes non violentes qui pourrait être libéré en toute sécurité.

Une autre étude, en 2018, a examiné un outil utilisé par les tribunaux du Kentucky et a constaté que, même si les scores de risque étaient interprétés de manière incohérente entre les comtés, ce qui conduisait à des différences dans les personnes qui étaient et n'étaient pas libérées, l'outil aurait légèrement réduit les taux d'incarcération si il avait été utilisé correctement. Et l'American Civil Liberties Union rapporte qu'un outil d'évaluation adopté dans le cadre de la loi de 2017 sur la réforme de la justice pénale dans le New Jersey a entraîné une baisse de 20% du nombre de personnes emprisonnées en attendant leur procès.

Les partisans de ces outils affirment que les algorithmes peuvent être plus justes que les décideurs humains, ou du moins rendre explicite l'injustice. Dans de nombreux cas, en particulier lors des audiences de mise en liberté sous caution, les juges devraient se précipiter dans plusieurs dizaines d'affaires en peu de temps. Dans une étude des audiences préliminaires dans le comté de Cook, Illinois, les chercheurs ont constaté que les juges ne passaient en moyenne que 30 secondes à examiner chaque cas.

Dans de telles conditions, il est raisonnable de supposer que les juges prennent des décisions instantanées motivées au moins en partie par leurs préjugés personnels. Melissa Hamilton de l'Université de Surrey au Royaume-Uni, qui étudie les problèmes juridiques liés aux outils d'évaluation des risques, critique leur utilisation dans la pratique, mais pense qu'ils peuvent faire un meilleur travail que les gens en principe. «L'alternative est le cerveau de boîte noire d'un décideur humain», dit-elle.

Mais il y a un problème évident. Les données sur les arrestations utilisées pour former des outils prédictifs ne donnent pas une image précise de l'activité criminelle. Les données sur les arrestations sont utilisées car c'est ce que les services de police enregistrent. Mais les arrestations ne mènent pas nécessairement à des condamnations. "Nous essayons de mesurer les personnes qui commettent des crimes, mais nous ne disposons que de données sur les arrestations", a déclaré Xiang.

De plus, les données sur les arrestations codent pour des comportements racistes de maintien de l'ordre. En conséquence, ils sont plus susceptibles de prédire un potentiel élevé de criminalité dans les quartiers minoritaires ou parmi les personnes appartenant à des minorités. Même lorsque les données sur les arrestations et la criminalité concordent, il existe une myriade de raisons socioéconomiques pour lesquelles certaines populations et certains quartiers ont des taux de criminalité historiques plus élevés que d'autres. L'introduction de ces données dans des outils prédictifs permet au passé de façonner l'avenir.

Certains outils utilisent également des données sur l'endroit où un appel à la police a été effectué, ce qui reflète encore plus faiblement les tendances de la criminalité réelle que les données sur les arrestations, et encore plus déformé par des motivations racistes. Prenons le cas d'Amy Cooper, qui a appelé la police simplement parce qu'un observateur d'oiseaux noirs, Christian Cooper, lui a demandé de mettre son chien en laisse dans Central Park à New York.

"Ce n’est pas parce qu’on appelle qu’un crime s’est produit qu’un crime s’est réellement produit", explique Richardson. "Si l'appel devient un point de données pour justifier l'envoi de policiers dans un quartier spécifique, ou même pour cibler un individu spécifique, vous obtenez une boucle de rétroaction où les technologies basées sur les données légitiment les services de police discriminatoires."


Comme de plus en plus de critiques soutiennent que ces outils ne sont pas adaptés à leur objectif, il existe un appel à une sorte d'action positive algorithmique, dans laquelle le biais dans les données est contrebalancé d'une manière ou d'une autre. Une façon de le faire pour les algorithmes d'évaluation des risques, en théorie, serait d'utiliser des seuils de risque différentiels – trois arrestations pour une personne noire pourraient indiquer le même niveau de risque que, disons, deux arrestations pour une personne blanche.

C'était l'une des approches examinées dans une étude publiée en mai par Jennifer Skeem, qui étudie les politiques publiques à l'Université de Californie, Berkeley, et Christopher Lowenkamp, ​​analyste en sciences sociales au Bureau administratif des tribunaux américains à Washington, DC. La paire a examiné trois options différentes pour éliminer le biais dans les algorithmes qui avaient évalué le risque de récidive pour environ 68 000 participants, moitié blanc et moitié noir. Ils ont constaté que le meilleur équilibre entre les races était atteint lorsque les algorithmes prenaient explicitement en compte la race – ce que les outils existants sont légalement interdits – et attribuaient aux Noirs un seuil plus élevé que les Blancs pour être considérés comme à haut risque.

Bien sûr, cette idée est assez controversée. Cela signifie essentiellement manipuler les données afin de pardonner une certaine proportion de crimes en raison de la race de l'auteur, explique Xiang: "C'est quelque chose qui met les gens très mal à l'aise." L'idée de tenir les membres de différents groupes à des normes différentes va à l'encontre du sens de l'équité de beaucoup de gens, même si cela est fait d'une manière censée remédier à l'injustice historique. (Vous pouvez essayer ce compromis par vous-même dans notre histoire interactive sur les biais algorithmiques dans le système juridique pénal, qui vous permet d'expérimenter avec une version simplifiée de l'outil COMPAS.)

En tout cas, le système juridique américain n'est pas prêt à avoir une telle discussion. «La profession juridique a pris beaucoup de retard sur ces outils d'évaluation des risques», explique Hamilton. Au cours des dernières années, elle a donné des cours de formation à des avocats et a constaté que les avocats de la défense ne savent souvent même pas que leurs clients sont évalués de cette manière. «Si vous n’êtes pas au courant, vous n’allez pas le contester», dit-elle.


Le manque de sensibilisation peut être imputé au trouble de l’image dans son ensemble: les forces de l’ordre ont été si bornées quant à la façon dont elles utilisent ces technologies qu’il est très difficile pour quiconque d’évaluer leur efficacité. Même lorsque l'information est disponible, il est difficile de lier un système à un résultat. Et les quelques études détaillées qui ont été réalisées se concentrent sur des outils spécifiques et tirent des conclusions qui peuvent ne pas s'appliquer à d'autres systèmes ou juridictions.

On ne sait même pas quels outils sont utilisés et qui les utilise. «Nous ne savons pas combien de services de police ont utilisé ou utilisent actuellement des services de police prédictifs», explique Richardson.

Par exemple, le fait que la police de la Nouvelle-Orléans utilisait un outil prédictif développé par la firme secrète d'exploration de données Palantir n'est apparu qu'après une enquête de The Verge. Et les archives publiques montrent que le service de police de New York a payé 2,5 millions de dollars à Palantir mais ne dit pas pourquoi.

La plupart des outils sont autorisés par les services de police par un mélange hétéroclite de petites entreprises, d'autorités étatiques et de chercheurs. Certains sont des systèmes propriétaires; certains ne le sont pas. Ils fonctionnent tous de manière légèrement différente. Sur la base des résultats des outils, les chercheurs recréent aussi bien qu'ils le peuvent ce qu'ils croient se passer.

Hamid Khan, un activiste qui s'est battu pendant des années pour que la police de Los Angeles abandonne un outil prédictif appelé PredPol, a exigé un audit de l'outil par l'inspecteur général du département de police. Selon Khan, en mars 2019, l'inspecteur général a déclaré que la tâche était impossible en raison de la complexité de l'outil.

Au Royaume-Uni, Hamilton a tenté de se pencher sur un outil appelé OASys, qui, comme COMPAS, est couramment utilisé dans les audiences préliminaires, la détermination de la peine et la libération conditionnelle. La société qui fabrique OASys effectue ses propres audits et n'a pas publié beaucoup d'informations sur son fonctionnement, explique Hamilton. Elle a essayé à plusieurs reprises d'obtenir des informations des développeurs, mais ils ont cessé de répondre à ses demandes. Elle dit: «Je pense qu'ils ont recherché mes études et décidé: Non.»

Le refrain familier des entreprises qui fabriquent ces outils est qu'elles ne peuvent pas partager des informations car cela reviendrait à renoncer à des secrets commerciaux ou à des informations confidentielles sur les personnes évaluées par les outils.

Boîte de caméra de sécurité NYPD devant Trump Tower

GETTY

Tout cela signifie que seule une poignée a été étudiée en détail, bien que certaines informations soient disponibles sur certains d'entre eux. Static 99 a été développé par un groupe de scientifiques des données qui ont partagé des détails sur ses algorithmes. L'évaluation de la sécurité publique, l'un des outils d'évaluation des risques avant le procès les plus courants aux États-Unis, a été initialement développée par Arnold Ventures, une organisation privée, mais il s'est avéré plus facile de convaincre les juridictions de l'adopter si certains détails sur la façon dont cela fonctionnait étaient révélés. , dit Hamilton. Pourtant, les fabricants des deux outils ont refusé de publier les ensembles de données qu'ils ont utilisés pour la formation, ce qui serait nécessaire pour bien comprendre comment ils fonctionnent.

Non seulement les mécanismes de ces outils sont peu connus, mais les critiques affirment que les services de police et les tribunaux n'en font pas assez pour s'assurer d'acheter des outils qui fonctionnent comme prévu. Pour le NYPD, l'achat d'un outil d'évaluation des risques est soumis aux mêmes réglementations que l'achat d'un chasse-neige, explique Milner.

«La police est en mesure d’acheter à toute vitesse des technologies sans savoir ce qu’elles utilisent, sans investir de temps pour s’assurer qu’elles peuvent être utilisées en toute sécurité», explique Richardson. "Et puis il n'y a pas d'audit ou d'analyse en cours pour déterminer si cela fonctionne même."

Les efforts pour y remédier se sont heurtés à une résistance. Le mois dernier, la ville de New York a adopté la loi sur la surveillance publique des technologies de surveillance (POST), qui oblige le NYPD à répertorier toutes ses technologies de surveillance et à décrire comment elles affectent les habitants de la ville. Le NYPD est la plus grande force de police des États-Unis, et les partisans du projet de loi espèrent que la divulgation éclairera également la technologie utilisée par les autres services de police du pays. Mais aller aussi loin était difficile. Richardson, qui a mené un travail de plaidoyer sur le projet de loi, le regardait dans les limbes depuis 2015, jusqu'à ce que les appels généralisés à une réforme de la police au cours des derniers mois aient fait pencher la balance des opinions.

C'est la frustration d'essayer de trouver des informations de base sur les pratiques de police numérique à New York qui a conduit Richardson à travailler sur le projet de loi. La police avait résisté lorsqu'elle et ses collègues voulaient en savoir plus sur l'utilisation par le NYPD des outils de surveillance. Les demandes du Freedom of Information Act et les litiges de la New York Civil Liberties Union ne fonctionnaient pas. En 2015, avec l'aide du membre du conseil municipal Daniel Garodnik, ils ont proposé une loi qui forcerait le problème.

«Nous avons subi un contrecoup important de la part du NYPD, y compris une campagne de relations publiques désagréable suggérant que le projet de loi donnait la carte de la ville aux terroristes», explique Richardson. «Il n'y avait aucun soutien du maire et d'un conseil municipal hostile.»


Avec ses problèmes éthiques et son manque de transparence, l'état actuel de la police prédictive est un gâchis. Mais que peut-on y faire? Xiang et Hamilton pensent que les outils algorithmiques ont le potentiel d'être plus équitables que les humains, tant que toutes les personnes impliquées dans leur développement et leur utilisation sont pleinement conscientes de leurs limites et s'efforcent délibérément de les rendre équitables.

Mais ce défi n'est pas simplement technique. Un calcul est nécessaire sur ce qu'il faut faire en cas de biais dans les données, car il est là pour rester. «Elle porte en elle les cicatrices de générations de policiers», explique Weathington.

Et ce que signifie avoir un algorithme équitable n'est pas une chose à laquelle les informaticiens peuvent répondre, dit Xiang. «Ce n'est pas vraiment quelque chose à quoi tout le monde peut répondre. Il demande à quoi ressemblerait un système de justice pénale équitable. Même si vous êtes avocat, même si vous êtes éthicien, vous ne pouvez pas fournir une réponse ferme à cela. "

«Ce sont des questions fondamentales qui ne vont pas être résolues dans le sens où un problème mathématique peut être résolu», ajoute-t-elle.

Hamilton est d'accord. Les groupes de défense des droits civiques ont un choix difficile à faire, dit-elle: «Si vous êtes contre l’évaluation des risques, plus de minorités vont probablement rester enfermées. Si vous acceptez l'évaluation des risques, vous êtes en quelque sorte complice de la promotion des préjugés raciaux dans les algorithmes. "

Mais cela ne signifie pas que rien ne peut être fait en attendant. Richardson dit que les décideurs devraient être appelés pour leur «ignorance tactique» sur les lacunes de ces outils. Par exemple, le NYPD a été impliqué dans des dizaines de poursuites concernant des années de maintien de l'ordre partial. «Je ne comprends pas comment vous pouvez traiter activement les négociations de règlement concernant les pratiques à caractère racial et je pense toujours que les données résultant de ces pratiques sont acceptables», dit-elle.

Pour Milner, la clé du changement est d'impliquer les personnes les plus touchées. En 2008, après avoir vu ces enfants qu'elle connaissait se faire arrêter, Milner a rejoint une organisation qui a interrogé environ 600 jeunes sur leurs expériences d'arrestations et de brutalités policières dans les écoles, puis a transformé ce qu'elle a appris en bande dessinée. Des jeunes du pays ont utilisé la bande dessinée pour commencer à faire un travail similaire là où ils vivaient.

Aujourd'hui, son organisation, Data for Black Lives, coordonne environ 4 000 ingénieurs logiciels, mathématiciens et militants dans les universités et les centres communautaires. Les outils d’évaluation des risques ne sont pas la seule façon dont l’utilisation abusive des données perpétue le racisme systémique, mais c’est un objectif très important pour eux. «Nous n'empêcherons pas chaque entreprise privée de développer des outils d'évaluation des risques, mais nous pouvons changer la culture et éduquer les gens, leur donner des moyens de repousser», déclare Milner. À Atlanta, ils forment des gens qui ont passé du temps en prison à faire de la science des données, afin qu'ils puissent jouer un rôle dans la réforme des technologies utilisées par le système de justice pénale.

Dans l'intervalle, Milner, Weathington, Richardson et d'autres pensent que la police devrait cesser d'utiliser des outils prédictifs défectueux jusqu'à ce qu'il existe un moyen convenu de les rendre plus équitables.

La plupart des gens conviendraient que la société devrait avoir un moyen de décider qui est un danger pour les autres. Mais remplacer un flic ou un juge humain préjugé par des algorithmes qui dissimulent simplement ces mêmes préjugés n'est pas la réponse. S'il y a même une chance qu'ils perpétuent des pratiques racistes, ils devraient être tirés.

Cependant, comme l'ont constaté les partisans du changement, il faut de longues années pour faire la différence, avec une résistance à chaque étape. Ce n'est pas un hasard si Khan et Richardson ont vu des progrès après des semaines d'indignation à l'échelle nationale contre la brutalité policière. «Les récents soulèvements ont certainement joué en notre faveur», déclare Richardson. Mais cela a également pris cinq ans de pression constante de sa part et de ses collègues défenseurs. Khan, lui aussi, faisait campagne contre la police prédictive au sein du LAPD depuis des années.

Cette pression doit continuer, même après l'arrêt des marches. «L'élimination des préjugés n'est pas une solution technique», explique Milner. «Il faut un changement de politique plus profond et, honnêtement, moins sexy et plus coûteux.»

LAISSER UN COMMENTAIRE

Rédigez votre commentaire !
Entrez votre nom ici