La parité fait partie d’un nombre croissant de startups promettant aux organisations des moyens de développer, surveiller et corriger leurs modèles d’IA. Ils offrent une gamme de produits et de services allant des outils d’atténuation des biais aux plateformes d’explicabilité. Au départ, la plupart de leurs clients provenaient d’industries fortement réglementées comme la finance et la santé. Mais une recherche accrue et une attention accrue des médias sur les questions de partialité, de confidentialité et de transparence ont déplacé le centre de la conversation. Les nouveaux clients sont souvent simplement inquiets d’être responsables, tandis que d’autres veulent se «pérenniser» en prévision de la réglementation.

«De nombreuses entreprises sont vraiment confrontées à cela pour la première fois», dit Chowdhury. «Presque tous demandent de l’aide.»

Du risque à l’impact

Lorsqu’il travaille avec de nouveaux clients, Chowdhury évite d’utiliser le terme «responsabilité». Le mot est trop spongieux et mal défini; cela laisse trop de place à une mauvaise communication. Elle commence plutôt par un jargon d’entreprise plus familier: l’idée de risque. De nombreuses entreprises disposent de bras de gestion des risques et de la conformité et ont établi des processus d’atténuation des risques.

L’atténuation des risques liés à l’IA n’est pas différente. Une entreprise devrait commencer par considérer les différentes choses qui la préoccupent. Ceux-ci peuvent inclure le risque juridique, la possibilité d’enfreindre la loi; risque organisationnel, possibilité de perdre des employés; ou risque de réputation, la possibilité de subir un désastre de relations publiques. À partir de là, il peut travailler à rebours pour décider comment auditer ses systèmes d’IA. Une société de financement, opérant en vertu des lois sur les prêts équitables aux États-Unis, voudrait vérifier si ses modèles de prêt sont biaisés pour atténuer le risque juridique. Une entreprise de télésanté, dont les systèmes sont formés sur des données médicales sensibles, pourrait effectuer des audits de confidentialité pour atténuer le risque de réputation.

Une capture d'écran de la bibliothèque de questions d'analyse d'impact de Parity.
Parity comprend une bibliothèque de questions suggérées pour aider les entreprises à évaluer le risque de leurs modèles d’IA.

PARITÉ

La parité aide à organiser ce processus. La plate-forme demande d’abord à une entreprise de créer une évaluation d’impact interne – en substance, un ensemble de questions d’enquête ouvertes sur le fonctionnement de son entreprise et de ses systèmes d’IA. Il peut choisir d’écrire des questions personnalisées ou de les sélectionner dans la bibliothèque de Parity, qui contient plus de 1000 invites adaptées des directives d’éthique de l’IA et de la législation pertinente du monde entier. Une fois l’évaluation établie, les employés de l’entreprise sont encouragés à le remplir en fonction de leur fonction et de leurs connaissances professionnelles. La plate-forme exécute ensuite leurs réponses en texte libre via un modèle de traitement du langage naturel et les traduit en tenant compte des principaux domaines de risque de l’entreprise. La parité, en d’autres termes, sert de nouvel intermédiaire pour mettre les data scientists et les avocats sur la même longueur d’onde.

Ensuite, la plateforme recommande un ensemble correspondant d’actions d’atténuation des risques. Celles-ci peuvent inclure la création d’un tableau de bord pour surveiller en permanence la précision d’un modèle ou la mise en œuvre de nouvelles procédures de documentation pour suivre la façon dont un modèle a été formé et affiné à chaque étape de son développement. Il propose également une collection de frameworks et d’outils open source qui pourraient aider, comme AI Fairness 360 d’IBM pour la surveillance des biais ou les cartes modèles de Google pour la documentation.

Chowdhury espère que si les entreprises peuvent réduire le temps nécessaire pour auditer leurs modèles, elles deviendront plus disciplinées en le faisant régulièrement et souvent. Avec le temps, espère-t-elle, cela pourrait également les ouvrir à penser au-delà de l’atténuation des risques. «Mon objectif sournois est en fait d’amener davantage d’entreprises à réfléchir à l’impact et pas seulement au risque», dit-elle. «Le risque est le langage que les gens comprennent aujourd’hui, et c’est un langage très précieux, mais le risque est souvent réactif et réactif. L’impact est plus proactif, et c’est en fait la meilleure façon de définir ce que nous devrions faire. »

Un écosystème de responsabilité

Alors que Parity se concentre sur la gestion des risques, une autre startup, Fiddler, se concentre sur l’explicabilité. Le PDG Krishna Gade a commencé à réfléchir à la nécessité d’une plus grande transparence dans la manière dont les modèles d’IA prennent des décisions tout en agissant en tant que responsable de l’ingénierie de l’équipe News Feed de Facebook. Après l’élection présidentielle de 2016, la société a fait un gros effort interne pour mieux comprendre comment ses algorithmes classaient le contenu. L’équipe de Gade a développé un outil interne qui est devenu plus tard la base du « Pourquoi est-ce que je vois ça? » fonctionnalité.