À la fin de l’année dernière, La start-up de reconnaissance faciale de San Francisco Everalbum a remporté un contrat de 2 millions de dollars avec l’armée de l’air pour fournir un «contrôle d’accès basé sur l’IA». Lundi, une autre branche du gouvernement américain a infligé un revers à l’entreprise.

La Federal Trade Commission a déclaré qu’Everalbum avait accepté de régler les frais selon lesquels il avait appliqué la technologie de reconnaissance faciale aux images téléchargées sur une application photo sans la permission des utilisateurs et les avait conservées après avoir dit aux utilisateurs qu’elles seraient supprimées. La startup a utilisé des millions de photos pour développer une technologie proposée aux agences gouvernementales et à d’autres clients sous la marque Paravision.

Paravision, comme la société est désormais connue, a accepté de supprimer les données collectées de manière inappropriée. Mais il a également accepté un remède plus nouveau: purger tous les algorithmes développés avec ces photos.

Le règlement jette une ombre sur la réputation de Paravision, mais le directeur des produits, Joey Pritikin, affirme que la société peut toujours remplir son contrat Air Force et ses obligations envers d’autres clients. La start-up a fermé l’application grand public en août, le même mois où elle a appris une éventuelle plainte FTC, et elle a lancé une technologie de reconnaissance faciale développée sans données de l’application en septembre. Pritikin dit que ces changements étaient en mouvement avant que la FTC ne frappe, en partie en raison de «l’évolution du sentiment public» à propos de la reconnaissance faciale.

Le commissaire de la FTC, Rohit Chopra, un démocrate, a publié lundi une déclaration saluant la rigueur de la commission avec Paravision, affirmant qu’elle avait été à juste titre forcée de «renoncer aux fruits de sa tromperie».

Il a comparé le règlement à un accord de 2019 dans lequel Google a payé 170 millions de dollars pour la collecte illégale de données d’enfants sans le consentement des parents. L’entreprise n’était pas tenue de supprimer quoi que ce soit dérivé de ces données. «Les commissaires ont précédemment voté pour permettre aux contrevenants à la loi sur la protection des données de conserver des algorithmes et des technologies qui tirent une grande partie de leur valeur de données mal obtenues», a-t-il écrit. «C’est une correction de cap importante.»

image de l'article

Le guide WIRED de l’intelligence artificielle

Les algorithmes supersmart ne prendront pas tous les emplois, mais ils apprennent plus vite que jamais, allant des diagnostics médicaux à la diffusion d’annonces.

Ryan Calo, professeur de droit à l’Université de Washington, affirme qu’exiger de Paravision qu’elle supprime les algorithmes de reconnaissance faciale entraînés avec des images prétendument mal obtenues montre que la FTC reconnaît à quel point l’essor de l’apprentissage automatique a étroitement lié les ensembles de données et les produits logiciels potentiellement dangereux.

Les entreprises de technologie créaient autrefois des logiciels uniquement en payant les gens pour qu’ils tapotent les bonnes touches dans le bon ordre. Mais pour de nombreux produits tels que les modèles de reconnaissance faciale ou les logiciels de filtrage vidéo, l’un des ingrédients les plus cruciaux est désormais une collection soigneusement organisée d’exemples de données à alimenter dans des algorithmes d’apprentissage automatique. «Cette idée, vous devez supprimer le modèle et les données reconnaissent que ces choses sont étroitement liées», dit Calo. Les systèmes de reconnaissance faciale méritent une attention particulière car leur création nécessite des images très personnelles. «Ils sont comme Soylent Green – faits de personnes.

David Vladeck, ancien directeur du Bureau de la protection des consommateurs de la FTC et professeur de droit à Georgetown, a déclaré que le règlement de lundi était conforme aux précédents qui exigeaient la suppression des données. En 2013, l’éditeur de logiciels DesignerWare et sept détaillants de location-vente ont accepté de supprimer les données de géolocalisation collectées sans consentement des logiciels espions installés sur les ordinateurs portables.

L’exigence de suppression plus expansive de lundi avec Paravision a été approuvée à l’unanimité, 5-0, par la FTC, qui est toujours contrôlée par une majorité républicaine. Après l’investiture du président élu Joe Biden ce mois-ci, la commission pourrait devenir démocrate majoritaire et potentiellement encore plus désireuse de contrôler les entreprises technologiques. Il pourrait obtenir un nouveau soutien et des ressources du Congrès contrôlé par les démocrates.

Calo espère voir l’agence obtenir plus de ressources techniques et d’expertise pour l’aider à scruter l’industrie de la technologie sur un pied d’égalité. Une utilisation pour plus de savoir-faire technologique pourrait être de concevoir des moyens de vérifier si une entreprise a vraiment nettoyé non seulement des données mal acquises, mais également des avantages ou des technologies qui en découlent. Cela pourrait être difficile à faire pour les systèmes impliquant des modèles d’apprentissage automatique complexes construits à partir de plusieurs sources de données.