Certaines sociétés du Fortune 500 ont commencé à tester des logiciels capables de détecter une contrefaçon d'une personne réelle lors d'un appel vidéo en direct, à la suite d'une série d'escroqueries impliquant des demandeurs d'emploi frauduleux qui acceptent une prime de signature et s'enfuient.
La technologie de détection est fournie par Get Real Labs, une nouvelle société fondée par Hany Farid, professeur à l'UC-Berkeley et autorité renommée en matière de deepfakes et de manipulation d'images et de vidéos.
Get Real Labs a développé une suite d'outils pour repérer les images, l'audio et la vidéo générés ou manipulés avec l'intelligence artificielle ou des méthodes manuelles. Le logiciel de l'entreprise peut analyser le visage lors d'un appel vidéo et repérer des indices pouvant indiquer qu'il a été généré artificiellement et transféré sur le corps d'une personne réelle.
« Ce ne sont pas des attaques hypothétiques, on en entend de plus en plus parler », explique Farid. « Dans certains cas, il semble qu'ils tentent d'obtenir la propriété intellectuelle et d'infiltrer l'entreprise. Dans d’autres cas, cela semble purement financier, ils prennent juste la prime à la signature.»
En 2022, le FBI a émis un avertissement concernant les chercheurs d'emploi qui se font passer pour des personnes réelles lors d'appels vidéo. La société de conception et d'ingénierie Arup, basée au Royaume-Uni, a perdu 25 millions de dollars à cause d'un escroc qui se faisait passer pour le directeur financier de l'entreprise. Les escrocs amoureux ont également adopté cette technologie, escroquant des victimes sans méfiance et leur volant leurs économies.
L’imitation d’une personne réelle dans un flux vidéo en direct n’est qu’un exemple de la tromperie qui permet désormais de faire fondre la réalité grâce à l’IA. De grands modèles linguistiques peuvent imiter de manière convaincante une personne réelle dans un chat en ligne, tandis que de courtes vidéos peuvent être générées par des outils comme Sora d’OpenAI. Les avancées impressionnantes de l’IA ces dernières années ont rendu le deepfakering plus convaincant et plus accessible. Les logiciels gratuits facilitent l’amélioration des compétences en deepfakering, et des outils d’IA facilement accessibles peuvent transformer des invites de texte en photographies et vidéos réalistes.
Mais se faire passer pour une personne dans une vidéo en direct est une frontière relativement nouvelle. La création de ce type de deepfake implique généralement l’utilisation d’un mélange d’algorithmes d’apprentissage automatique et de suivi du visage pour assembler de manière transparente un faux visage sur un vrai, permettant ainsi à un intrus de contrôler ce qu’une ressemblance illicite semble dire et faire à l’écran.
Farid a fait une démonstration de la technologie de Get Real Labs à WIRED. Lorsqu'on lui montre une photographie d'une salle de réunion d'entreprise, le logiciel analyse les métadonnées associées à l'image pour détecter des signes indiquant qu'elle a été modifiée. Plusieurs grandes entreprises d'IA, dont OpenAI, Google et Meta, ajoutent désormais des signatures numériques aux images générées par l'IA, offrant ainsi un moyen fiable de confirmer leur inauthenticité. Cependant, tous les outils ne fournissent pas de tels tampons, et les générateurs d'images open source peuvent être configurés pour ne pas le faire. Les métadonnées peuvent également être facilement manipulées.
