Tu parles à moi… en allemand?

La nouvelle technologie deepfake permet à Robert De Niro de livrer sa célèbre ligne de Conducteur de taxi en allemand impeccable, avec des mouvements réalistes des lèvres et des expressions faciales. Le logiciel d’IA manipule les lèvres et les expressions faciales d’un acteur pour les faire correspondre de manière convaincante au discours de quelqu’un qui parle les mêmes lignes dans une langue différente. La technologie basée sur l’intelligence artificielle pourrait remodeler l’industrie du cinéma, de manière à la fois séduisante et troublante.

La technologie est liée au deepfaking, qui utilise l’IA pour coller le visage d’une personne sur quelqu’un d’autre. Il promet de permettre aux réalisateurs de reprendre efficacement les films dans différentes langues, ce qui rend les versions étrangères moins choquantes pour le public et plus fidèles à l’original. Mais le pouvoir de modifier automatiquement le visage d’un acteur si facilement pourrait également s’avérer controversé s’il n’est pas utilisé avec précaution.

La technologie de doublage IA a été développée par Flawless, une société britannique cofondée par le réalisateur Scott Mann, qui se dit fatigué de voir de mauvais doublages étrangers dans ses films.

Après avoir regardé une version étrangère de son dernier film, Braquage, qui met en vedette De Niro, Mann se dit consterné par la façon dont le doublage a ruiné des scènes soigneusement conçues. (Il refuse de préciser la langue.) Le doublage implique parfois de changer le dialogue de manière significative, dit Mann, dans le but de le faire correspondre plus étroitement aux mouvements des lèvres d’un acteur. «Je me souviens d’avoir été dévasté», dit-il. « Vous faites un petit changement dans un mot ou une performance, cela peut avoir un grand changement sur un personnage dans le rythme de l’histoire, et à son tour sur le film. »

Mann a commencé à rechercher des travaux universitaires liés aux deepfakes, ce qui l’a conduit à un projet de doublage d’IA dirigé par Christian Theobalt, professeur à l’Institut Max Planck pour l’informatique en Allemagne. Le travail est plus sophistiqué qu’un deepfake conventionnel. Il s’agit de capturer les expressions faciales et les mouvements d’un acteur dans une scène ainsi que de quelqu’un qui parle les mêmes lignes dans une autre langue. Ces informations sont ensuite combinées pour créer un modèle 3D qui fusionne le visage et la tête de l’acteur avec les mouvements des lèvres du doubleur. Enfin, le résultat est cousu numériquement sur l’acteur dans une scène.

Flawless s’est inspiré du projet de Theobalt pour son produit. Mann dit que la société est en discussion avec des studios sur la création de versions étrangères de plusieurs films. D’autres extraits de démonstration de Flawless montrent Jack Nicholson et Tom Cruise livrant des lignes célèbres de Quelques bons hommes en français et Tom Hanks parlant espagnol et japonais dans des scènes de Forrest Gump.

«Ce sera bientôt invisible», dit Mann. «Les gens vont regarder quelque chose et ils ne se rendront pas compte qu’il a été initialement tourné en français ou autre. « 

Mann dit que Flawless étudie également comment sa technologie pourrait aider les studios à éviter des reprises coûteuses en faisant apparaître un acteur pour dire de nouvelles lignes. Mais il dit que certains acteurs sont un peu instables lorsqu’ils se voient manipulés à l’aide de l’IA. «Il y a une peur et un wow – ce sont les deux réactions que je continue à avoir», dit-il.

Virginia Gardner, une actrice qui joue dans le dernier film de Mann et qui s’est vue parler espagnol grâce au logiciel Flawless, ne semble pas trop inquiète, même si elle suppose que les films modifiés avec l’IA incluraient un avertissement. «Je pense que c’est la meilleure façon d’être en mesure, en tant qu’acteur, de préserver votre performance» dans une autre langue, dit-elle. «Si vous faites confiance à votre réalisateur et que vous êtes convaincu que ce processus ne fera qu’améliorer un film, alors je ne vois vraiment pas d’inconvénient.»

La manipulation vidéo par IA est controversée – et pour une bonne raison. Les programmes deepfake gratuits qui peuvent facilement échanger le visage d’une personne sur quelqu’un d’autre dans une scène vidéo ont proliféré avec les progrès de l’IA. Le logiciel identifie les points clés sur le visage d’une personne et utilise l’apprentissage automatique pour capturer comment le visage de cette personne bouge.