Depuis que nous avons vu pour la première fois les illustrations cauchemardesques produites par Google DeepDream et les faux tableaux ridicules produits par le transfert de style neuronal, nous sommes conscients des façons dont l'apprentissage automatique peut être appliqué à l'art visuel. Avec des modèles formés disponibles dans le commerce et des pipelines automatisés pour générer des images à partir de jeux de formation relativement petits, il est désormais possible pour les développeurs sans connaissances théoriques de l'apprentissage automatique de générer facilement des images, à condition qu'ils aient un accès suffisant aux GPU. La réalisatrice [Kira Bursky] est allée plus loin en créant un court métrage surréaliste qui présente des personnages et des textures produits à partir de décors d'images.

Elle a commencé avec environ 150 photos de son visage, 200 photos de lieux de tournage, 4600 photos de productions cinématographiques passées et 100 dessins comme principaux ensembles de données.

via [Kira Bursky]

À l'aide de modèles GAN pour les nébuleuses, les visages et les gratte-ciel dans RunwayML, elle a trouvé les résultats de la formation de son ensemble de visages désintégrés, réalistes et picturaux. De nombreuses images continuent d'évoquer des aspects de son visage d'origine avec des distorsions, bien que ce soit le modèle identifiant une caractéristique commune aux gratte-ciel et aux visages ou notre propre parti pris pour la reconnaissance faciale qui appartient au spectateur.

D'autre part, les résultats de la formation des photos du plateau de tournage sur des modèles de visages et de chambres ont produit des textures abstraites et des «visages surréalistes et étranges comme un rêve de fièvre». Peut-être, contrairement aux ancres familières des traits du visage, c'est le manque de caractéristiques reconnaissables dans les images transformées qui leur donne une sensation si surréaliste.

[Kira] utilise certainement ces résultats à son avantage, réfléchissant à un concept de court-métrage qui tourne autour de son personnage principal qui vit des cauchemars. Bien que son objectif était d'utiliser ses résultats pour transmettre une série de scènes émotionnellement saisissantes, les modèles qu'elle utilise pour produire ces scènes sont également très intéressants.

Elle a commencé par utiliser le modèle MiDaS, créé par une équipe de chercheurs de l'ETH Zurich et d'Intel, pour générer des cartes de profondeur monoculaires. Les résultats associaient les niveaux à l'intérieur d'une image à leur profondeur appropriée les uns par rapport aux autres. Elle a également utilisé le MASQUE R-CNN pour masquer les arrière-plans des visages générés et a combiné ses images générées dans Photoshop pour créer le personnage principal de son court-métrage.

via [Vox]

Afin de simuler la marche du personnage, elle a utilisé le Liquid Warping GAN, un cadre pour l'imitation du mouvement humain et le transfert d'apparence, créé par une équipe de l'Université ShanghaiTech et du Tencent AI Lab. Cela lui a permis de prendre ses images originales et de synthétiser les résultats de poses de référence d'elle-même en parcourant les mouvements de la marche en utilisant un module de récupération de maillage corporel 3D. Plus tard, elle a appliqué des techniques similaires pour le suivi du mouvement sur ses visages, en les exécutant à travers le modèle de mouvement du premier ordre pour simuler différentes émotions. Elle a ensuite rejoint ses mouvements faciaux avec son personnage en utilisant After Effects.

Rassemblant les résultats, elle a animé un flou de caméra 3D en utilisant les vidéos de la carte de profondeur pour créer un résultat moins désorientant en fournissant des points d'ancrage aux téléspectateurs et en créant une carte de déplacement pour accroître le sentiment de profondeur et de mouvement dans les scènes. Dans After Effects, elle a également superposé des effets de poussière et de grain de film pour donner au résultat final un aspect plus net. Le résultat est un film étonnamment cinématographique entièrement composé d'images et de vidéos générées à partir de modèles d'apprentissage automatique. Avec l'aide des ajustements de profondeur, cela ressemble presque à quelque chose que vous pourriez voir dans un cauchemar.

Découvrez le résultat ci-dessous:

LAISSER UN COMMENTAIRE

Rédigez votre commentaire !
Entrez votre nom ici