Un groupe de chercheurs a construit un algorithme pour trouver des connexions cachées dans les œuvres d'art.

L'équipe, composée d'informaticiens du Laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) et de Microsoft, a utilisé des peintures du Metropolitan Museum of Art et du Rijksmuseum d'Amsterdam pour démontrer ces connexions cachées, qui relient des œuvres d'art partageant des styles similaires, tels que Francisco de De Zurbarán Le martyre de Saint Serapion (ci-dessus à gauche) et de Jan Asselijn Le cygne menacé (en haut à droite). Ils ont été initialement inspirés par l’exposition «Rembrandt et Velazquez» au Rijksmuseum, qui a démontré des similitudes entre le travail des artistes malgré le premier originaire des Pays-Bas protestants et le second de l’Espagne catholique.

L'algorithme, appelé «MosAIc», diffère des projets basés sur un réseau probabiliste génératif antagoniste (GAN) qui génèrent des illustrations car il se concentre plutôt sur la recherche d'images. Plutôt que de se concentrer uniquement sur des facteurs évidents tels que la couleur et le style, l'algorithme tente également de découvrir le sens et le thème. Il le fait en construisant une structure de données appelée arbre conditionnel k-plus proche voisin (KNN), qui fournit une structure en forme d'arbre où les branches d'une image centrale indiquent une similitude avec l'image. Afin d'interroger la structure de données, ces branches sont suivies jusqu'à ce que la correspondance la plus proche d'une image dans un ensemble de données soit trouvée. Dans d'autres itérations, il élague les branches peu prometteuses afin d'améliorer son temps pour les nouvelles requêtes.

Certains résultats de l'exécution de l'algorithme contre des collections de musée ont trouvé des similitudes entre le Dutch Double Face Banyan et une figurine en céramique chinoise, attribuable au flux de porcelaine et à l'iconographie des Chinois aux Néerlandais du XVIe au XXe siècle.

Un résultat surprenant de cette étude a été de découvrir que l'approche pouvait également être appliquée pour trouver des problèmes avec les réseaux nerual profonds, qui sont utilisés pour créer des deepfakes. Alors que les GAN peuvent souvent avoir des angles morts dans leurs modèles, ayant du mal à recréer certaines catégories de photos, MosAIc a pu surmonter ces lacunes et reproduire avec précision des images réalistes.

Bien que l’équipe admette que leur mise en œuvre n’est pas la version la plus optimisée de KNN, leur objectif principal était de présenter un schéma de conditionnement général simple mais efficace pour les applications. Leur espoir est d'inspirer des chercheurs apparentés à envisager des applications multidisciplinaires pour les algorithmes.

LAISSER UN COMMENTAIRE

Rédigez votre commentaire !
Entrez votre nom ici