Un algorithme innovant qui explore les archives du Musée Tate à Londres en comparant ses œuvres avec les images produites en temps réel par l’agence Reuters.
Il s’agit de Recognition, un projet italien né au sein de Fabrica, un centre de recherche de communication basée à Trévise, une partie intégrante de Benetton Group, qui a été fortement soutenue et finalement fondée en 1994 par Luciano Benetton. Fabrica offre une bourse annuelle, l’hébergement et un aller/retour en Italie à un groupe de chercheurs du monde entier. La gamme des disciplines qui incluent Fabrica comprend la conception, le graphisme, la photographie, la vidéo, la musique et le journalisme.
L’équipe de Recognition se compose de Coralie Gourguechon, Monica Lanaro, Angelo Semeraro et Isaac Vallentin, avec l’aide et le soutien des spécialistes de l’intelligence artificielle JoliBrain de Toulouse. L’idée a remporté le prestigieux prix IK (en mémoire de la philanthrope Irene KREITMAN), un prix dédié aux créatifs – chercheurs, développeurs, artistes et designers – de l’industrie numérique. Le prix a été créé en 2013 par la Fondation Porter et est remis par la Tate à une équipe, une entreprise ou un individu pour une idée originale qui utilise la technologie numérique pour explorer et valoriser les œuvres exposées à la galerie et sur le site Tate bretagne.
Le thème du 2016, organisé en partenariat avec Microsoft, était l’intelligence artificielle et la façon dont elle peut s’appliquer à revisiter l’art britannique et en particulier la collection Tate, composée d’environ 30.000 œuvres. L’équipe gagnante a reçu un prix de £ 15,000 et un budget de production de 90.000 £ pour réaliser son idée.
C’est comme ça qui l’algorithme est né et la résultante l’exposition, ouverte du 2 Septembre au 27 novembre 2016. Recognition crée une galerie virtuelle toujours en expansion, en recherchant dans l’archive et la collection d’art britannique en ligne du Tate. Recognition ensuite compare les œuvres avec des nouvelles photo fournie par Reuters, basées sur la similarité visuelles et les thèmes. L’intelligence artificielle à la base de l’algorithme combine deux images en simulant la façon dont l’homme observe et comprend les images de quatre façons différentes:
- Il va reconnaître des objets, grâce à un réseau développé par JoliBrain, en utilisant le DeepDetect et le Densecap qui reconnaissent les objets d’une image en les transformant en motifs, les met en évidence et les cherche dans les œuvres du musée.
- La reconnaissance faciale, mis en œuvre avec le soutien de Microsoft Cognitive Services’ Computer Vision et Emotion APIs, sert pas seulement à reconnaître le visage d’une personne dans une image, mais aussi l’âge, le sexe et même l’état émotionnel dans lequel il se trouve.
- Il va reconnaître la composition, les formes, les textures, les couleurs et les mises en page. Dans ce cas aussi la contribution de JoliBrain était crucial, il a utilisé le DeepDetect pour créer un réseau capable de lire les pixels d’une image et de trouver une composition similaire dans d’autres images.
- Enfin, l’analyse du contexte, qui met davantage l’attention sur le titre et la date de l’image. Il analyse ces données, l’algorithme à la basé de Recognition est capable également de créer des légendes qui accompagnent les images.
Bien que la technologie soit raffinée, pas toujours en observant le résultat on peut reconnaître les similitudes entre les aspects individuels analysés par l’algorithme, même si les pourcentages sont très élevés: «C’est bien là le revers de la médaille. Cette exposition ne traite pas seulement le passé en pensant au monde d’aujourd’hui en utilisant l’intelligence synthétique. Il révèle parfois des différences fondamentales entre la perception de l’homme et de la machine. » Dit Angelo Semeraro, l’un des concepteurs.
À travers l’écran installé au Tate Britain les visiteurs peuvent comparer les paires sélectionnée à la machine à ceux choisis par eux-mêmes. Comme ça ils contribuant ainsi au processus d’apprentissage de l’algorithme. L’équipe de Recognition de fait est en train d’essayer aussi de comprendre si l’intelligence artificielle peut améliorer à partir des réponses que les humains donnent lorsque ils regardent les images. Cela pour voir si Recognition pourra apprendre la subjectivité de ces choix humaine par rapport à l’objectivité de la machine. Les résultats seront publiés en ligne une fois que le projet sera terminé.
