
Quand l’IA tient les pinceaux
⏱ 5 minSans surprise, les intelligences artificielles (IA), entrainées pour « apprendre », sont douées pour imiter, y compris les plus grands peintres. Démonstration avec le dernier Rembrandt peint près de 350 ans après la mort du maitre flamand… Les IA peuvent également stimuler la créativité, « à la manière de » avec Deep Art ou dans un style fantasmagorique avec Deep Dream. Elles peuvent même développer leur propre esthétique…
Pour la première fois, en février 2017, une IA a éliminé l’humain d’un processus créatif (mise à part le choix de la base d’apprentissage et des algos…) : l’algorithme mis au point par des chercheurs du Art & Artificial Intelligence Lab (AAIL) de l’université de Rutgers (New Jersey) et de Facebook a généré des œuvres avec un sens esthétique propre selon Ahmed Elgammal, directeur du laboratoire AAIL (voir les exemples de tableaux ci-dessus). Les chercheurs ont soumis la série d’images produites à un test de Turing, en demandant à des humains d’identifier celles créées par la machine au milieu d’un ensemble d’œuvres expressionnistes ou présentées à l’édition 2016 de la foire d’art contemporain Art Basel à Hong Kong. Résultat : 75 % des personnes ont pensé que les œuvres d’art algorithmique avaient été générées par des humains, inversement 59 % ont supposé que des œuvres d’artistes avaient été conçues par la machine… Les images conçues par l’IA étaient souvent considérées comme plus « nouvelles » et « esthétiques » que les œuvres d’artistes. Douze de ces œuvres originales ont été présentées en octobre 2017 à Los Angeles au State Studio dans le cadre de l’exposition « Opening The Age of the AI Artisans ».
Toute l’activité du laboratoire AAIL est centrée sur l’IA et les algorithmes dans le domaine de l’art à partir l’étude de la perception et la cognition liées à la créativité humaine. Au préalable, le labo avait produit un algo pour mesurer la créativité artistique en termes de nouveauté et d’influence, capable de comparer des milliers d’œuvres et de détecter des similitudes inédites entre artistes. Un autre algo est une sorte de Shazam de l’art, analysant les peintures et les attribuant automatiquement à tel ou tel artiste. Un autre encore détecte les contrefaçons à partir des variations subtiles de coups de pinceau.
Les secrets d’une œuvre originale
Leur « algorithme créatif », AICAN, est à base de « réseaux de neurones adversariels créatifs » ou CAN (Creative Adversarial Networks) dérivés des réseaux de neurones adversariels génératifs (GAN). Les GAN sont des algorithmes d’apprentissage non supervisé à base de deux réseaux de neurones en compétition : un générateur qui créé une image et un discriminateur qui est chargé de détecter si l’image est ou non issue du générateur. Ce dernier a été entrainé sur 80 000 images de peintures occidentales du XVe au XXe siècle. AICAN est ainsi capable de dire si une nouvelle image du générateur est ou non identifiable à un style artistique connu. De quoi créer des œuvres originales.
Outre la performance inédite, ces développements donnent à réfléchir sur l’apprentissage en tant que tel : le processus créatif humain ne passe-t-il pas lui aussi par l’imitation, consciente ou inconsciente, avant des phases d’exploration qui ont ensuite conduit au cubisme ou au fauvisme par exemple. Outre de nouvelles possibilités en histoire de l’art, avec une analyse approfondie des styles et de leurs caractéristiques, une IA pourrait donc bien être capable d’apprendre à peindre, à sa façon, en toute autonomie. En tout cas à produire des images de peinture qui surprennent et ne laissent pas indifférent.
De nouveaux outils de co-création…
Jusque-là, dans le domaine de la peinture comme dans beaucoup d’autres, les IA exploraient surtout l’imitation ou la co-création. Avec des résultats néanmoins étonnants comme ceux de l’algorithme Deep Dream de Google et ses images fantasmagoriques. Basé sur un réseau neuronal convolutif entrainé sur des millions d’images, il choisit des structures dans les images et force le réseau à générer une image correspondant à un des objets appris, ce qui donne une apparence hallucinogène genre psychédélique ou surréaliste : un cochon-escargot ici, un palais dans les nuages, des oiseaux dans des racines, etc.
L’idée de peindre avec des machines n’est d’ailleurs pas nouvelle : elle date des années 1950. Comme le rappelle l’exposition Artistes et Robots au Grand Palais (Paris), Jean Tinguely fut l’un des pionniers en la matière avec ses machines à dessiner, Meta Matics (1955-59), qui participent, à parts égales à l’œuvre avec leur constructeur et l’utilisateur.
De nombreux outils de co-création sont désormais disponibles comme Deep Art développé par l’École polytechnique fédérale de Lausanne (EPFL) à partir des travaux de 3 chercheurs, également à base de CNN. Deep Art mélange la texture d’un tableau (ou d’une photo) avec la structure d’un autre. Cela permet de transformer instantanément une photo en peinture « à la manière de » voire d’utiliser des textures qui ne viennent pas de tableaux (comme cet Einstein spaghetti). C’est très simple à utiliser, il suffit de télécharger une image et de choisir le style, la texture à lui appliquer.
« C’est addictif comme un jeu, précise Isabelle Guyon, professeur à l’université Paris-Saclay et passionnée d’art, qui a contribué à organiser un challenge Deep Art l’an dernier à la conférence de machine learning NIPS. Mais pour que le résultat soit esthétique, il faut y ajouter beaucoup de créativité humaine, c’est bien l’humain qui choisit les mélanges à tester. Cela s’apparente plutôt à un outil de conception assistée par ordinateur, de design. Mais il y a un réel engouement dans ces domaines. Le même principe a d’ailleurs été appliqué à des vidéos dans lesquelles on importe des styles. » Dès lors, pourquoi pas concevoir des lunettes de réalité augmentée transformant la réalité, notre vison de notre environnement façon manga ou Gauguin, imagine la chercheuse ? Voire des utilisations thérapeutiques, avec des lunettes qui ensoleillent les journées des dépressifs. Les idées ne manquent pas. L’an dernier un workshop de NIPS a porté sur la créativité à base de deep learning.

Premier prix du Chalearn NIPS 2017, octroyé suite à un vote des participants à la conférence.
ou d’imitation parfaite…
Quitte à imiter, certains ont poussé le principe jusqu’à la perfection pour créer de nouveaux tableaux. Ainsi, un nouveau Rembrandt a été imaginé par une IA et peint en impression 3D (voir ci-dessous). L’œuvre respecte tous les codes stylistiques de l’artiste mort en 1669.
Elle a été conçue par une équipe d’historiens d’art, d’ingénieurs et de datascientists de Microsoft, de l’université de Technologie de Delft (Pays-Bas), du musée hollandais Mauritshuis avec la banque néerlandaise ING dans le cadre d’un projet tout simplement baptisé « The Next Rembrandt ».

Portrait d’un homme d’une trentaine d’années, portant chapeau et collerette… comme Rembrandt aurait pu le peindre.
Cette toile inédite a été créée à partir d’un algo de deep learning sur la base de l’analyse de plus de 300 peintures de l’artiste scannées en haute définition en 3D. L’étude de « l’ADN artistique » du maître a orienté le choix du thème du nouveau tableau (un portrait) et ses caractéristiques (genre, âge, vêtements, posture) et l’IA a assuré une maîtrise parfaite des proportions, des traits du visage et du clair-obscur propres au style de Rembrandt. Cette toile de 148 millions de pixels imite également à merveille la texture type d’un tableau de Rembrandt grâce à l’impression 3D reproduisant typiquement la carte de hauteur des tableaux du peintre.
« Cela me semble intéressant de mettre ces nouveaux outils à la disposition du grand public pour que chacun puisse créer ses propres œuvres, conclue Isabelle Guyon, par exemple un tableau de sa famille dans le style Rembrandt. Cela poussera sûrement les artistes à chercher une nouvelle originalité face à cette révolution en cours comme ils l’ont déjà fait par le passé face à d’autres bouleversements artistiques comme l’apparition de la photographie. »
Isabelle Bellin