Des outils de design intuitif en 3D
⏱ 5 minDepuis quelques années, le machine learning permet de produire des images de synthèse et de générer des mondes virtuels en 3D de façon automatisée, de plus en plus variés, plausibles et en temps réel. Ces techniques qui commencent à être utilisées dans la création de jeux vidéo sont de formidables systèmes d’aide à la création, faciles d’utilisation tant pour les artistes, les industriels que les scientifiques. Et pourquoi pas demain le grand public ?
« Il y a trois façons de créer du contenu numérique, rappelle Marie-Paule Cani, professeure d’informatique à l’École polytechnique. Créer les images à la main ; scanner les objets ; les engendrer automatiquement. » C’est sur cette dernière solution que la chercheuse travaille depuis 20 ans pour concevoir des systèmes d’aide à la création graphique 3D permettant de transformer facilement une image qu’on a en tête en un modèle visuel animé. Et cela en temps réel pour rester dans le flot créatif, corriger, recommencer comme on le ferait avec un dessin ou une sculpture.
Simplicité et efficacité
Cette capacité de création automatique d’images à partir de règles implémentées dans des modèles mathématiques s’appelle la modélisation ou génération procédurale. Elle a pour but de permettre d’automatiser au maximum les tâches difficiles ou répétitives sans pour autant brider la créativité de l’utilisateur. Et si le cinéma d’animation et les jeux vidéo sont les domaines d’application privilégiés, ces techniques intéressent aussi beaucoup de secteurs, comme le design industriel pour visualiser des prototypes, l’architecture pour créer des maquettes numériques, la médecine pour former les chirurgiens, la recherche pour étudier visuellement un phénomène que ce soit la déformation des montagnes ou celle de cellules biologiques, etc. « Un petit dessin vaut mieux qu’un long discours » comme dit l’adage.
De fait, la création 3D est tant un moyen d’expression que de communication. Sur quelles méthodes reposent ces modèles ? Ils sont à base d’apprentissage statistique lorsque l’utilisateur peut décrire ses connaissances, par exemple corréler, dans un paysage de montagne, la présence d’éboulis dans les zones en pente ou des arbres et de l’herbe dans les zones plates, préciser la répartition des branches sur un tronc d’arbre, la forme des feuilles… : ces « données utilisateur » sont représentées sous forme statistique, apprises par le modèle, qui pourra ensuite les reproduire. Ainsi, à partir d’un arbre dessiné grossièrement, l’algo représentera les branches et les feuilles automatiquement.
« Du design numérique à la création de mondes virtuels animés » – Conférence de Marie-Paule Cani, professeur d’informatique à Grenoble-INP/Ensimag, organisée le jeudi 6 octobre 2016 par la Commission de la Recherche de l’Université de Corse.
L’efficacité du deep learning mais sans la créativité
Lorsque les connaissances ou les représentations sont plus « floues » ou inexistantes mais que des milliers d’images sont disponibles, le deep learning est particulièrement adapté. « Ces réseaux de neurones profonds permettent d’interpoler des données, par exemple de déterminer la couleur d’un pixel par rapport à ses voisins pour assurer la cohérence de l’image », explique Marie-Paule Cani. Le deep learning permet aussi de passer d’un dessin en 2D à une image en 3D comme l’ont montré des chercheurs de l’université de Lyon : le tracé d’une ligne de crête peut ainsi se transformer automatiquement en montagne si l’algo a pu être entrainé sur de nombreux exemples. On appelle cela le Sketch Base Modeling. « Mais si ça ne convient pas, il faut recommencer, on ne maitrise pas le résultat… c’est le côté boite noire des réseaux de neurones profonds, nuance-t-elle. Et même s’il y a un grand engouement pour ces techniques – la moitié des articles présentés à Siggraph en 2017, la conférence mondiale en informatique graphique, concernaient du deep learning –, elles ne s’appliquent qu’à un nombre très limité de cas en termes de création. Cela n’aidera pas à concevoir un vaisseau ou un château imaginaire. » Le deep learning est surtout très efficace par exemple pour compléter les pixels manquants d’une photo abîmée y compris de visages en s’inspirant de nombreux exemples et en interpolant.
Vers une modélisation expressive
La chercheuse s’intéresse désormais à la « modélisation expressive » : « De quoi permettre à l’utilisateur de façonner les formes et les mouvements qu’il imagine ou qu’il veut étudier en s’appuyant sur des outils numériques qui complètent automatiquement les détails, précise-t-elle. Pour cela, nos solutions combinent une interface créative directe – l’utilisateur déplace les éléments à la main – et une génération procédurale. » Ainsi, si on ajoute un cours d’eau en amont d’une cascade, le débit de cette dernière est automatiquement modifié et la montagne resculptée. Autre exemple : en « entourant au lasso » un coin de terrain et en demandant au modèle de l’apprendre, on peut le dupliquer à tout le terrain de façon cohérente en tenant compte des autres corrélations apprises comme les éboulis de pierres s’il y a des pentes.
Toujours à l’affût des méthodologies les plus adaptées, Marie-Paule Cani se tourne désormais vers l’apprentissage par renforcement où le modèle essaie et apprend par lui-même, à partir de peu de données. « Pour apprendre à un dragon à voler par exemple, s’émerveille-t-elle ! Ce qu’on ne peut pas faire à partir d’observations… » Elle aimerait que les scientifiques s’emparent de ses outils pour illustrer leurs recherches au lieu de devoir faire appel à des infographistes auxquels ils doivent expliquer leur vision. Au-delà, elle pense également au grand public par exemple pour concevoir des objets, les imprimer en 3D ou explorer son propre imaginaire.
De quoi accélérer la production de jeux vidéo
En pratique, les premiers utilisateurs de ces outils sont les studios d’animation et de jeux vidéo. Rob Cook, directeur scientifique de Pixar résumait cela dès 2008 par : « le grand défi en informatique graphique est de rendre les outils aussi invisibles aux artistes que les effets spéciaux ont été rendus invisibles au public ». Pour l’heure, plus prosaïquement, « Le défi pour nous est de créer des mondes virtuels ouverts de plus en plus grands – comme San Francisco dans le jeu AAA Watch_Dogs 2 avec ses rues, ses piétons, ses voitures, le cycle jour/nuit… – mais aussi de les tester pour s’assurer de leur qualité ludique – l’expérience utilisateur – et les maintenir dans le cas des jeux on line », explique Yves Jacquier, directeur exécutif, studios de service de production à Ubisoft Montréal. Aujourd’hui, l’IA permet d’accélérer certains processus d’animation, de générer un monde virtuel plus varié. Elle permet surtout de libérer l’animateur de certaines tâches monotones ou répétitives, en automatisant les phases de test, d’optimisation, d’identification de bugs. La firme vient ainsi de créer un logiciel permettant de prédire si un bug sera créé, le Commit-Assistant à base de réseau de neurones.
« Mais c’est bien toujours l’humain qui crée la magie, le plaisir du jeu, c’est lui qui assure la créativité », martèle-t-il. Il cite 2 exemples d’automatisation grâce à des IA : l’animation des lèvres des personnages selon les différentes langues, auparavant faite de façon semi-manuelle, ce qui laisse plus de temps aux animateurs pour peaufiner d’autres expressions faciales (cliquer sur l’image ci-dessous).
Autre exemple : là où le nettoyage manuel des données brutes issues des captures de mouvement prenait 4h, une IA à base de réseau de neurones, le Virtual solver, assure ce travail en 4mn (cliquer sur l’image ci-dessous).
Pour mettre ces outils aux mains des créateurs, les accompagner dans ces changements de pratiques et stimuler la collaboration entre chercheurs universitaires et équipes de production, Ubisoft vient de créer à Montréal (Québec) un espace de prototypage, baptisé La Forge. « Nous utilisons l’IA depuis longtemps mais, en terme d’animation, cela reste une IA causale – une action est générée dans une situation donnée -, précise Yves Jacquier, qui dirige La Forge. Demain, avec des IA statistiques, entrainées sur les nombreuses données que nous produisons et non de ces descriptions formelles, on pourra faire des prédictions dans de très nombreux cas de figure. Ce sera radicalement différent tant en termes de création que de test. Ce sont des outils très puissants qui vont assurément encore nous surprendre. »
Isabelle Bellin
