L’informatique graphique permet de représenter des espaces virtuels animés en trois dimensions. C’est au sein du pôle Modeling Simulation and Learning du Laboratoire d’informatique de l’École polytechnique (LIX) que Marie-Paule Cani effectue ses recherches. Chercheuse renommée et récompensée pour son travail, elle explique : « À l’origine, LIX était surtout un laboratoire d’informatique fondamentale. C’est-à-dire que les chercheurs travaillaient principalement sur les bases mathématiques et algorithmiques qui fondent notre discipline. Puis le laboratoire s’est diversifié et il couvre actuellement une diversité de thèmes, de la bio-informatique à l’intelligence artificielle. Depuis 2017, plusieurs équipes d’informatique graphique se sont développées, dont l’équipe VISTA dont je fais partie. Nous travaillons d’une part sur de nouvelles méthodes d’aide à la création, en nous appuyant sur des connaissances et/ou sur l’apprentissage machine, ainsi que sur les méthodes permettant d’animer des mouvements et des déformations dans les mondes virtuels 3D ainsi créés. »
Les applications de l’informatique graphique sont multiples et variées. Elle aide à prototyper et tester virtuellement des objets destinés à être fabriqués. Dans le secteur des effets spéciaux, elle permet de créer des scènes spectaculaires pour le cinéma et les films d’animation. Les jeux vidéo, autre domaine clé, utilisent ces technologies pour plonger les joueurs dans des univers immersifs et visuellement au plus proche du réel. Enfin, les mondes virtuels 3D, qu’on peut explorer de manière immersive, sont indispensables aux simulateurs d’entraînement aux situations à risque, quel que soit le domaine (transport, médical, énergie, militaire…).
L’informatique graphique comme support à la pensée et à la méthodologie scientifiques
« Depuis quelques années, mon principal projet de recherche est d’explorer l’utilisation de l’informatique graphique comme support de représentation visuelle et d’expérimentation pour les scientifiques d’autres disciplines. » Lorsque l’on réfléchit, on a des visions, des représentations animées de ce que l’on imagine. La chercheuse illustre ses propos avec l’exemple d’un chercheur en biologie cellulaire. « À partir de ses connaissances, il visualise mentalement le processus de division cellulaire, par exemple lors de la croissance d’une tumeur. Par contre, les représentations schématiques qu’il pourra créer avec un papier et un crayon ne représenteront ce processus qu’à un instant figé. » S’il souhaite générer des animations 3D, il devra expliquer sa vision à un artiste maîtrisant les logiciels de modélisation. « Sûrement après de nombreux aller-retour, il obtiendra une illustration proche de sa vision. Seulement, il ne pourra ni modifier des paramètres, ni interagir avec le modèle représenté. »
« Notre but c’est de fournir aux scientifiques des moyens de créer eux-mêmes des illustrations 3D et animées, en se basant sur une méthodologie de modélisation “expressive”, dont j’ai contribué à jeter les bases. Elle s’inspire de la manière dont nous, les humains, on comprend le monde qui nous entoure et on y crée des objets. » Les mondes virtuels interactifs qui en résultent sont très riches, et peuvent servir de support à la pensée scientifique pour des chercheurs de nombreuses disciplines.
Une méthodologie en trois étapes pour représenter des modèles complexes
La nature, riche en détails, se révèle difficile à modéliser. Une chevelure en mouvement, une cascade, ou une forêt agitée par le vent, répondent à des phénomènes complexes et sont difficiles à animer en temps réel. Pour répondre aux besoins de représentation des scientifiques, l’équipe VISTA a élaboré une méthodologie en trois étapes :
D’abord, elle utilise des modèles multicouches, c’est-à-dire qu’elle décompose le problème en différents sous-modèles. « Le ciel est particulièrement difficile à animer, explique la chercheuse. Alors, pour représenter rapidement des nuages, nous avons combiné des sous-modèles. D’abord, nous avons empilé des couches 2D représentant différentes couches de nuages. Il a ensuite fallu intégrer les flux d’air. Pour cela, nous avons combiné les modèles aux dynamiques atmosphériques – c’est-à-dire aux transferts entre les couches – modélisées grâce à la mécanique des fluides. Enfin, pour un résultat au plus près de la réalité, nous avons classifié les différents types de nuages (stratus, sirrus, cumulus, etc.) et ajouté des détails procéduraux qui renforcent le réalisme visuel. On obtient ainsi une image de synthèse animée qui représente le mouvement des nuages selon leur nature et selon les températures. Finalement, même des objets très complexes peuvent être animés de manière approximative en temps réel. »
Le deuxième ingrédient pour créer des représentations visuelles, c’est la modélisation expressive. En effet, les logiciels de modélisation 3D sont souvent difficiles à prendre en main. Marie-Paule Cani et son équipe souhaitent permettre la création directement par le geste. « L’idée, c’est de se baser sur ces gestes expressifs qui ressemblent à des gestes de dessin et de sculpture pour permettre directement au scientifique de créer un environnement 3D animé qui correspond à ce qu’il imagine. »
Enfin, la méthodologie se sert de l’apprentissage à partir d’exemples, que ce soient des processus ponctuels, de l’apprentissage profond, ou de l’apprentissage par renforcement. Ces procédés permettent de créer des contenus (formes ou mouvements) indiscernables des résultats de simulations ou des exemples fournis par l’utilisateur. Lorsque c’est possible, les processus ponctuels sont utilisés, car c’est une méthode moins coûteuse en temps et en énergie que le deep learning – où la machine doit ingérer une grande quantité de données. « Pour créer un paysage, illustre Marie-Paule Cani, l’utilisateur va placer à la main certains éléments (cailloux, arbres, touffes d’herbe…) dans une petite région, pour illustrer les relations spatiales qu’il souhaite entre ces éléments et avec d’autres facteurs, comme la pente du terrain. Puis, l’ordinateur apprendra statistiquement la distribution, c’est-à-dire les corrélations entre types d’éléments. » Comme pour peindre un tableau, l’utilisateur dispose ensuite de pinceaux lui permettant de « peindre statistiquement » et en temps réel le monde virtuel.
C’est en cumulant ces trois paramètres (modélisation expressive, multicouches et l’apprentissage à partir d’exemples) que l’équipe permet de créer et d’animer en 3D des environnements virtuels complexes et variés. En collaboration avec des chercheurs d’autres disciplines, ils ont ainsi pu représenter des formations de terrains par érosion glaciaire1, un écosystème méditerranéen ou alpin2 ou encore la formation de chaînes de montagnes3.
Les outils nécessaires à la modélisation expressive
Pour créer de nouvelles formes, il faut pouvoir interagir avec les modèles, et donc qu’ils répondent en temps réel aux gestes d’interaction de l’utilisateur. En complément des modèles et algorithmes, Marie-Paule Cani et son équipe sont parfois amenés à construire des outils spécifiques pour capter les mouvements, comme une souris étendue avec capteurs de force4. « On avait mis au point un hand navigator, c’est-à-dire un outil connectant une souris à six degrés de liberté avec de petits capteurs actionnés par les doigts de l’utilisateur. Cet outil permettait d’animer une main virtuelle, capable de sculpter une pâte à modeler 3D. » L’utilisateur peut modeler en direct sur l’ordinateur, mais dans certains cas, les interactions tactiles et les dispositifs de réalité virtuelle améliorent l’interaction intuitive avec les modèles, facilitant la création et permettant aux utilisateurs de manipuler des environnements complexes de manière naturelle. Elle poursuit, « inventer ces outils de réalité virtuelle a parfois été nécessaire pour pallier un manque et avancer les recherches. À l’inverse des IA génératives (souvent développées pour créer à notre place), les systèmes intelligents qui m’intéressent permettent une interaction gestuelle, et sont destinés à nous rendre, nous les humains, plus créatifs. »
Des modèles pour tester les hypothèses scientifiques
L’équipe VISTA travaille très régulièrement avec des scientifiques d’autres disciplines. En collaboration avec ces derniers, les chercheurs développent des outils de création fondés sur leurs modèles, et qui leur permettent de créer directement des exemples. « De 2017 à 2021, on a par exemple travaillé avec des paléontologues qui souhaitent “voir” leur modèle paléoclimatique et de la répartition de la faune et de la flore de la vallée de Tautavel qui en résulte. » Située dans les Pyrénées-Orientales, la vallée de Tautavel est un site préhistorique majeur. Les fouilles archéologiques ont permis d’y déterrer nombre d’ossements, d’outils et de traces datant d’il y a plus de 300 000 ans. « Le but était de reproduire l’écosystème en fonction des données et des hypothèses des chercheurs. On y a représenté le paléoclimat, et généré la faune et la flore qui peuplaient la vallée à cette époque en fonction des paramètres (la température, l’hydratation et l’ensoleillement) ainsi que de la liste probable des espèces présentes donnée par les paléontologues. » Grâce à la représentation 3D animée ainsi construite, les chercheurs peuvent constater des failles dans leurs modèles et ajuster leurs hypothèses.
L’informatique graphique serait-elle les prémices du voyage dans le temps ? Sans aller jusque-là, il est certain que cette discipline nous transporte. Imaginez-vous vous balader virtuellement dans la reconstitution 3D d’une vallée au paléolithique, c’est une forme de saut dans le temps. Ce qui est sûr, c’est que l’informatique graphique peut aider les scientifiques à améliorer leur vision mentale et leurs modèles, en combinant le savoir et l’apprentissage numérique.
L’informatique graphique offre des perspectives fascinantes pour le futur.
Mais cela marche également dans le sens inverse. Pour tester leur modèle, l’équipe de Marie-Paule Cani reproduit des paysages actuels. Comparer leurs résultats avec le paysage réel donné par des images satellites, leur permet d’ajuster leur méthodologie si nécessaire pour obtenir la représentation la plus fidèle possible de la réalité, puis de valider leur modèle.
L’informatique graphique, en constante évolution, offre des perspectives fascinantes pour le futur. En permettant aux experts de visualiser leurs représentations mentales et de tester plus rapidement leurs hypothèses scientifiques, elle ouvre de nouvelles voies pour la recherche et l’éducation.
Un projet d’avenir consiste à utiliser la modélisation expressive pour sensibiliser le public au changement climatique. En permettant aux utilisateurs de manipuler des hypothèses et de visualiser en 3D les effets de leurs choix sur notre planète, cette approche aiderait à impliquer davantage le grand public dans les enjeux environnementaux actuels. Ainsi, l’informatique graphique ne se contente pas de modéliser la réalité, elle devient un outil crucial pour soutenir la recherche scientifique et permettre à tous, étudiant comme grand public, de mieux comprendre notre monde.
