Modéliser des mondes virtuels pour la recherche scientifique

L’informatique gra­phique per­met de repré­sen­ter des espaces vir­tuels ani­més en trois dimen­sions. C’est au sein du pôle Mode­ling Simu­la­tion and Lear­ning du Labo­ra­toire d’informatique de l’École poly­tech­nique (LIX) que Marie-Paule Cani effec­tue ses recherches. Cher­cheuse renom­mée et récom­pen­sée pour son tra­vail, elle explique :  « À l’origine, LIX était sur­tout un labo­ra­toire d’informatique fon­da­men­tale. C’est-à-dire que les cher­cheurs tra­vaillaient prin­ci­pa­le­ment sur les bases mathé­ma­tiques et algo­rith­miques qui fondent notre dis­ci­pline. Puis le labo­ra­toire s’est diver­si­fié et il couvre actuel­le­ment une diver­si­té de thèmes, de la bio-infor­ma­tique à l’intelligence arti­fi­cielle. Depuis 2017, plu­sieurs équipes d’informatique gra­phique se sont déve­lop­pées, dont l’équipe VISTA dont je fais par­tie. Nous tra­vaillons d’une part sur de nou­velles méthodes d’aide à la créa­tion, en nous appuyant sur des connais­sances et/ou sur l’apprentissage machine, ain­si que sur les méthodes per­met­tant d’animer des mou­ve­ments et des défor­ma­tions dans les mondes vir­tuels 3D ain­si créés. »

Les appli­ca­tions de l’in­for­ma­tique gra­phique sont mul­tiples et variées. Elle aide à pro­to­ty­per et tes­ter vir­tuel­le­ment des objets des­ti­nés à être fabri­qués. Dans le sec­teur des effets spé­ciaux, elle per­met de créer des scènes spec­ta­cu­laires pour le ciné­ma et les films d’a­ni­ma­tion. Les jeux vidéo, autre domaine clé, uti­lisent ces tech­no­lo­gies pour plon­ger les joueurs dans des uni­vers immer­sifs et visuel­le­ment au plus proche du réel. Enfin, les mondes vir­tuels 3D, qu’on peut explo­rer de manière immer­sive, sont indis­pen­sables aux simu­la­teurs d’entraînement aux situa­tions à risque, quel que soit le domaine (trans­port, médi­cal, éner­gie, militaire…).

« Depuis quelques années, mon prin­ci­pal pro­jet de recherche est d’explorer l’utilisation de l’in­for­ma­tique gra­phique comme sup­port de repré­sen­ta­tion visuelle et d’expérimentation pour les scien­ti­fiques d’autres dis­ci­plines. » Lorsque l’on réflé­chit, on a des visions, des repré­sen­ta­tions ani­mées de ce que l’on ima­gine. La cher­cheuse illustre ses pro­pos avec l’exemple d’un cher­cheur en bio­lo­gie cel­lu­laire. « À par­tir de ses connais­sances, il visua­lise men­ta­le­ment le pro­ces­sus de divi­sion cel­lu­laire, par exemple lors de la crois­sance d’une tumeur. Par contre, les repré­sen­ta­tions sché­ma­tiques qu’il pour­ra créer avec un papier et un crayon ne repré­sen­te­ront ce pro­ces­sus qu’à un ins­tant figé. » S’il sou­haite géné­rer des ani­ma­tions 3D, il devra expli­quer sa vision à un artiste maî­tri­sant les logi­ciels de modé­li­sa­tion. « Sûre­ment après de nom­breux aller-retour, il obtien­dra une illus­tra­tion proche de sa vision. Seule­ment, il ne pour­ra ni modi­fier des para­mètres, ni inter­agir avec le modèle repré­sen­té. »

« Notre but c’est de four­nir aux scien­ti­fiques des moyens de créer eux-mêmes des illus­tra­tions 3D et ani­mées, en se basant sur une métho­do­lo­gie de modé­li­sa­tion “expres­sive”, dont j’ai contri­bué à jeter les bases. Elle s’inspire de la manière dont nous, les humains, on com­prend le monde qui nous entoure et on y crée des objets. » Les mondes vir­tuels inter­ac­tifs qui en résultent sont très riches, et peuvent ser­vir de sup­port à la pen­sée scien­ti­fique pour des cher­cheurs de nom­breuses disciplines.

La nature, riche en détails, se révèle dif­fi­cile à modé­li­ser. Une che­ve­lure en mou­ve­ment, une cas­cade, ou une forêt agi­tée par le vent, répondent à des phé­no­mènes com­plexes et sont dif­fi­ciles à ani­mer en temps réel. Pour répondre aux besoins de repré­sen­ta­tion des scien­ti­fiques, l’équipe VISTA a éla­bo­ré une métho­do­lo­gie en trois étapes :

D’abord, elle uti­lise des modèles mul­ti­couches, c’est-à-dire qu’elle décom­pose le pro­blème en dif­fé­rents sous-modèles. « Le ciel est par­ti­cu­liè­re­ment dif­fi­cile à ani­mer, explique la cher­cheuse. Alors, pour repré­sen­ter rapi­de­ment des nuages, nous avons com­bi­né des sous-modèles. D’abord, nous avons empi­lé des couches 2D repré­sen­tant dif­fé­rentes couches de nuages. Il a ensuite fal­lu inté­grer les flux d’air. Pour cela, nous avons com­bi­né les modèles aux dyna­miques atmo­sphé­riques – c’est-à-dire aux trans­ferts entre les couches – modé­li­sées grâce à la méca­nique des fluides. Enfin, pour un résul­tat au plus près de la réa­li­té, nous avons clas­si­fié les dif­fé­rents types de nuages (stra­tus, sir­rus, cumu­lus, etc.) et ajou­té des détails pro­cé­du­raux qui ren­forcent le réa­lisme visuel. On obtient ain­si une image de syn­thèse ani­mée qui repré­sente le mou­ve­ment des nuages selon leur nature et selon les tem­pé­ra­tures. Fina­le­ment, même des objets très com­plexes peuvent être ani­més de manière approxi­ma­tive en temps réel. »

Le deuxième ingré­dient pour créer des repré­sen­ta­tions visuelles, c’est la modé­li­sa­tion expres­sive. En effet, les logi­ciels de modé­li­sa­tion 3D sont sou­vent dif­fi­ciles à prendre en main. Marie-Paule Cani et son équipe sou­haitent per­mettre la créa­tion direc­te­ment par le geste. « L’i­dée, c’est de se baser sur ces gestes expres­sifs qui res­semblent à des gestes de des­sin et de sculp­ture pour per­mettre direc­te­ment au scien­ti­fique de créer un envi­ron­ne­ment 3D ani­mé qui cor­res­pond à ce qu’il ima­gine. » 

Enfin, la métho­do­lo­gie se sert de l’apprentissage à par­tir d’exemples, que ce soient des pro­ces­sus ponc­tuels, de l’apprentissage pro­fond, ou de l’apprentissage par ren­for­ce­ment. Ces pro­cé­dés per­mettent de créer des conte­nus (formes ou mou­ve­ments) indis­cer­nables des résul­tats de simu­la­tions ou des exemples four­nis par l’utilisateur. Lorsque c’est pos­sible, les pro­ces­sus ponc­tuels sont uti­li­sés, car c’est une méthode moins coû­teuse en temps et en éner­gie que le deep lear­ning – où la machine doit ingé­rer une grande quan­ti­té de don­nées. « Pour créer un pay­sage, illustre Marie-Paule Cani, l’utilisateur va pla­cer à la main cer­tains élé­ments (cailloux, arbres, touffes d’herbe…) dans une petite région, pour illus­trer les rela­tions spa­tiales qu’il sou­haite entre ces élé­ments et avec d’autres fac­teurs, comme la pente du ter­rain. Puis, l’ordinateur appren­dra sta­tis­ti­que­ment la dis­tri­bu­tion, c’est-à-dire les cor­ré­la­tions entre types d’éléments. » Comme pour peindre un tableau, l’utilisateur dis­pose ensuite de pin­ceaux lui per­met­tant de « peindre sta­tis­ti­que­ment » et en temps réel le monde virtuel.

C’est en cumu­lant ces trois para­mètres (modé­li­sa­tion expres­sive, mul­ti­couches et l’apprentissage à par­tir d’exemples) que l’équipe per­met de créer et d’animer en 3D des envi­ron­ne­ments vir­tuels com­plexes et variés. En col­la­bo­ra­tion avec des cher­cheurs d’autres dis­ci­plines, ils ont ain­si pu repré­sen­ter des for­ma­tions de ter­rains par éro­sion gla­ciaire¹, un éco­sys­tème médi­ter­ra­néen ou alpin² ou encore la for­ma­tion de chaînes de mon­tagnes³.

Pour créer de nou­velles formes, il faut pou­voir inter­agir avec les modèles, et donc qu’ils répondent en temps réel aux gestes d’interaction de l’utilisateur. En com­plé­ment des modèles et algo­rithmes, Marie-Paule Cani et son équipe sont par­fois ame­nés à construire des outils spé­ci­fiques pour cap­ter les mou­ve­ments, comme une sou­ris éten­due avec cap­teurs de force⁴. « On avait mis au point un hand navi­ga­tor, c’est-à-dire un outil connec­tant une sou­ris à six degrés de liber­té avec de petits cap­teurs action­nés par les doigts de l’utilisateur. Cet outil per­met­tait d’animer une main vir­tuelle, capable de sculp­ter une pâte à mode­ler 3D. » L’utilisateur peut mode­ler en direct sur l’ordinateur, mais dans cer­tains cas, les inter­ac­tions tac­tiles et les dis­po­si­tifs de réa­li­té vir­tuelle amé­liorent l’in­te­rac­tion intui­tive avec les modèles, faci­li­tant la créa­tion et per­met­tant aux uti­li­sa­teurs de mani­pu­ler des envi­ron­ne­ments com­plexes de manière natu­relle. Elle pour­suit, « inven­ter ces outils de réa­li­té vir­tuelle a par­fois été néces­saire pour pal­lier un manque et avan­cer les recherches. À l’inverse des IA généra­tives (sou­vent déve­lop­pées pour créer à notre place), les sys­tèmes intel­li­gents qui m’intéressent per­mettent une inter­ac­tion ges­tuelle, et sont des­ti­nés à nous rendre, nous les humains, plus créa­tifs. »

L’équipe VISTA tra­vaille très régu­liè­re­ment avec des scien­ti­fiques d’autres dis­ci­plines. En col­la­bo­ra­tion avec ces der­niers, les cher­cheurs déve­loppent des outils de créa­tion fon­dés sur leurs modèles, et qui leur per­mettent de créer direc­te­ment des exemples. « De 2017 à 2021, on a par exemple tra­vaillé avec des paléon­to­logues qui sou­haitent “voir” leur modèle paléo­cli­ma­tique et de la répar­ti­tion de la faune et de la flore de la val­lée de Tau­ta­vel qui en résulte. » Située dans les Pyré­nées-Orien­tales, la val­lée de Tau­ta­vel est un site pré­his­to­rique majeur. Les fouilles archéo­lo­giques ont per­mis d’y déter­rer nombre d’ossements, d’outils et de traces datant d’il y a plus de 300 000 ans. « Le but était de repro­duire l’écosystème en fonc­tion des don­nées et des hypo­thèses des cher­cheurs. On y a repré­sen­té le paléo­cli­mat, et géné­ré la faune et la flore qui peu­plaient la val­lée à cette époque en fonc­tion des para­mètres (la tem­pé­ra­ture, l’hydratation et l’ensoleillement) ain­si que de la liste pro­bable des espèces pré­sentes don­née par les paléon­to­logues. » Grâce à la repré­sen­ta­tion 3D ani­mée ain­si construite, les cher­cheurs peuvent consta­ter des failles dans leurs modèles et ajus­ter leurs hypothèses.

L’informatique gra­phique serait-elle les pré­mices du voyage dans le temps ? Sans aller jusque-là, il est cer­tain que cette dis­ci­pline nous trans­porte. Ima­gi­nez-vous vous bala­der vir­tuel­le­ment dans la recons­ti­tu­tion 3D d’une val­lée au paléo­li­thique, c’est une forme de saut dans le temps. Ce qui est sûr, c’est que l’informatique gra­phique peut aider les scien­ti­fiques à amé­lio­rer leur vision men­tale et leurs modèles, en com­bi­nant le savoir et l’apprentissage numérique.

L’in­for­ma­tique gra­phique offre des pers­pec­tives fas­ci­nantes pour le futur. 

Mais cela marche éga­le­ment dans le sens inverse. Pour tes­ter leur modèle, l’équipe de Marie-Paule Cani repro­duit des pay­sages actuels. Com­pa­rer leurs résul­tats avec le pay­sage réel don­né par des images satel­lites, leur per­met d’ajuster leur métho­do­lo­gie si néces­saire pour obte­nir la repré­sen­ta­tion la plus fidèle pos­sible de la réa­li­té, puis de vali­der leur modèle.

L’in­for­ma­tique gra­phique, en constante évo­lu­tion, offre des pers­pec­tives fas­ci­nantes pour le futur. En per­met­tant aux experts de visua­li­ser leurs repré­sen­ta­tions men­tales et de tes­ter plus rapi­de­ment leurs hypo­thèses scien­ti­fiques, elle ouvre de nou­velles voies pour la recherche et l’éducation.

Un pro­jet d’a­ve­nir consiste à uti­li­ser la modé­li­sa­tion expres­sive pour sen­si­bi­li­ser le public au chan­ge­ment cli­ma­tique. En per­met­tant aux uti­li­sa­teurs de mani­pu­ler des hypo­thèses et de visua­li­ser en 3D les effets de leurs choix sur notre pla­nète, cette approche aide­rait à impli­quer davan­tage le grand public dans les enjeux envi­ron­ne­men­taux actuels. Ain­si, l’in­for­ma­tique gra­phique ne se contente pas de modé­li­ser la réa­li­té, elle devient un outil cru­cial pour sou­te­nir la recherche scien­ti­fique et per­mettre à tous, étu­diant comme grand public, de mieux com­prendre notre monde.

Loraine Odot