Les « World Models » vont-ils transformer l’IA ?

Les grands modèles de lan­gage, LLM, n’ont plus besoin de pré­sen­ta­tion. Omni­pré­sents dans nos vies, les IA telles que ChatGPT, Claude et autres Gemi­ni ont des capa­ci­tés remar­quables pour pré­dire l’enchaînement de mots dans un texte à par­tir de cal­culs sta­tis­tiques. Mais, de l’avis d’un nombre crois­sant d’acteurs majeurs de l’IA, ils nous conduisent dans une impasse, car ils sont dépour­vus de com­pré­hen­sion des phé­no­mènes phy­siques. Ils passent à côté de la struc­ture cau­sale du monde réel, ce qui limite leur « intel­li­gence ». De plus, le modèle géné­ra­tif sta­tis­tique se heurte à la réa­li­té, qui est constel­lée de détails imprévisibles.

Le monde de l’IA est donc prêt pour la pro­chaine étape : les modèles du monde, ou world models (WM). Ces modèles, entraî­nés sur des don­nées rela­tives aux envi­ron­ne­ments phy­siques, auraient des appli­ca­tions allant bien au-delà de la géné­ra­tion de conte­nus, notam­ment dans le domaine de la robo­tique. Dans les der­niers mois, les annonces se sont mul­ti­pliées. Yann LeCun, qui a quit­té Meta en 2025, a fon­dé la start-up AMI (Advan­ced Machine Intel­li­gence Labs) pour se consa­crer à cette nou­velle approche.

Chez Google Deep­Mind, Demis Has­sa­bis estime aus­si qu’il manque aux LLM des capa­ci­tés cri­tiques, notam­ment de rai­son­ne­ment et de com­pré­hen­sion phy­sique du monde, que les world models pour­raient jus­te­ment appor­ter. Fei-Fei Li, fon­da­trice de World Labs, consi­dère elle aus­si que « l’intelligence spa­tiale » est la pro­chaine fron­tière de l’IA. Et de son côté, Yoshua Ben­gio plaide pour un sys­tème d’IA plus sécu­ri­taire¹ incluant un WM qui génère des théo­ries pour expli­quer les don­nées. Car en l’absence d’un modèle cohé­rent décri­vant le fonc­tion­ne­ment du monde, il estime que les LLM ne sont pas en mesure de pré­voir les consé­quences de leurs actions.

« Les world models, en tout cas tels que les envi­sage Yann LeCun, sont des modèles pré­dic­tifs, mais dans un espace abs­trait (ou latent). L’idée étant, si vous vou­lez pla­ni­fier les mou­ve­ments d’un robot, par exemple, que ce n’est peut-être pas néces­saire de pré­dire au pixel près l’évolution d’une image, comme le font les LLM. Si on pro­duit un modèle avec une repré­sen­ta­tion abs­traite du sys­tème dyna­mique, il pour­ra plus faci­le­ment pré­dire la repré­sen­ta­tion des états sui­vants », explique Jean Ponce. En somme, c’est comme si le modèle se consti­tuait un espace « men­tal » interne et pou­vait s’y projeter.

Ain­si, au lieu de pré­dire de manière pro­ba­bi­liste le pro­chain élé­ment (ou token) d’une séquence, ces sys­tèmes apprennent à modé­li­ser le monde selon plu­sieurs niveaux d’abstraction et à pré­dire l’évolution du « tableau » glo­bal selon dif­fé­rentes condi­tions et contraintes. Cela leur per­met d’ignorer les détails non per­ti­nents pour se concen­trer sur les infor­ma­tions néces­saires à l’accomplissement d’une tâche. Par exemple, si on veut pré­dire le mou­ve­ment d’un véhi­cule dans une vidéo au temps t+1, il est super­flu de s’attacher à sa cou­leur ou aux marques d’usure sur la car­ros­se­rie. Bref, on pour­rait consi­dé­ra­ble­ment allé­ger le cal­cul. « Le fait que ce soit plus éco­nome n’est pas encore clai­re­ment démon­tré, mais c’est plau­sible », sou­tient l’expert.  

S’il n’y a pas de défi­ni­tion « offi­cielle » de ce qu’est un modèle du monde, l’objectif de Yann LeCun est tou­te­fois de repro­duire le « sens com­mun² » que les humains comme les ani­maux acquièrent d’instinct avec, entre autres, la com­pré­hen­sion de la gra­vi­té ou de la per­ma­nence des objets. Le cher­cheur vise le niveau « d’intelligence d’un chat », répète-t-il, soit le fait de pou­voir navi­guer dans une situa­tion nou­velle, de pré­dire les états futurs de son envi­ron­ne­ment, mais aus­si de com­bler les infor­ma­tions manquantes.

Alors que les LLM s’améliorent en se nour­ris­sant de tou­jours plus de don­nées, les WM ont voca­tion à être construits avec une archi­tec­ture dif­fé­rente, qui évite de « gas­piller » des res­sources pour ten­ter de pré­voir pixel par pixel des détails ou des tra­jec­toires impré­vi­sibles. Les don­nées requises pour l’entraînement des WM sont mul­ti­mo­dales, mais prin­ci­pa­le­ment vidéo. À la manière d’un bébé (ou d’un chat) qui observe le monde et se forge une per­cep­tion ins­tinc­tive des lois de la phy­sique, l’analyse de vidéos per­met d’appréhender l’espace.

L’architecture pro­po­sée par Yann LeCun qui est tou­jours un réseau de neu­rones, il est nom­mé « JEPA » (pour joint embed­ding pre­dic­tive archi­tec­ture) et peut être entraî­née de manière auto­su­per­vi­sée. JEPA s’articule autour de 3 com­po­sants de réseau neuronal :

• Un enco­deur cible, qui trans­forme, par exemple une vidéo en repré­sen­ta­tion abs­traite (l’embedding)
• Un enco­deur de contexte : qui traite une par­tie tron­quée des don­nées d’entrée (par exemple, une image avec des par­ties masquées).
• Un pré­dic­teur, qui pro­jette la repré­sen­ta­tion abs­traite de la par­tie mas­quée ou future

« Il peut y avoir des sys­tèmes non com­man­dés, par exemple une pierre qui tombe, un oura­gan qui se déchaîne, et on pré­dit ce qui va se pas­ser dans un petit ins­tant. Mais l’objectif est aus­si d’avoir des sys­tèmes dyna­miques com­man­dés, par exemple un robot, qui va évo­luer non seule­ment sous l’effet de la gra­vi­té, mais aus­si sous l’effet des com­mandes qu’on lui trans­met. Si on lui dit : “applique telle vélo­ci­té à cet angle, à cette arti­cu­la­tion”, il va pou­voir le tra­duire en action », explique Jean Ponce.

Du fait de leur struc­ture, les LLM peinent à for­mu­ler un rai­son­ne­ment en plu­sieurs étapes. À l’inverse, si les WM par­viennent à faire des pré­dic­tions, ils pour­ront en théo­rie pla­ni­fier des séquences d’action. C’est pour­quoi ils pré­sentent un inté­rêt par­ti­cu­lier en robo­tique ou en logistique.

Comme leur appren­tis­sage n’est pas gui­dé par une tâche pré­cise, ils peuvent s’adapter à un envi­ron­ne­ment chan­geant. « On sépare la par­tie apprise, soit la repré­sen­ta­tion, le simu­la­teur, de la tâche finale. L’espoir est que cela per­mette d’u­ti­li­ser des algo­rithmes rela­ti­ve­ment simples et géné­raux pour pla­ni­fier la tâche, elle-même spé­ci­fiée sim­ple­ment en mon­trant, par exemple au robot une pho­to de l’é­tat ini­tial, une pho­to du but, plus éven­tuel­le­ment quelques com­mandes en lan­gage natu­rel. »

Si on com­prend que les modèles du monde sus­citent un engoue­ment majeur, en fai­sant sor­tir l’IA de son savoir ency­clo­pé­dique et en l’amenant à agir dans l’espace-temps, il est encore trop tôt pour savoir s’ils seront capables de « rai­son­ner », voire d’aboutir à une forme d’intelligence arti­fi­cielle générale.

Les modèles du monde seront-ils à la hau­teur des pro­messes ? Seront-ils plus effi­caces, réel­le­ment capables d’intégrer les carac­té­ris­tiques du monde phy­sique ? « L’avenir nous le dira. Ce qui est impor­tant, c’est de réflé­chir à autre chose qu’aux LLM », affirme Jean Ponce.

Célia Chaboud