2_algorithme
π Science et technologies π Santé et biotech π Planète
Biomimétisme : quand la science s’inspire de la nature

Algorithme : un biomimétisme de la performance et de la nuance

avec Clément Viricel, docteur en mathématiques et informatique appliquée à la biologie et Laurent Pujo-Menjouet, enseignant-chercheur en mathématiques appliquées à la biologique et la médecine à l’université Claude Bernard Lyon 1 et maître de conférences et chercheur à l’Institut Camille Jordan
Le 25 octobre 2023 |
5 min. de lecture
Clé​ment Viricel
Clément Viricel
docteur en mathématiques et informatique appliquée à la biologie
Laurent Pujo
Laurent Pujo-Menjouet
enseignant-chercheur en mathématiques appliquées à la biologique et la médecine à l’université Claude Bernard Lyon 1 et maître de conférences et chercheur à l’Institut Camille Jordan
En bref
  • Les algorithmes sont des systèmes biomimétiques, puisqu’ils sont étroitement liés au fonctionnement des neurones.
  • Le biomimétisme participe au développement de nombreux algorithmes comme les algorithmes « génétiques » ou les réseaux de neurones convolutifs ou récurrents.
  • Toujours inspirés par l’humain, les chercheurs ont cherché à développer la rapidité des algorithmes en ajoutant une « couche d’attention » aux réseaux de neurones.
  • L’enjeu futur est de réduire le bilan énergétique de ces innovations.

La bio­mi­mé­tique n’est étran­gère ni aux pro­grès rapides, ni aux per­for­mances épous­tou­flantes des algo­rithmes contem­po­rains. Mais la com­mu­nau­té infor­ma­tique peine encore à inté­grer la vraie puis­sance du vivant : sa sobriété. 

Le bio­mi­mé­tisme s’ins​crit dans l’his​toire de l’al​go​rith​mique dès ses pre­miers déve­lop­pe­ments. « En 1964, le pre­mier réseau de neu­rones, le per­cep­tron, était déjà bio­mi­mé­tique. Il cher­chait à repro­duire les pro­prié­tés élec­tro­phy­sio­lo­giques des neu­rones, leur exci­ta­bi­li­té et leur capa­ci­té de trans­mettre une infor­ma­tion », rap­pelle Clé­ment Viri­cel, maître de confé­rences à l’U​ni​ver​si​té de Lyon. Chaque neu­rone reçoit des don­nées, les pon­dère et pro­duit un résul­tat selon la fonc­tion ins­crite dans l’al​go​rithme. Ce pro­ces­sus consti­tue « l’ac​ti​va​tion » du neu­rone arti­fi­ciel, comme un neu­rone est acti­vé dans le cer­veau par l’in​flux ner­veux. Dans le per­cep­tron, les neu­rones étaient connec­tés au sein d’une couche. C’est par la mul­ti­pli­ca­tion des couches de neu­rones, qu’il trai­tait le flot d’in​for​ma​tions. 

Réseaux de neurones

A par­tir, des années 1990 les algo­rithmes d’en​traî​ne​ment ont repris ces réseaux de neu­rones pour cher­cher à repro­duire la manière dont l’hu​main apprend. « Les réseaux de neu­rones sont bio­mi­mé­tiques parce qu’ils apprennent par échec, un peu comme les humains ou les bébés. On peut repré­sen­ter la plas­ti­ci­té avec des matrices dont on pon­dère les élé­ments en fonc­tion des suc­cès. Les coef­fi­cients jouent le rôle du ren­for­ce­ment entre les neu­rones », pré­cise Laurent Pujo-Men­jouet. Cle­ment Viri­cel ajoute « Par exemple, dans l’ap​pren​tis​sage d’une langue, l’hu​main découvre sou­vent le sens d’un mot grâce au contexte. La séman­tique joue un rôle cru­cial. C’est ce que les réseaux de neu­rones ont com­men­cé à faire, en étant entraî­nés avec des textes où il man­quait un mot. Puis ils ont été opti­mi­sés par rétro­pro­pa­ga­tion. » C’est​-à​-dire en cor­ri­geant le poids des neu­rones d’en​trée en fonc­tion des résul­tats en sor­tie. « Mais ce pro­ces­sus consti­tue une véri­table boîte noire, où les varia­tions de pon­dé­ra­tion (qui per­mettent à l’al​go​rithme d’é​vo​luer) ne sont pas visibles… », com­plète Clé­ment Viri­cel. Or, on sait qu’il est dif­fi­cile de faire confiance à un pro­ces­sus dont on ne com­prend pas le fonc­tion­ne­ment. Ces méthodes consti­tuent des casse-tête aux assu­reurs en charge des pro­duits qui les intègrent, comme les véhi­cules autonomes1 ou les sys­tèmes d’aide aux diagnostics2.

Le bio­mi­mé­tisme par­ti­cipe ensuite au déve­lop­pe­ment d’un très grand nombre d’al​go​rithmes. On peut citer les algo­rithmes dits « géné­tiques » qui s’ins​pirent des arbres phy­lo­gé­né­tiques pour faire du cal­cul et per­mettent de sélec­tion­ner le résul­tat le plus per­ti­nent selon plu­sieurs méthodes (par rang, par tour­noi, en fonc­tion de l’a​dap​ta​tion…). De tels sys­tèmes ont été déployés pour la recherche d’op​ti​mums, mais aus­si pour le déve­lop­pe­ment de jeux, comme le célèbre Mario, afin de clas­ser les joueurs entre eux. On pense aus­si aux réseaux de neu­rones convo­lu­tifs, ins­pi­rés du réseau visuel de l’homme. « Ses déve­lop­peurs ont vou­lu repro­duire la manière dont l’œil ana­lyse une image. Il s’a​git d’un car­ré de neu­rones, qui scanne l’i​mage pour en cap­ter les pixels avant de la recons­truire en tota­li­té », explique Clé­ment Viri­cel. Cet outil est notam­ment connu pour avoir sur­pas­sé un œil d’ex​pert, en par­ti­cu­lier pour le diag­nos­tic de mélanomes3. Com­ment marche-t-il ? « Il extrait des carac­té­ris­tiques « forme de la tumeur », « taille de la tumeur » etc, pen­dant la période d’en​traî​ne​ment. Puis, il recher­che­ra ces carac­té­ris­tiques pour recon­naître un objet par­ti­cu­lier », répond Clé­ment Viricel.

Ces algo­rithmes bio­mi­mé­tiques sont appli­qués à tous les sujets, comme le montrent les réseaux de neu­rones récur­rents. « Ils visent à ana­ly­ser des don­nées de manière séquen­cée ou au fil du temps. Ils sont très uti­li­sés pour le trai­te­ment auto­ma­tique de textes en pre­nant en compte l’ordre des mots. Des couches denses sont récur­rentes pour que le réseau n’ou​blie pas ce qu’il a fait avant. », explique Clé­ment Viri­cel. De tels réseaux ont per­mis de construire des outils de tra­duc­tion auto­ma­tique. Un pre­mier réseau récur­rent « lit » et encode le texte dans la langue d’o​ri​gine, un second réseau récur­rent décode le texte dans une autre langue, le tout avec un coût en termes de temps et d’éner​gie. « Ils ont besoin de beau­coup d’éner​gie à l’en​traî​ne​ment », recon­naît Clé­ment Viricel.

Transformers

Il faut donc apprendre plus vite. Les spé­cia­listes ont alors pen­sé à repro­duire la dépen­dance lexi­cale : quand un humain apprend un texte, il sait impli­ci­te­ment à quoi se rap­portent les pro­noms. Cela allège la phrase. « Pour repro­duire ça, il a fal­lu ajou­ter avec une couche sup­plé­men­taire de neu­rones, la couche d’at​ten​tion. Et c’est sur ce para­mètre que la der­nière évo­lu­tion bio­mi­mé­tique s’est pro­duite », explique le spé­cia­liste. Les inven­teurs de ces nou­velles intel­li­gences arti­fi­cielles ont titré leur article « Atten­tion is all you need ». En effet, leur réseau n’est consti­tué que de 12 couches d’at​ten​tion et d’un sys­tème encodeur/décodeur. Ces réseaux sont appe­lés « trans­for­mers », et consti­tuent les modèles comme Bert de Google ou Bloom de la start-up Hug­ging Face, fon­dée par trois Fran­çais. (Chat​-)GPT des­cend direc­te­ment des trans­for­mers, bien qu’il ne pos­sède que le déco­deur et pas d’en​co​deur.

Toute cette his­toire montre bien comme la bio­mi­mé­tique a irri­gué l’in​no​va​tion algo­rith­mique, mais en oubliant une carac­té­ris­tique essen­tielle du vivant : sa sobrié­té. Par exemple, l’en​traî​ne​ment de Chat GPT‑3 a exi­gé 1,287 MWh et émis 552 tonnes de CO24 « Jus​qu’à pré­sent, les déve­lop­peurs ne s’in​té​ressent pas du tout au bilan éner­gé­tique de leurs réseaux. », recon­naît Clé­ment Viri­cel. « C’est un pro­blème de com­pé­tence. Les per­sonnes qui conçoivent les algo­rithmes ne sont pas celles qui en construisent les élé­ments phy­siques. On oublie l’as​pect machine. Les outils récents consomment énor­mé­ment… Et les pro­chains sys­tèmes, TPU ou HPU, ne seront pas plus ver­tueux » ana­lyse le spécialiste. 

Le chan­ge­ment pour­rait venir de la pro­chaine géné­ra­tion de pro­gram­meurs. « On voit émer­ger un mou­ve­ment dans la com­mu­nau­té qui cherche à s’em​pa​rer de cette ques­tion. D’une part, parce que la contrainte d’op​ti​mi​sa​tion de l’éner​gie s’im​pose mis aus­si pour l’é​thique. Pour l’ins​tant, les gains ne sont que méca­niques, en ne jouant que sur le trans­fert d’éner​gie. », raconte Clé­ment Viri­cel.  Mais d’autres pistes émergent, comme les algo­rithmes de zero-shot lear­ning, « Ils fonc­tionnent sans entraî­ne­ment ce qui per­met d’é​co​no​mi​ser le coût de l’ap​pren​tis​sage », pré­cise le spé­cia­liste. A voir si leurs per­for­mances peuvent concur­ren­cer leurs aînés, pour pro­duire des sys­tèmes tota­le­ment biomimétiques.

Agnès Vernet
1https://​www​.poly​tech​nique​-insights​.com/tribunes​/science​/des-algorithmes-pour-guider-les-taxis-volants/↑
2https://​cata​lyst​.nejm​.org/doi​/full​/10.1056​/CAT.21.0242↑
3https://​www​.nature​.com/articles​/nature21056↑
4https://​arxiv​.org/ftp​/arxiv​/papers​/2204​/2204.05149.pdf↑

Le monde expliqué par la science. Une fois par semaine, dans votre boîte mail.

Recevoir la newsletter