Algorithme : un biomimétisme de la performance et de la nuance

La bio­mi­mé­tique n’est étran­gère ni aux pro­grès rapides, ni aux per­for­mances épous­tou­flantes des algo­rithmes contem­po­rains. Mais la com­mu­nau­té infor­ma­tique peine encore à inté­grer la vraie puis­sance du vivant : sa sobriété. 

Le bio­mi­mé­tisme s’inscrit dans l’histoire de l’algorithmique dès ses pre­miers déve­lop­pe­ments. « En 1964, le pre­mier réseau de neu­rones, le per­cep­tron, était déjà bio­mi­mé­tique. Il cher­chait à repro­duire les pro­prié­tés élec­tro­phy­sio­lo­giques des neu­rones, leur exci­ta­bi­li­té et leur capa­ci­té de trans­mettre une infor­ma­tion », rap­pelle Clé­ment Viri­cel, maître de confé­rences à l’Université de Lyon. Chaque neu­rone reçoit des don­nées, les pon­dère et pro­duit un résul­tat selon la fonc­tion ins­crite dans l’algorithme. Ce pro­ces­sus consti­tue « l’activation » du neu­rone arti­fi­ciel, comme un neu­rone est acti­vé dans le cer­veau par l’influx ner­veux. Dans le per­cep­tron, les neu­rones étaient connec­tés au sein d’une couche. C’est par la mul­ti­pli­ca­tion des couches de neu­rones, qu’il trai­tait le flot d’informations. 

A par­tir, des années 1990 les algo­rithmes d’entraînement ont repris ces réseaux de neu­rones pour cher­cher à repro­duire la manière dont l’humain apprend. « Les réseaux de neu­rones sont bio­mi­mé­tiques parce qu’ils apprennent par échec, un peu comme les humains ou les bébés. On peut repré­sen­ter la plas­ti­ci­té avec des matrices dont on pon­dère les élé­ments en fonc­tion des suc­cès. Les coef­fi­cients jouent le rôle du ren­for­ce­ment entre les neu­rones », pré­cise Laurent Pujo-Men­jouet. Cle­ment Viri­cel ajoute « Par exemple, dans l’apprentissage d’une langue, l’humain découvre sou­vent le sens d’un mot grâce au contexte. La séman­tique joue un rôle cru­cial. C’est ce que les réseaux de neu­rones ont com­men­cé à faire, en étant entraî­nés avec des textes où il man­quait un mot. Puis ils ont été opti­mi­sés par rétro­pro­pa­ga­tion. » C’est-à-dire en cor­ri­geant le poids des neu­rones d’entrée en fonc­tion des résul­tats en sor­tie. « Mais ce pro­ces­sus consti­tue une véri­table boîte noire, où les varia­tions de pon­dé­ra­tion (qui per­mettent à l’algorithme d’évoluer) ne sont pas visibles… », com­plète Clé­ment Viri­cel. Or, on sait qu’il est dif­fi­cile de faire confiance à un pro­ces­sus dont on ne com­prend pas le fonc­tion­ne­ment. Ces méthodes consti­tuent des casse-tête aux assu­reurs en charge des pro­duits qui les intègrent, comme les véhi­cules auto­nomes¹ ou les sys­tèmes d’aide aux diag­nos­tics².

Le bio­mi­mé­tisme par­ti­cipe ensuite au déve­lop­pe­ment d’un très grand nombre d’algorithmes. On peut citer les algo­rithmes dits « géné­tiques » qui s’inspirent des arbres phy­lo­gé­né­tiques pour faire du cal­cul et per­mettent de sélec­tion­ner le résul­tat le plus per­ti­nent selon plu­sieurs méthodes (par rang, par tour­noi, en fonc­tion de l’adaptation…). De tels sys­tèmes ont été déployés pour la recherche d’optimums, mais aus­si pour le déve­lop­pe­ment de jeux, comme le célèbre Mario, afin de clas­ser les joueurs entre eux. On pense aus­si aux réseaux de neu­rones convo­lu­tifs, ins­pi­rés du réseau visuel de l’homme. « Ses déve­lop­peurs ont vou­lu repro­duire la manière dont l’œil ana­lyse une image. Il s’agit d’un car­ré de neu­rones, qui scanne l’image pour en cap­ter les pixels avant de la recons­truire en tota­li­té », explique Clé­ment Viri­cel. Cet outil est notam­ment connu pour avoir sur­pas­sé un œil d’expert, en par­ti­cu­lier pour le diag­nos­tic de méla­nomes³. Com­ment marche-t-il ? « Il extrait des carac­té­ris­tiques « forme de la tumeur », « taille de la tumeur » etc, pen­dant la période d’entraînement. Puis, il recher­che­ra ces carac­té­ris­tiques pour recon­naître un objet par­ti­cu­lier », répond Clé­ment Viricel.

Ces algo­rithmes bio­mi­mé­tiques sont appli­qués à tous les sujets, comme le montrent les réseaux de neu­rones récur­rents. « Ils visent à ana­ly­ser des don­nées de manière séquen­cée ou au fil du temps. Ils sont très uti­li­sés pour le trai­te­ment auto­ma­tique de textes en pre­nant en compte l’ordre des mots. Des couches denses sont récur­rentes pour que le réseau n’oublie pas ce qu’il a fait avant. », explique Clé­ment Viri­cel. De tels réseaux ont per­mis de construire des outils de tra­duc­tion auto­ma­tique. Un pre­mier réseau récur­rent « lit » et encode le texte dans la langue d’origine, un second réseau récur­rent décode le texte dans une autre langue, le tout avec un coût en termes de temps et d’énergie. « Ils ont besoin de beau­coup d’énergie à l’entraînement », recon­naît Clé­ment Viricel.

Il faut donc apprendre plus vite. Les spé­cia­listes ont alors pen­sé à repro­duire la dépen­dance lexi­cale : quand un humain apprend un texte, il sait impli­ci­te­ment à quoi se rap­portent les pro­noms. Cela allège la phrase. « Pour repro­duire ça, il a fal­lu ajou­ter avec une couche sup­plé­men­taire de neu­rones, la couche d’attention. Et c’est sur ce para­mètre que la der­nière évo­lu­tion bio­mi­mé­tique s’est pro­duite », explique le spé­cia­liste. Les inven­teurs de ces nou­velles intel­li­gences arti­fi­cielles ont titré leur article « Atten­tion is all you need ». En effet, leur réseau n’est consti­tué que de 12 couches d’attention et d’un sys­tème encodeur/décodeur. Ces réseaux sont appe­lés « trans­for­mers », et consti­tuent les modèles comme Bert de Google ou Bloom de la start-up Hug­ging Face, fon­dée par trois Fran­çais. (Chat-)GPT des­cend direc­te­ment des trans­for­mers, bien qu’il ne pos­sède que le déco­deur et pas d’encodeur.

Toute cette his­toire montre bien comme la bio­mi­mé­tique a irri­gué l’innovation algo­rith­mique, mais en oubliant une carac­té­ris­tique essen­tielle du vivant : sa sobrié­té. Par exemple, l’entraînement de Chat GPT‑3 a exi­gé 1,287 MWh et émis 552 tonnes de CO₂⁴ « Jusqu’à pré­sent, les déve­lop­peurs ne s’intéressent pas du tout au bilan éner­gé­tique de leurs réseaux. », recon­naît Clé­ment Viri­cel. « C’est un pro­blème de com­pé­tence. Les per­sonnes qui conçoivent les algo­rithmes ne sont pas celles qui en construisent les élé­ments phy­siques. On oublie l’aspect machine. Les outils récents consomment énor­mé­ment… Et les pro­chains sys­tèmes, TPU ou HPU, ne seront pas plus ver­tueux » ana­lyse le spécialiste. 

Le chan­ge­ment pour­rait venir de la pro­chaine géné­ra­tion de pro­gram­meurs. « On voit émer­ger un mou­ve­ment dans la com­mu­nau­té qui cherche à s’emparer de cette ques­tion. D’une part, parce que la contrainte d’optimisation de l’énergie s’impose mis aus­si pour l’éthique. Pour l’instant, les gains ne sont que méca­niques, en ne jouant que sur le trans­fert d’énergie. », raconte Clé­ment Viri­cel.  Mais d’autres pistes émergent, comme les algo­rithmes de zero-shot lear­ning, « Ils fonc­tionnent sans entraî­ne­ment ce qui per­met d’économiser le coût de l’apprentissage », pré­cise le spé­cia­liste. A voir si leurs per­for­mances peuvent concur­ren­cer leurs aînés, pour pro­duire des sys­tèmes tota­le­ment biomimétiques.

Agnès Vernet