Algorithme : un biomimétisme de la performance et de la nuance

La bio­mimé­tique n’est étrangère ni aux pro­grès rapi­des, ni aux per­for­mances épous­tou­flantes des algo­rithmes con­tem­po­rains. Mais la com­mu­nauté infor­ma­tique peine encore à inté­gr­er la vraie puis­sance du vivant : sa sobriété. 

Le bio­mimétisme s’inscrit dans l’histoire de l’algorithmique dès ses pre­miers développe­ments. « En 1964, le pre­mier réseau de neu­rones, le per­cep­tron, était déjà bio­mimé­tique. Il cher­chait à repro­duire les pro­priétés élec­tro­phys­i­ologiques des neu­rones, leur excitabil­ité et leur capac­ité de trans­met­tre une infor­ma­tion », rap­pelle Clé­ment Viri­cel, maître de con­férences à l’Université de Lyon. Chaque neu­rone reçoit des don­nées, les pondère et pro­duit un résul­tat selon la fonc­tion inscrite dans l’algorithme. Ce proces­sus con­stitue « l’activation » du neu­rone arti­fi­ciel, comme un neu­rone est activé dans le cerveau par l’influx nerveux. Dans le per­cep­tron, les neu­rones étaient con­nec­tés au sein d’une couche. C’est par la mul­ti­pli­ca­tion des couch­es de neu­rones, qu’il traitait le flot d’informations. 

A par­tir, des années 1990 les algo­rithmes d’entraînement ont repris ces réseaux de neu­rones pour chercher à repro­duire la manière dont l’humain apprend. « Les réseaux de neu­rones sont bio­mimé­tiques parce qu’ils appren­nent par échec, un peu comme les humains ou les bébés. On peut représen­ter la plas­tic­ité avec des matri­ces dont on pondère les élé­ments en fonc­tion des suc­cès. Les coef­fi­cients jouent le rôle du ren­force­ment entre les neu­rones », pré­cise Lau­rent Pujo-Men­jou­et. Clement Viri­cel ajoute « Par exem­ple, dans l’apprentissage d’une langue, l’humain décou­vre sou­vent le sens d’un mot grâce au con­texte. La séman­tique joue un rôle cru­cial. C’est ce que les réseaux de neu­rones ont com­mencé à faire, en étant entraînés avec des textes où il man­quait un mot. Puis ils ont été opti­misés par rétro­prop­a­ga­tion. » C’est-à-dire en cor­rigeant le poids des neu­rones d’entrée en fonc­tion des résul­tats en sor­tie. « Mais ce proces­sus con­stitue une véri­ta­ble boîte noire, où les vari­a­tions de pondéra­tion (qui per­me­t­tent à l’algorithme d’évoluer) ne sont pas vis­i­bles… », com­plète Clé­ment Viri­cel. Or, on sait qu’il est dif­fi­cile de faire con­fi­ance à un proces­sus dont on ne com­prend pas le fonc­tion­nement. Ces méth­odes con­stituent des casse-tête aux assureurs en charge des pro­duits qui les intè­grent, comme les véhicules autonomes¹ ou les sys­tèmes d’aide aux diag­nos­tics².

Le bio­mimétisme par­ticipe ensuite au développe­ment d’un très grand nom­bre d’algorithmes. On peut citer les algo­rithmes dits « géné­tiques » qui s’inspirent des arbres phy­logéné­tiques pour faire du cal­cul et per­me­t­tent de sélec­tion­ner le résul­tat le plus per­ti­nent selon plusieurs méth­odes (par rang, par tournoi, en fonc­tion de l’adaptation…). De tels sys­tèmes ont été déployés pour la recherche d’optimums, mais aus­si pour le développe­ment de jeux, comme le célèbre Mario, afin de class­er les joueurs entre eux. On pense aus­si aux réseaux de neu­rones con­vo­lu­tifs, inspirés du réseau visuel de l’homme. « Ses développeurs ont voulu repro­duire la manière dont l’œil analyse une image. Il s’agit d’un car­ré de neu­rones, qui scanne l’image pour en capter les pix­els avant de la recon­stru­ire en total­ité », explique Clé­ment Viri­cel. Cet out­il est notam­ment con­nu pour avoir sur­passé un œil d’expert, en par­ti­c­uli­er pour le diag­nos­tic de mélanomes³. Com­ment marche-t-il ? « Il extrait des car­ac­téris­tiques « forme de la tumeur », « taille de la tumeur » etc, pen­dant la péri­ode d’entraînement. Puis, il recherchera ces car­ac­téris­tiques pour recon­naître un objet par­ti­c­uli­er », répond Clé­ment Viricel.

Ces algo­rithmes bio­mimé­tiques sont appliqués à tous les sujets, comme le mon­trent les réseaux de neu­rones récur­rents. « Ils visent à analyser des don­nées de manière séquencée ou au fil du temps. Ils sont très util­isés pour le traite­ment automa­tique de textes en prenant en compte l’ordre des mots. Des couch­es dens­es sont récur­rentes pour que le réseau n’oublie pas ce qu’il a fait avant. », explique Clé­ment Viri­cel. De tels réseaux ont per­mis de con­stru­ire des out­ils de tra­duc­tion automa­tique. Un pre­mier réseau récur­rent « lit » et encode le texte dans la langue d’origine, un sec­ond réseau récur­rent décode le texte dans une autre langue, le tout avec un coût en ter­mes de temps et d’énergie. « Ils ont besoin de beau­coup d’énergie à l’entraînement », recon­naît Clé­ment Viricel.

Il faut donc appren­dre plus vite. Les spé­cial­istes ont alors pen­sé à repro­duire la dépen­dance lex­i­cale : quand un humain apprend un texte, il sait implicite­ment à quoi se rap­por­tent les pronoms. Cela allège la phrase. « Pour repro­duire ça, il a fal­lu ajouter avec une couche sup­plé­men­taire de neu­rones, la couche d’attention. Et c’est sur ce paramètre que la dernière évo­lu­tion bio­mimé­tique s’est pro­duite », explique le spé­cial­iste. Les inven­teurs de ces nou­velles intel­li­gences arti­fi­cielles ont titré leur arti­cle « Atten­tion is all you need ». En effet, leur réseau n’est con­sti­tué que de 12 couch­es d’attention et d’un sys­tème encodeur/décodeur. Ces réseaux sont appelés « trans­form­ers », et con­stituent les mod­èles comme Bert de Google ou Bloom de la start-up Hug­ging Face, fondée par trois Français. (Chat-)GPT descend directe­ment des trans­form­ers, bien qu’il ne pos­sède que le décodeur et pas d’encodeur.

Toute cette his­toire mon­tre bien comme la bio­mimé­tique a irrigué l’innovation algo­rith­mique, mais en oubliant une car­ac­téris­tique essen­tielle du vivant : sa sobriété. Par exem­ple, l’entraînement de Chat GPT‑3 a exigé 1,287 MWh et émis 552 tonnes de CO₂⁴ « Jusqu’à présent, les développeurs ne s’intéressent pas du tout au bilan énergé­tique de leurs réseaux. », recon­naît Clé­ment Viri­cel. « C’est un prob­lème de com­pé­tence. Les per­son­nes qui conçoivent les algo­rithmes ne sont pas celles qui en con­stru­isent les élé­ments physiques. On oublie l’aspect machine. Les out­ils récents con­som­ment énor­mé­ment… Et les prochains sys­tèmes, TPU ou HPU, ne seront pas plus vertueux » analyse le spécialiste. 

Le change­ment pour­rait venir de la prochaine généra­tion de pro­gram­meurs. « On voit émerg­er un mou­ve­ment dans la com­mu­nauté qui cherche à s’emparer de cette ques­tion. D’une part, parce que la con­trainte d’optimisation de l’énergie s’impose mis aus­si pour l’éthique. Pour l’instant, les gains ne sont que mécaniques, en ne jouant que sur le trans­fert d’énergie. », racon­te Clé­ment Viri­cel.  Mais d’autres pistes émer­gent, comme les algo­rithmes de zero-shot learn­ing, « Ils fonc­tion­nent sans entraîne­ment ce qui per­met d’économiser le coût de l’apprentissage », pré­cise le spé­cial­iste. A voir si leurs per­for­mances peu­vent con­cur­rencer leurs aînés, pour pro­duire des sys­tèmes totale­ment biomimétiques.

Agnès Vernet