L’IA est-elle condamnée à être un gouffre énergétique ?

Les modèles d’IA géné­ra­tive, tels que le GPT‑4 d’OpenAI, sont en quelque sorte des outils à tout faire. Ils com­prennent un nombre consé­quent de para­mètres – se comp­tant en mil­liards aujourd’hui – qui leur per­mettent de répondre à tout type de tâche. Cette plu­ra­li­té des usages, qui amène des pro­blèmes de com­plexi­té, rend ces modèles « à opti­mi­ser », selon Enzo Tar­ta­glione, cher­cheur et maître de confé­rences à Télé­com Paris (IP Paris). Cette com­plexi­té implique éga­le­ment une consom­ma­tion éner­gé­tique impres­sion­nante.

« Même pour une requête extrê­me­ment simple, l’IA aura ten­dance à uti­li­ser toutes les res­sources à sa dis­po­si­tion pour répondre, sans sous­traire celles qui ne seront pas utiles. Cela entraîne un gas­pillage d’éner­gie, et c’est réel­le­ment un axe que l’on se doit d’optimiser. » Cette consom­ma­tion d’énergie, esti­mée à envi­ron 2 % de la consom­ma­tion mon­diale en 2024, pousse la recherche vers une autre approche : la frugalité.

Ope­nAI a mis à dis­po­si­tion, au tra­vers de ser­veurs, un modèle de lan­gage extrê­me­ment deman­deur en res­sources. Ce constat a ame­né les cher­cheurs à dis­tin­guer la consom­ma­tion de res­sources de l’entraînement du modèle de celle de ses infé­rences, c’est-à-dire de l’utilisation de ce der­nier. Bien que la consom­ma­tion d’énergie de l’entraînement soit déjà consé­quente – envi­ron 1 287 MWh pour GPT‑3, et entre 10 000 et 30 000 MWh esti­més pour GPT‑4 –, son impact est ponc­tuel. Alors que l’impact de celle des infé­rences dépend du nombre d’utilisateurs, qui ne fait que gran­dir. Une étude de 2021¹ estime « entre 80 et 90 % la charge de tra­vail en machine lear­ning chez NVIDIA venant des infé­rences. Ama­zon Web Ser­vices estime que 90 % de la demande dans le cloud en machine lear­ning sont des infé­rences ».

Cer­tains cher­cheurs estiment qu’il fau­drait trou­ver un équi­libre entre la consom­ma­tion d’énergie d’un modèle, et la tâche qui lui est deman­dée. Si un modèle est uti­li­sé pour décou­vrir un médi­ca­ment, ou faire avan­cer une recherche – ce dont il est capable –, l’impact car­bone sera moins dif­fi­cile à accep­ter. Seule­ment, aujourd’hui, ces modèles peuvent être uti­li­sés pour tout type de tâche, fai­sant ain­si, au tra­vers des dif­fé­rentes requêtes qui leur sont deman­dées en même temps, des mil­lions d’inférences.

À Télé­com Paris, la chaire « Data science and arti­fi­cial intel­li­gence for digi­ta­li­sed indus­try and ser­vices » se concentre sur plu­sieurs défis : com­ment conci­lier l’essor de l’IA et ses contraintes éner­gé­tiques, sans renon­cer à son poten­tiel ? « Nous explo­rons beau­coup les ques­tions de fru­ga­li­té (N.D.L.R. : cher­cher à « faire plus avec moins » et dans un plus grand res­pect de l’environnement), mais aus­si de sou­te­na­bi­li­té (N.D.L.R. : répondre aux besoins des géné­ra­tions pré­sentes sans com­pro­mettre ceux des géné­ra­tions futures), ajoute Enzo Tar­ta­glione. Il y a une vraie ques­tion dans le choix des appli­ca­tions, car l’IA ne peut pas être que poin­tée du doigt comme mau­vaise élève. Avec des col­lègues, nous com­men­çons un tra­vail sur la géné­ra­tion de maté­riaux pour sto­cker l’hydrogène. Il y a aus­si cela dans l’IA, un vec­teur de solu­tion. » 

D’autant que les modèles que nous pou­vons tous uti­li­ser depuis nos por­tables demandent d’échanger avec un ser­veur. « Il faut bien se rendre compte du coût de trans­port de l’information, qui plus est bidi­rec­tion­nelle, insiste le cher­cheur. Un inté­rêt fort peut ain­si se trou­ver dans la concep­tion de modèles uti­li­sables loca­le­ment, limi­tant les besoins de com­mu­ni­ca­tion avec un ser­veur externe. Seule­ment, nous par­lons de modèles com­por­tant des mil­liards de para­mètres dif­fé­rents. Ce qui demande une mémoire allouée encore trop impor­tante pour que votre smart­phone puisse le faire sans inter­net. »

Il y a donc tout de même plu­sieurs dimen­sions en jeu dans la fru­ga­li­té. Il ne faut pas seule­ment réduire le nombre de para­mètres néces­saires aux cal­culs d’un modèle, que ce soit à l’entraînement, ou à l’inférence – comme l’a fait le modèle Deep­Seek. Il faut aus­si agir sur les don­nées d’apprentissage et les don­nées for­mant la connais­sance du modèle. Pour ce faire, une solu­tion res­sort notam­ment avec Mis­tral – un modèle de lan­gage fran­çais en open source. Il y a un inté­rêt à divi­ser le modèle prin­ci­pal en une mul­ti­tude d’experts capables de se réveiller selon la tâche deman­dée. C’est donc une des pistes pro­po­sées pour l’optimisation de ces modèles : les dis­tin­guer en spé­cia­li­tés. « L’objectif est de prendre des modèles déjà pré-entraî­nés et de mettre en place des stra­té­gies pour les adap­ter avec le moins de para­mètres pos­sible à dif­fé­rentes sous-tâches très pré­cises, explique Enzo Tar­ta­glione. Ain­si, non seule­ment l’impact de l’entraînement n’est pas renou­ve­lé, mais la pres­ta­tion en termes d’énergie et de per­for­mance est gran­de­ment amé­lio­rée. » 

Avec des modèles plus spé­cia­li­sés, la quan­ti­té de connais­sances néces­saires à la réa­li­sa­tion deman­de­ra aus­si moins de don­nées pour être acquise. Ce type de modèle pour­rait donc agir loca­le­ment, et avoir une com­mu­ni­ca­tion avec les ser­veurs bien plus épu­rée. Après tout, l’IA reste une inno­va­tion rela­ti­ve­ment récente. Et, un peu comme le reste des inno­va­tions tech­no­lo­giques, elle devrait logi­que­ment suivre le même che­min d’optimisation que les pré­cé­dentes. Fina­le­ment, l’IA fru­gale repré­sente bien plus un mou­ve­ment dans la recherche sur l’IA qu’un champ à part entière. D’ailleurs, l’informatique a tou­jours cher­ché à conce­voir des sys­tèmes opti­mi­sant les res­sources et limi­tant les cal­culs inutiles – la fru­ga­li­té est donc une conti­nui­té natu­relle de cette logique d’efficacité. Peut-être à l’image des ordi­na­teurs ou des télé­phones deve­nus portables ? 

Quoiqu’il en soit, l’intérêt de la fru­ga­li­té, en plus d’être envi­ron­ne­men­tal, est aus­si éco­no­mique pour les dif­fé­rents acteurs déve­lop­pant ce type d’outils. Ce qui implique tout de même que l’effet rebond reste à craindre : une uti­li­sa­tion plus mas­sive due à un déve­lop­pe­ment moins coû­teux rédui­rait for­te­ment les béné­fices envi­ron­ne­men­taux. Cepen­dant, cette approche ne sera sans doute pas la seule solu­tion au gouffre éner­gé­tique que repré­sente l’IA ; répondre à la ques­tion de la sou­te­na­bi­li­té sera, là aus­si, essentiel…

Pablo Andres