L’IA générative est-elle un gain pour la recherche ?

Arnault Cha­te­lain. Aujourd’hui, les scien­ti­fiques tâtonnent avec les grands modèles de lan­gage (LLM en anglais), qui consti­tuent une part impor­tante de l’IA. Tout le monde teste dif­fé­rentes méthodes pour les inté­grer dans les pra­tiques de recherche, mais de nom­breuses inter­ro­ga­tions sub­sistent. Pour cer­taines appli­ca­tions, ces LLM sont très per­for­mants. Par exemple pour détec­ter la tona­li­té d’un article ou d’un com­men­taire. En revanche, ils deviennent beau­coup moins per­for­mants pour des tâches plus com­pli­quées, comme la détec­tion de formes rhétoriques.

Je ne vais com­men­ter que le champ dis­ci­pli­naire que je connais, c’est-à-dire les sciences sociales et plus spé­ci­fi­que­ment l’économie, la socio­lo­gie et la science poli­tique. Les scien­ti­fiques uti­lisent sur­tout les LLM pour les assis­ter et tra­vailler de grandes quan­ti­tés de textes. La pre­mière appli­ca­tion est assez géné­rique : refor­ma­ter des textes, réor­ga­ni­ser des tableaux de don­nées, écrire du code infor­ma­tique, etc. L’utilisation de chat­bots de type ChatGPT per­met de gagner du temps, comme le font de nom­breux uti­li­sa­teurs en dehors de la recherche scientifique.

L’utilisation la plus cou­rante des LLM en sciences sociales est la clas­si­fi­ca­tion de textes. Aupa­ra­vant, l’étude de grandes quan­ti­tés de texte était faite à la main, un pro­ces­sus très chro­no­phage. Aujourd’hui, il est pos­sible d’annoter manuel­le­ment uni­que­ment un échan­tillon de texte, puis d’étendre à un cor­pus de textes grâce aux modèles de lan­gage. Dans notre équipe de recherche en sciences sociales com­pu­ta­tion­nelles, nous ten­tons de détec­ter l’utilisation de formes rhé­to­riques rares dans la presse. Nous anno­tons une cen­taine d’articles, et nous pou­vons ensuite étendre nos anno­ta­tions à tout le cor­pus de presse. Cela nous donne une vue d’ensemble qu’il aurait été impos­sible de pro­duire sans l’IA. En ce sens cet outil aug­mente nos pos­si­bi­li­tés et modi­fie nos façons de faire de la recherche.

Il y a tout d’abord un risque concer­nant la répli­ca­bi­li­té. La répli­ca­bi­li­té des résul­tats est un indis­pen­sable de la méthode scien­ti­fique. Or les modèles pro­prié­taires [N.D.L.R. : déte­nus par des entre­prises pri­vées] évo­luent et peuvent dis­pa­raitre du jour au len­de­main, comme c’est le cas pour d’anciennes ver­sions de ChatGPT3.5. Il est alors impos­sible de répli­quer les travaux.

Un autre dan­ger concerne la sécu­ri­té des don­nées. Pour les scien­ti­fiques qui tra­vaillent sur des don­nées sen­sibles, comme des don­nées de san­té, il est impor­tant de ne pas par­ta­ger les don­nées avec des entre­prises pri­vées. La ten­ta­tion peut tou­te­fois être forte en l’absence d’alternative non pro­prié­taire facile d’accès. Pour évi­ter tout risque, il serait alors pré­fé­rable d’utiliser des modèles libres d’accès télé­char­gés loca­le­ment, mais cela néces­site des infra­struc­tures adéquates.

Enfin, j’observe que les modèles s’appuient sur de grandes quan­ti­tés de don­nées, par­fois de mau­vaise qua­li­té. Nous mai­tri­sons encore mal le type de biais que celles-ci peuvent pro­duire au sein des modèles.

Avec les modèles pro­prié­taires, le pro­blème est jus­te­ment que nous n’avons pas la main sur le modèle que nous uti­li­sons. Un autre enjeu vient du fait que nous ne com­pre­nons pas entiè­re­ment com­ment les LLM fonc­tionnent, qu’ils soient pro­prié­taires ou en libre-accès. Même lorsque nous avons accès au code, nous ne sommes pas en mesure d’expliquer les résul­tats obte­nus par une IA. Il a été démon­tré qu’en répé­tant les mêmes tâches sur le même modèle pen­dant plu­sieurs mois, les résul­tats varient beau­coup et ne peuvent pas être repro­duits¹.

Suite à une série d’articles affir­mant que les IA géné­ra­tives pour­raient répondre à des son­dages en lieu et place des humains, mes col­lègues viennent de mettre en évi­dence une varia­bi­li­té impor­tante et impré­vi­sible lors de simu­la­tions de réponses à un ques­tion­naire d’opinion². Ils qua­li­fient ce pro­blème de « biais machine ».

Bien sûr, il est pos­sible de répli­quer une expé­rience grâce aux modèles open-source, même si cela ne résout pas le pro­blème de l’explicabilité évo­qué. Nous pou­vons par exemple envi­sa­ger d’utiliser par défaut des modèles en libre-accès, et d’employer des modèles pro­prié­taires uni­que­ment s’ils sont indis­pen­sables, comme le pro­posent cer­tains³. Un article publié en 2024 pointe l’intérêt de créer une infra­struc­ture en libre-accès pour la recherche en socio­lo­gie afin d’y remé­dier⁴. En revanche, cela pose la ques­tion de la démul­ti­pli­ca­tion des modèles, de l’espace de sto­ckage néces­saire et du coût envi­ron­ne­men­tal. Cela requiert aus­si des infra­struc­tures adap­tées et faciles d’accès.

Il y a un réel inté­rêt à mieux for­mer les scien­ti­fiques : com­ment fonc­tionnent les modèles d’IA, leurs limites, com­ment bien s’en ser­vir, etc. Je pense qu’il faut sen­si­bi­li­ser les scien­ti­fiques aux dan­gers de l’IA, sans pour autant la dia­bo­li­ser car elle peut être utile pour leurs travaux.

Les ques­tions rela­tives aux dan­gers des LLM pour la recherche, ou les bonnes pra­tiques à mettre en œuvre, sont assez récentes. La pre­mière vague de tra­vaux a été mar­quée par l’enthousiasme de la com­mu­nau­té scien­ti­fique en sciences sociales. C’est ce qui nous a pous­sé à publier notre article.

Aujourd’hui, il y a un inté­rêt gran­dis­sant pour l’évaluation des modèles de lan­gage, mais c’est une pro­blé­ma­tique com­plexe. Jusqu’ici, c’est sur­tout la com­mu­nau­té scien­ti­fique en infor­ma­tique qui s’est char­gée de tes­ter la per­for­mance des modèles, notam­ment parce que cela requiert une cer­taine exper­tise tech­nique. Cette année, j’ai tra­vaillé dans une équipe com­po­sée d’informaticiens, lin­guistes et socio­logues pour mieux consi­dé­rer les attentes des sciences sociales dans les cri­tères d’évaluations de l’IA⁵. Cela passe notam­ment par une plus grande atten­tion por­tée à la nature des don­nées de test uti­li­sées. Est-ce qu’une bonne per­for­mance sur des tweets garan­tit une per­for­mance simi­laire sur des articles de presse ou des discours ?

Quant à la répli­ca­bi­li­té des études, c’est une crise qui était déjà pré­sente en sciences sociales. L’IA vient ren­for­cer les dis­cus­sions autour de ce sujet.

Je pense qu’il est indis­pen­sable de réflé­chir aux apports de l’IA. Est-ce un réel gain pour la recherche ? Cela passe par une mesure fiable, s’appuyant sur la méthode scien­ti­fique, de la robus­tesse des modèles de lan­gage. Autre pré­re­quis : mettre en place un cadre rigou­reux d’utilisation de l’IA pour la recherche. Enfin, il faut se poser la ques­tion de la dépen­dance de la com­mu­nau­té scien­ti­fique à des acteurs pri­vés. Cela com­porte de nom­breux risques, notam­ment sur la stra­té­gie de recherche. Si les scien­ti­fiques se concentrent sur des tra­vaux pour les­quels l’IA pour­ra les aider, cela oriente alors leurs recherches.

Propos recueillis par Anaïs Marechal