Quels sont les marqueurs de confiance pour les IA génératives ?

Le 30 novembre 2022, avec l’ouverture de ChatGPT pour le grand public¹, l’IA géné­ra­tive a quit­té le labo­ra­toire pour entrer dans les salles de réunion, les ser­vices finan­ciers, les hôpi­taux, les écoles .… Son prin­ci­pal atout est connu : trans­for­mer en quelques clics une masse de don­nées en un texte fluide et intel­li­gible. Aujourd’hui, avec cet outil, un direc­teur finan­cier obtient un com­men­taire auto­ma­tique sur ses marges en quelques secondes, un méde­cin un compte ren­du rédi­gé à par­tir d’examens ou encore un élève génère une dis­ser­ta­tion à par­tir d’un simple énoncé.

Ce confort et cette faci­li­té d’usage changent la donne. Là où l’informatique déci­sion­nelle pro­dui­sait sur­tout des chiffres et des courbes, les modèles géné­ra­tifs ajoutent une couche inter­pré­ta­tive. Ils hié­rar­chisent les signaux, pro­posent des expli­ca­tions, sug­gèrent par­fois des pré­vi­sions. Or, un récit clair donne l’impression d’évidence : la conclu­sion paraît robuste parce qu’elle est bien for­mu­lée alors qu’elle s’appuie sur un modèle par­mi tant d’autres².  

Le risque ne réside pas dans l’usage de l’IA, mais dans la cré­di­bi­li­té exces­sive accor­dée envers des textes dont on ignore sou­vent les condi­tions de pro­duc­tion. En d’autres termes, peut-on déci­der d’un inves­tis­se­ment de plu­sieurs mil­lions d’euros ou éta­blir un diag­nos­tic médi­cal en sui­vant les recom­man­da­tions et inter­pré­ta­tions d’une IA générative ?

La confiance accor­dée à une réponse chif­frée repose d’ordinaire sur deux condi­tions : la qua­li­té des don­nées sources et la trans­pa­rence de la méthode de cal­cul. Mais, dans le cas d’une réponse lit­té­rale comme celle pro­duite avec l’IA géné­ra­tive, une troi­sième couche s’ajoute : l’interprétation du modèle³.

En effet, le modèle décide ce qu’il met en avant, écarte cer­tains élé­ments et com­bine des variables de manière impli­cite. Le pro­duit final est un récit auto­ma­ti­sé qui porte la marque de choix sta­tis­tiques et lin­guis­tiques invi­sibles. Ces choix peuvent être liés à la fré­quence des don­nées ayant consti­tué le modèle, aux méthodes de réso­lu­tion des pro­blèmes ou à toute autre cause. Pour assu­rer une confiance dans la réponse don­née, ces étapes devraient être audi­tables c’est-à-dire indi­quée par l’utilisateur qui peut donc les vérifier.

Il devient néces­saire d’imaginer une forme d’audit algo­rith­mique pour véri­fier la chaîne com­plète du flux brut au récit final

Cette solu­tion, per­met­tant la véri­fi­ca­tion, existe déjà dans des situa­tions ana­logues. Tout d’abord, la pré­sen­ta­tion du pro­ces­sus de réflexion est une approche constante dans l’apprentissage des mathé­ma­tiques, car elle per­met au pro­fes­seur de s’assurer que l’élève a bien com­pris les étapes du rai­son­ne­ment. De même, en ana­lyse finan­cière, les audits per­mettent de véri­fier le res­pect des règles de comp­ta­bi­li­té. L’audit finan­cier garan­tit que les chiffres publiés cor­res­pon­daient à une réa­li­té mesurable.

Ain­si, il devient aujourd’hui néces­saire d’imaginer une forme d’« audit algo­rith­mique » : non plus seule­ment véri­fier les don­nées, mais pour contrô­ler la chaîne com­plète qui mène du flux brut au récit final.

Pre­nons l’exemple d’un hôpi­tal où une IA géné­ra­tive résume les dos­siers patients. Si elle omet sys­té­ma­ti­que­ment cer­tains para­mètres cli­niques jugés rares, elle pro­duit des comptes ren­dus sédui­sants, mais incom­plets. L’audit doit alors tes­ter la robus­tesse du modèle, éva­luer sa capa­ci­té à res­ti­tuer des cas aty­piques et véri­fier la tra­ça­bi­li­té des sources. De la même façon, un rap­port éner­gé­tique auto­ma­tique qui ignore des pics de consom­ma­tion anor­maux peut don­ner une fausse impres­sion de sta­bi­li­té. Ici encore, l’audit doit s’assurer que les ano­ma­lies sont bien prises en compte.

L’ingénierie de la confiance ne pour­ra pas repo­ser uni­que­ment sur des décla­ra­tions de prin­cipes. Elle doit se tra­duire en pro­to­coles pré­cis. Plu­sieurs pistes émergent déjà :

• Tra­ça­bi­li­té des choix algo­rith­miques : chaque indi­ca­teur doit pou­voir être relié à la don­née source et au trai­te­ment appli­qué. Cela implique de docu­men­ter les trans­for­ma­tions, comme on docu­mente aujourd’hui une chaîne logis­tique. Les méthodes de « cir­cuit tra­cing » peuvent appor­ter une tra­ça­bi­li­té adap­tée à la com­pré­hen­sion humaine⁴. La tra­ça­bi­li­té devient alors un outil péda­go­gique autant qu’un méca­nisme de contrôle.
• Stress tests des modèles : expo­ser l’IA à des scé­na­rios inha­bi­tuels pour mesu­rer sa capa­ci­té à res­ti­tuer l’incertitude plu­tôt qu’à la lis­ser. Par exemple, il est très utile d’utiliser un échan­tillon qui ne res­pecte pas la dis­tri­bu­tion clas­sique pour véri­fier si le modèle pro­fond d’IA a été inté­gré, indé­pen­dam­ment du jeu d’essai four­ni⁵. Cela peut se tra­duire par la four­ni­ture d’un ensemble de radio­gra­phies de pou­mons avec uni­que­ment des patients fumeurs. Cela per­met de véri­fier que l’IA ne génère pas un excès de « faux néga­tifs » pour reve­nir à une moyenne statistique. 
• Expli­ca­bi­li­té mini­male garan­tie : Sans révé­ler les secrets algo­rith­miques des socié­tés four­nis­sant des solu­tions d’IA, il est envi­sa­gé de leur deman­der de four­nir au moins une vision syn­thé­tique des variables prin­ci­pales uti­li­sées dans leurs modèles pour pro­duire une conclu­sion. Cette expli­ca­bi­li­té pour­rait faire l’objet soit d’une label­li­sa­tion de type norme ISO pour la qua­li­té de l’IA, soit d’une vali­da­tion par un orga­nisme de régu­la­tion (de pré­fé­rence exis­tant pour ne pas mul­ti­plier les instances)

Ces méthodes ne sup­pri­me­ront pas la confi­den­tia­li­té liée aux para­mé­trages spé­ci­fiques et dif­fé­ren­ciants des indus­triels qui déve­loppent les grands modèles de lan­gage, mais elles per­met­tront de réduire le risque d’aveuglement et de confiance injus­ti­fiée. La ques­tion n’est pas de rendre l’IA tota­le­ment trans­pa­rente, mais de créer des garde-fous suf­fi­sants pour garan­tir la confiance.

Au-delà de la dimen­sion tech­nique, il est néces­saire de favo­ri­ser une évo­lu­tion majeure du point de vue cultu­rel. Depuis des décen­nies, les orga­ni­sa­tions ont pris l’habitude de consi­dé­rer les chiffres comme des cer­ti­tudes. Le tableau de bord est sou­vent per­çu comme une véri­té indis­cu­table. Avec l’IA géné­ra­tive et l’extension aux pro­duc­tions lit­té­rales et sub­jec­tives, cette pos­ture devient intenable.

Les déci­deurs, mais éga­le­ment l’ensemble des acteurs du numé­rique, doivent apprendre à lire un rap­port auto­ma­tique comme une réponse sta­tis­tique s’appuyant sur des hypo­thèses connues ou non, et sur­tout pas comme une conclu­sion défi­ni­tive. Cela sup­pose de for­mer les uti­li­sa­teurs des solu­tions d’IA à une for­mu­la­tion exi­geante des demandes (deman­dant le pro­ces­sus de « rai­son­ne­ment » de l’IA) et à une lec­ture cri­tique des réponses : repé­rer les marges d’erreur, ques­tion­ner les absences, deman­der des scé­na­rios alter­na­tifs. Autre­ment dit, réin­tro­duire l’incertitude dans le cœur même de la décision.

L’Union euro­péenne a com­men­cé à poser des jalons avec l’IA Act, qui classe les usages de l’IA en finance ou en gou­ver­nance publique comme « à haut risque ». Cette régu­la­tion impose une obli­ga­tion de trans­pa­rence et d’auditabilité. Mais la loi ne suf­fi­ra pas si les orga­ni­sa­tions ne cultivent pas une vigi­lance active. L’IA géné­ra­tive doit être domes­ti­quée non seule­ment par des normes, mais par une dis­ci­pline quo­ti­dienne de lec­ture critique.

L’IA géné­ra­tive n’est ni un mirage ni une pana­cée. Elle accé­lère l’accès à l’information, cla­ri­fie des volumes de don­nées ingé­rables pour l’humain, mais elle trans­forme aus­si notre rap­port à la déci­sion. Là où nous croyions voir des chiffres, nous lisons désor­mais des récits.

L’enjeu n’est donc pas de reve­nir en arrière, mais d’inventer une ingé­nie­rie de la confiance. Tra­ça­bi­li­té des cal­culs, stress tests, expli­ca­bi­li­té mini­male : autant de briques tech­niques à mettre en place en se rap­pe­lant qu’un modèle d’IA est sus­cep­tible d’être une cible de mul­tiples cybe­rat­taques^6,7.

Mais la clé réside dans une culture orga­ni­sa­tion­nelle renou­ve­lée : accep­ter que l’incertitude soit une don­née de départ et non un échec du sys­tème. C’est à ce prix que l’IA géné­ra­tive pour­ra deve­nir un outil fiable en sou­tien à la prise de déci­sion humaine, plu­tôt qu’un pro­duc­teur de cer­ti­tudes illusoires.