IA : pourquoi il faut ouvrir la boîte noire

Plus les algo­rithmes d’IA se dif­fusent, plus leur opa­ci­té ques­tionne. Dans les Face­book files, ces docu­ments internes que Frances Hau­gen, spé­cia­liste des clas­se­ments algo­rith­miques, a empor­tés avec elle en quit­tant l’entreprise, pour ensuite les trans­mettre au régu­la­teur et au Congrès amé­ri­cain, se des­sine un sys­tème algo­rith­mique deve­nu tel­le­ment com­plexe qu’il échappe à la maî­trise des ingé­nieurs mêmes qui l’ont déve­lop­pé. Alors que le rôle du réseau social dans la pro­pa­ga­tion de conte­nus dan­ge­reux et de fake news inquiète, l’incapacité de ces ingé­nieurs, par­mi les meilleurs au monde dans leur domaine, à com­prendre le fonc­tion­ne­ment de leur créa­tion inter­pelle. L’affaire braque à nou­veau les pro­jec­teurs sur les pro­blèmes posés par l’(in)explicabilité de ces algo­rithmes qui pro­li­fèrent dans de nom­breuses industries.

L’opacité des algo­rithmes ne concerne certes pas la tota­li­té d’entre eux. Elle est sur­tout carac­té­ris­tique des algo­rithmes dits appre­nants (machine lear­ning), notam­ment du deep lear­ning tel que les réseaux de neu­rones. Cepen­dant, face à la place crois­sante que ces algo­rithmes prennent dans nos socié­tés, il n’est pas sur­pre­nant que le sou­ci de leur expli­ca­bi­li­té — de notre capa­ci­té à pou­voir com­prendre leur fonc­tion­ne­ment — mobi­lise régu­la­teurs et comi­tés d’éthique.

Com­ment pour­rions-nous faire confiance à des sys­tèmes à qui nous allons confier nos vies, par exemple pour la conduite de nos véhi­cules ou le diag­nos­tic d’une mala­die grave, si nous ne les com­pre­nons pas ? Et, plus lar­ge­ment, le deve­nir de nos socié­tés par les infor­ma­tions qui cir­culent, les idées poli­tiques qui se pro­pagent, les dis­cri­mi­na­tions qui s’y cachent ? Com­ment attri­buer la res­pon­sa­bi­li­té d’un acci­dent ou d’un effet secon­daire nocif s’il n’est pas pos­sible d’ouvrir la « boîte noire » ?

Au sein des orga­ni­sa­tions qui déve­loppent et uti­lisent ces algo­rithmes opaques, cette quête de l’explicabilité entre­mêle au fond deux enjeux, qu’il est utile de dis­tin­guer. Il s’agit d’une part d’expliquer pour com­prendre (inter­pre­ta­bi­li­ty), dans le but d’améliorer l’algorithme, par­faire sa robus­tesse et pré­voir ses failles. D’autre part, expli­quer pour rendre compte (accoun­ta­bi­li­ty) du fonc­tion­ne­ment du sys­tème aux mul­tiples par­ties pre­nantes, externes (régu­la­teurs, uti­li­sa­teurs, par­te­naires) ou internes à l’organisation (mana­gers, chefs de pro­jet). Cette accoun­ta­bi­li­ty est cru­ciale pour que la res­pon­sa­bi­li­té des effets — bons et moins bons — de ces sys­tèmes puisse être attri­buée et assumée.

Tout un champ de recherche se déve­loppe donc aujourd’hui pour ten­ter de répondre au chal­lenge tech­nique d’ouvrir la « boîte noire » de ces algo­rithmes : l’Explainable Arti­fi­cial Intel­li­gence (XAI). Mais est-ce suf­fi­sant de rendre trans­pa­rent ces sys­tèmes pour répondre à ce double enjeu de l’explicabilité : inter­pre­ta­bi­li­ty et accoun­ta­bi­li­ty ? Dans notre dis­ci­pline, les sciences de ges­tion, des tra­vaux s’interrogent en effet sur les limites de la trans­pa­rence. Nous avons alors étu­dié la manière dont les indi­vi­dus au sein des orga­ni­sa­tions s’emparent des outils d’explication qui ont été déve­lop­pés tels les cartes de cha­leur¹, ain­si que des courbes de per­for­mance², sou­vent asso­ciées à ces outils dans une démarche d’appréhension de ces algo­rithmes. Nous avons cher­ché à com­prendre les jeux orga­ni­sa­tion­nels qu’ils suscitent.

En effet, ces deux types d’outils semblent aujourd’hui en voie de stan­dar­di­sa­tion pour répondre à la pres­sion des régu­la­teurs d’expliquer les algo­rithmes, pres­sion illus­trée par l’article L4001‑3 du code de la san­té publique : « III.-Les concep­teurs d’un trai­te­ment algo­rith­mique… s’assurent de l’explicabilité de son fonc­tion­ne­ment pour les uti­li­sa­teurs » (loi n° 2021–1017 du 2 août 2021). Nos pre­miers résul­tats mettent en lumière les ten­sions qui se nouent au sein des orga­ni­sa­tions autour de ces outils. Pre­nons deux exemples caractéristiques.

Le pre­mier exemple illustre les ambi­guï­tés de ces outils lorsqu’ils sont uti­li­sés dans des contextes orga­ni­sa­tion­nels, par des experts métier qui ne les maî­trisent pas. La figure 1, extraite de Whebe et al. (2021), repro­duit des cartes de cha­leur uti­li­sées pour expli­quer le fonc­tion­ne­ment d’un algo­rithme déve­lop­pé pour détec­ter le Covid-19 à par­tir de radio­gra­phies des pou­mons. Ce sys­tème affiche dans les tests une très bonne per­for­mance, com­pa­rable, et sou­vent meilleure, à celle d’un radio­logue humain. En étu­diant ces images, on note que dans les cas A, B, et C, ces cartes de cha­leur nous indiquent que l’IA s’est pro­non­cée à par­tir d’une zone cor­res­pon­dant aux pou­mons. Dans le cas D, la zone illu­mi­née est cepen­dant située autour de la cla­vi­cule du patient.

Cette obser­va­tion met en lumière un pro­blème sou­vent retrou­vé dans notre étude sur l’usage de ces outils dans les orga­ni­sa­tions : pen­sés par les déve­lop­peurs pour repé­rer des rai­son­ne­ments inadé­quats de l’IA, ces outils sont sou­vent, dans la pra­tique, uti­li­sés pour se pro­non­cer sur la vali­di­té d’un cas par­ti­cu­lier. Or ces cartes de cha­leur ne sont pas conçues pour cela, et pour un uti­li­sa­teur final, ce n’est pas la même chose de dire : « le diag­nos­tic de cette IA semble pré­cis » ou « le pro­ces­sus par lequel elle pro­cède pour déter­mi­ner son diag­nos­tic semble valide ».

Deux pro­blèmes sont alors mis en exergue : pre­miè­re­ment se pose la ques­tion de la for­ma­tion des uti­li­sa­teurs, non seule­ment à l’IA, mais aus­si aux fonc­tion­ne­ments de ces outils d’explication. Et plus fon­da­men­ta­le­ment, cet exemple ques­tionne sur les usages de ces outils en matière d’attribution de la res­pon­sa­bi­li­té d’une déci­sion : en les dif­fu­sant, on risque d’amener les uti­li­sa­teurs à enga­ger leur res­pon­sa­bi­li­té à par­tir d’outils qui sont détour­nés de leur usage pre­mier. Autre­ment dit, ces outils, créés pour un usage d’inter­pre­ta­bi­li­ty, risquent d’être mobi­li­sés dans des situa­tions où l’enjeu est de rendre compte (accoun­ta­bi­li­ty).

Un deuxième exemple per­met­tra d’illustrer les effets équi­voques des jeux orga­ni­sa­tion­nels qui se nouent autour d’outils d’explication comme les courbes de per­for­mances. Un déve­lop­peur tra­vaillant dans le sec­teur de la publi­ci­té sur inter­net nous confia que, dans son domaine, si la per­for­mance de l’algorithme n’atteignait pas plus de 95 %, les clients n’achetaient pas la solu­tion. Cette norme avait des effets concrets sur les pro­ces­sus d’innovation : elle pous­sa son entre­prise, sous la pres­sion des com­mer­ciaux, à choi­sir de com­mer­cia­li­ser et foca­li­ser ses efforts de R&D sur un algo­rithme très per­for­mant, mais peu expli­cable. Ce fai­sant, elle aban­don­na le déve­lop­pe­ment d’un autre, plus expli­cable, mais qui n’atteignait pas ce niveau de performance.

Le pro­blème est que l’algorithme rete­nu — contrai­re­ment à celui qui fut écar­té — n’était pas capable de gérer des chan­ge­ments radi­caux d’habitudes de consom­ma­tion, comme durant le Black Fri­day, pous­sant l’entreprise à ne pas recom­man­der à ces clients d’engager de cam­pagne mar­ke­ting à cette période, car il était dif­fi­cile de recon­naître que la per­for­mance de l’algorithme chu­tait. Là encore, l’outil est dévoyé : au lieu d’être uti­li­sées comme un élé­ment par­mi d’autres pour faire le choix du meilleur algo­rithme pour une acti­vi­té don­née, ces courbes de per­for­mances étaient uti­li­sées par les ache­teurs pour jus­ti­fier le choix d’un pres­ta­taire par rap­port à une norme sec­to­rielle — c’est-à-dire de pour rendre des comptes.

Pour nous, cher­cheurs en sciences de ges­tion, inté­res­sés par les pro­ces­sus de prise de déci­sion et d’innovation, le rôle des outils pour les épau­ler, et la manière dont les acteurs légi­ti­ment les choix qu’ils font au sein de leurs orga­ni­sa­tions, ces deux exemples montrent qu’il ne suf­fit pas de regar­der ces outils com­pu­ta­tion­nels de manière iso­lée. Ils appellent à abor­der les algo­rithmes, leurs contextes humains, orga­ni­sa­tion­nels et ins­ti­tu­tion­nels comme des assem­blages. Tenir un tel assem­blage res­pon­sable exige alors de ne pas se conten­ter de voir à l’intérieur de l’un de ses com­po­sants comme l’algorithme — tâche ardue et indis­pen­sable — mais néces­site de com­prendre com­ment l’assemblage fonc­tionne en tant que sys­tème, com­po­sé de machines, d’humains et d’organisation. Et, par consé­quent, de se méfier d’une trop rapide stan­dar­di­sa­tion des outils d’explicabilité, dont résul­te­raient des sys­tèmes hommes-machines-jeux orga­ni­sa­tion­nels, dans les­quels l’impératif de rendre des comptes se sub­sti­tue­rait à celui d’interpréter, mul­ti­pliant les boîtes noires dont l’explicabilité ne serait qu’une façade.