Accueil / Tribunes / IA : pourquoi il faut ouvrir la boîte noire
2,15
π Digital π Science et technologies

IA : pourquoi il faut ouvrir la boîte noire

Véronique Steyer
Véronique Steyer
maître de conférences en management de l’innovation à l’École polytechnique (IP Paris)
Louis Vuarin
Louis Vuarin
postdoctorant au sein du département SES de Telecom Paris (I3-CNRS, IP Paris)
Sihem BenMahmoud-Jouini
Sihem Ben Mahmoud-Jouini
professeur associée de management de l’innovation à HEC et chercheur au GREGHEC

Plus les algo­rithmes d’IA se dif­fusent, plus leur opac­ité ques­tionne. Dans les Face­book files, ces doc­u­ments internes que Frances Hau­gen, spé­cial­iste des classe­ments algo­rith­miques, a emportés avec elle en quit­tant l’entreprise, pour ensuite les trans­met­tre au régu­la­teur et au Con­grès améri­cains, se des­sine un sys­tème algo­rith­mique devenu telle­ment com­plexe qu’il échappe à la maîtrise des ingénieurs mêmes qui l’ont dévelop­pé. Alors que le rôle du réseau social dans la prop­a­ga­tion de con­tenus dan­gereux et de fake news inquiète, l’incapacité de ses ingénieurs, par­mi les meilleurs au monde dans leur domaine, à com­pren­dre le fonc­tion­nement de leur créa­tion inter­pelle. L’affaire braque à nou­veau les pro­jecteurs sur les prob­lèmes posés par l’(in)explicabilité de ces algo­rithmes qui pro­lifèrent dans de nom­breuses industries.

Comprendre « les algorithmes opaques »

L’opacité des algo­rithmes ne con­cerne certes pas la total­ité d’entre eux. Elle est surtout car­ac­téris­tique des algo­rithmes dits apprenants (machine learn­ing), notam­ment du deep learn­ing tel que les réseaux de neu­rones. Cepen­dant, face à la place crois­sante que ces algo­rithmes pren­nent dans nos sociétés, il n’est pas sur­prenant que le souci de leur explic­a­bil­ité — de notre capac­ité à pou­voir com­pren­dre leur fonc­tion­nement — mobilise régu­la­teurs et comités d’éthique.

Com­ment pour­rions-nous faire con­fi­ance à des sys­tèmes à qui nous allons con­fi­er nos vies, par exem­ple pour la con­duite de nos véhicules ou le diag­nos­tic d’une mal­adie grave, si nous ne les com­prenons pas ? Et, plus large­ment, le devenir de nos sociétés par les infor­ma­tions qui cir­cu­lent, les idées poli­tiques qui se propa­gent, les dis­crim­i­na­tions qui s’y cachent ? Com­ment attribuer la respon­s­abil­ité d’un acci­dent ou d’un effet sec­ondaire nocif s’il n’est pas pos­si­ble d’ouvrir la « boîte noire » ?

Au sein des organ­i­sa­tions qui dévelop­pent et utilisent ces algo­rithmes opaques, cette quête de l’explicabilité entremêle au fond deux enjeux, qu’il est utile de dis­tinguer. Il s’agit d’une part d’expliquer pour com­pren­dre (inter­pretabil­i­ty), dans le but d’améliorer l’algorithme, par­faire sa robustesse et prévoir ses failles. D’autre part, expli­quer pour ren­dre compte (account­abil­i­ty) du fonc­tion­nement du sys­tème aux mul­ti­ples par­ties prenantes, externes (régu­la­teurs, util­isa­teurs, parte­naires) ou internes à l’organisation (man­agers, chefs de pro­jet). Cette account­abil­i­ty est cru­ciale pour que la respon­s­abil­ité des effets — bons et moins bons — de ces sys­tèmes puisse être attribuée et assumée.

Ouvrir « la boîte noire »

Tout un champ de recherche se développe donc aujourd’hui pour ten­ter de répon­dre au chal­lenge tech­nique d’ouvrir la « boîte noire » de ces algo­rithmes : l’Explainable Arti­fi­cial Intel­li­gence (XAI). Mais est-ce suff­isant de ren­dre trans­par­ent ces sys­tèmes pour répon­dre à ce dou­ble enjeu de l’explicabilité : inter­pretabil­i­ty et account­abil­i­ty ? Dans notre dis­ci­pline, les sci­ences de ges­tion, des travaux s’interrogent en effet sur les lim­ites de la trans­parence. Nous avons alors étudié la manière dont les indi­vidus au sein des organ­i­sa­tions s’emparent des out­ils d’explication qui ont été dévelop­pés tels les cartes de chaleur1, ain­si que des courbes de per­for­mance2, sou­vent asso­ciées à ces out­ils dans une démarche d’appréhension de ces algo­rithmes. Nous avons cher­ché à com­pren­dre les jeux organ­i­sa­tion­nels qu’ils suscitent.

En effet, ces deux types d’outils sem­blent aujourd’hui en voie de stan­dard­i­s­a­tion pour répon­dre à la pres­sion des régu­la­teurs d’expliquer les algo­rithmes, pres­sion illus­trée par l’article L4001‑3 du code de la san­té publique : « III.-Les con­cep­teurs d’un traite­ment algo­rith­mique… s’assurent de l’explicabilité de son fonc­tion­nement pour les util­isa­teurs » (loi n° 2021–1017 du 2 août 2021). Nos pre­miers résul­tats met­tent en lumière les ten­sions qui se nouent au sein des organ­i­sa­tions autour de ces out­ils. Prenons deux exem­ples caractéristiques.

Exemple #1 : Expliquer le raisonnement ou une décision particulière ?

Le pre­mier exem­ple illus­tre les ambiguïtés de ces out­ils lorsqu’ils sont util­isés dans des con­textes organ­i­sa­tion­nels, par des experts méti­er qui ne les maîtrisent pas. La fig­ure 1, extraite de Whebe et al. (2021), repro­duit des cartes de chaleur util­isées pour expli­quer le fonc­tion­nement d’un algo­rithme dévelop­pé pour détecter le Covid-19 à par­tir de radi­ogra­phies des poumons. Ce sys­tème affiche dans les tests une très bonne per­for­mance, com­pa­ra­ble, et sou­vent meilleure, à celle d’un radi­o­logue humain. En étu­di­ant ces images, on note que dans les cas A, B, et C, ces cartes de chaleur nous indiquent que l’IA s’est pronon­cée à par­tir d’une zone cor­re­spon­dant aux poumons. Dans le cas D, la zone illu­minée est cepen­dant située autour de la clav­icule du patient.

Fig­ure 1 : Cartes ther­miques — ici à par­tir de Deep­COVID-XR, un algo­rithme d’IA entraîné à détecter le covid19 sur des radi­ogra­phies pul­monaires. Source : Wehbe, R. M., Sheng, J., Dut­ta, S., Chai, S., Dravid, A., Barutcu, S., … & Kat­sagge­los, A. K. (2021). Deep­COVID-XR: An Arti­fi­cial Intel­li­gence Algo­rithm to Detect COVID-19 on Chest Radi­ographs Trained and Test­ed on a Large US Clin­i­cal Dataset. Radi­ol­o­gy, 299 (1), p.E 173

Cette obser­va­tion met en lumière un prob­lème sou­vent retrou­vé dans notre étude sur l’usage de ces out­ils dans les organ­i­sa­tions : pen­sés par les développeurs pour repér­er des raison­nements inadéquats de l’IA, ces out­ils sont sou­vent, dans la pra­tique, util­isés pour se pronon­cer sur la valid­ité d’un cas par­ti­c­uli­er. Or ces cartes de chaleur ne sont pas conçues pour cela, et pour un util­isa­teur final, ce n’est pas la même chose de dire : « le diag­nos­tic de cette IA sem­ble pré­cis » ou « le proces­sus par lequel elle procède pour déter­min­er son diag­nos­tic sem­ble valide ».

Deux prob­lèmes sont alors mis en exer­gue : pre­mière­ment se pose la ques­tion de la for­ma­tion des util­isa­teurs, non seule­ment à l’IA, mais aus­si aux fonc­tion­nements de ces out­ils d’explication. Et plus fon­da­men­tale­ment, cet exem­ple ques­tionne sur les usages de ces out­ils en matière d’attribution de la respon­s­abil­ité d’une déci­sion : en les dif­fu­sant, on risque d’amener les util­isa­teurs à engager leur respon­s­abil­ité à par­tir d’outils qui sont détournés de leur usage pre­mier. Autrement dit, ces out­ils, créés pour un usage d’inter­pretabil­i­ty, risquent d’être mobil­isés dans des sit­u­a­tions où l’enjeu est de ren­dre compte (account­abil­i­ty).

Exemple #2 : Expliquer la performance ou l’évaluer 

Un deux­ième exem­ple per­me­t­tra d’illustrer les effets équiv­o­ques des jeux organ­i­sa­tion­nels qui se nouent autour d’outils d’explication comme les courbes de per­for­mances. Un développeur tra­vail­lant dans le secteur de la pub­lic­ité sur inter­net nous con­fia que, dans son domaine, si la per­for­mance de l’algorithme n’atteignait pas plus de 95 %, les clients n’achetaient pas la solu­tion. Cette norme avait des effets con­crets sur les proces­sus d’innovation : elle pous­sa son entre­prise, sous la pres­sion des com­mer­ci­aux, à choisir de com­mer­cialis­er et focalis­er ses efforts de R&D sur un algo­rithme très per­for­mant, mais peu explic­a­ble. Ce faisant, elle aban­don­na le développe­ment d’un autre, plus explic­a­ble, mais qui n’atteignait pas ce niveau de performance.

Le prob­lème est que l’algorithme retenu — con­traire­ment à celui qui fut écarté — n’était pas capa­ble de gér­er des change­ments rad­i­caux d’habitudes de con­som­ma­tion, comme durant le Black Fri­day, pous­sant l’entreprise à ne pas recom­man­der à ces clients d’engager de cam­pagne mar­ket­ing à cette péri­ode, car il était dif­fi­cile de recon­naître que la per­for­mance de l’algorithme chutait. Là encore, l’outil est dévoyé : au lieu d’être util­isées comme un élé­ment par­mi d’autres pour faire le choix du meilleur algo­rithme pour une activ­ité don­née, ces courbes de per­for­mances étaient util­isées par les acheteurs pour jus­ti­fi­er le choix d’un prestataire par rap­port à une norme sec­to­rielle — c’est-à-dire de pour ren­dre des comptes.

L’interaction « hommes-machines-organisation »

Pour nous, chercheurs en sci­ences de ges­tion, intéressés par les proces­sus de prise de déci­sion et d’innovation, le rôle des out­ils pour les épauler, et la manière dont les acteurs légiti­ment les choix qu’ils font au sein de leurs organ­i­sa­tions, ces deux exem­ples mon­trent qu’il ne suf­fit pas de regarder ces out­ils com­pu­ta­tion­nels de manière isolée. Ils appel­lent à abor­der les algo­rithmes, leurs con­textes humains, organ­i­sa­tion­nels et insti­tu­tion­nels comme des assem­blages. Tenir un tel assem­blage respon­s­able exige alors de ne pas se con­tenter de voir à l’intérieur de l’un de ses com­posants comme l’algorithme — tâche ardue et indis­pens­able — mais néces­site de com­pren­dre com­ment l’assemblage fonc­tionne en tant que sys­tème, com­posé de machines, d’humains et d’organisation. Et, par con­séquent, de se méfi­er d’une trop rapi­de stan­dard­i­s­a­tion des out­ils d’explicabilité, dont résul­teraient des sys­tèmes hommes-machines-jeux organ­i­sa­tion­nels, dans lesquels l’impératif de ren­dre des comptes se sub­stituerait à celui d’interpréter, mul­ti­pli­ant les boîtes noires dont l’explicabilité ne serait qu’une façade.

1Une carte de chaleur indique visuelle­ment quelle par­tie de l’image (quels pix­els) a été util­isée par l’algorithme pour pre­scrire une déci­sion et notam­ment class­er l’image dans une cer­taine caté­gorie (voir fig­ure 1).
2Une courbe de per­for­mance est un graphique 2D représen­tant la pré­ci­sion math­é­ma­tique de la pré­dic­tion en fonc­tion de la sen­si­bil­ité d’un paramètre sig­ni­fi­catif (tel que le nom­bre d’images fournies à l’IA pour effectuer son analyse, ou le temps en mil­lisec­on­des accordé pour effectuer les cal­culs, etc.). Cette courbe est ensuite com­parée à des points indi­quant la per­for­mance humaine.

Auteurs

Véronique Steyer

Véronique Steyer

maître de conférences en management de l’innovation à l’École polytechnique (IP Paris)

Diplômée d’un Master en Management de l’ESCP Europe, titulaire d’un Doctorat en sciences de gestion de l’Université Paris Ouest et d’un PhD de l’ESCP Europe. Véronique Steyer a été chercheuse visitante à l’Université de Warwick (UK), et a également une expérience de consultante en management. Sa recherche porte sur la manière dont les actions individuelles et les interactions entre acteurs construisent les phénomènes organisationnels, et, plus largement, contribuent à modeler la société dans laquelle nous évoluons. Ses travaux se focalisent sur la fabrication du sens (sensemaking) dans les situations de basculement : transformations induites par l’introduction de nouvelles technologies telles que l’IA, perception d’une crise ou d’un risque (pandémie, transition écologique).

Louis Vuarin

Louis Vuarin

postdoctorant au sein du département SES de Telecom Paris (I3-CNRS, IP Paris)

Ancien Risk manager, diplômé d'un Master en Management de l’ESCP, Louis Vuarin est titulaire depuis 2020 d’un Doctorat en sciences de gestion de l’ESCP. Il a été chercheur visitant à Stockholm au SCORE et postdoctorant au CRG (École Polytechnique). Ses travaux de recherche actuels portent notamment sur les processus épistémiques au sein des organisations, en particulier autour de la question de l’explicabilité de l’intelligence artificielle (XAI) et de sa dimension organisationnelle, ainsi que des phénomènes de résistances à l’innovation dans le cadre de la 5G.

Sihem BenMahmoud-Jouini

Sihem Ben Mahmoud-Jouini

professeur associée de management de l’innovation à HEC et chercheur au GREGHEC

Sihem Ben Mahmoud-Jouini est directrice scientifique du MS X-HEC Entrepreneurs, de la majeure Projet Innovation Conception (PIC) et Entrepreneurship & Innovation (Executive MBA). Sa recherche porte sur le management des innovations de rupture dans les entreprises établies et l'organisation de l'exploration de nouveaux domaines. Elle s’intéresse également au rôle du design dans l’innovation et la transformation des organisations. Elle est intervenue, dans le cadre de ses recherches à l’Assistance Publique des Hôpitaux de Paris, Vinci, Thales, Valeo, Air Liquide, Essilor, Danone, Orange dont elle a été titulaire de la Chaire.