« Il faut justifier les décisions prises par un algorithme »

Com­ment et pourquoi doit-on expli­quer les déci­sions pris­es par les algo­rithmes d’intelligence artificielle ?

Le besoin d’explicabilité n’est pas nou­veau ! La ques­tion se posait déjà dans l’Antiquité, même si c’était alors d’un point de vue philosophique. Elle se pose de manière formelle depuis la fin du XIXe siè­cle et notam­ment depuis les travaux de Charles Peirce. Ce philosophe et logi­cien améri­cain a intro­duit le raison­nement abduc­tif, c’est-à-dire la recherche d’explications. Beau­coup de méth­odes util­isées en intel­li­gence arti­fi­cielle (IA) sym­bol­ique, qui reposent sur la mod­éli­sa­tion des con­nais­sances avec des approches de type logique, appren­tis­sage sym­bol­ique, etc., sont dites « explic­a­bles par essence », car la suite de raison­nements, qui con­duit à une déci­sion, est iden­ti­fiée. Mais cela n’est que par­tielle­ment vrai, car si le prob­lème posé devient trop grand, avec un grand nom­bre de for­mules logiques, des arbres de déci­sion très com­plex­es, des règles d’association très nom­breuses, l’explication devient difficile.

La ques­tion de l’explicabilité se pose d’autant plus aujourd’hui que le deux­ième par­a­digme de l’IA, les approches sta­tis­tiques de l’IA, revient sur le devant de la scène depuis quelques années. Si l’IA sym­bol­ique se base sur des règles et repro­duit le raison­nement humain, les approches sta­tis­tiques de l’IA s’appuient sur des méth­odes d’apprentissage sta­tis­tique, en par­ti­c­uli­er des réseaux de neu­rones arti­fi­ciels qui sont entraînés sur de grands vol­umes de don­nées. Ces approches font par­tie de ce que l’on appelle l’apprentissage automa­tique (Machine Learn­ing, ML) dont l’apprentissage pro­fond (Deep Learn­ing, DL) — même si ce n’est pas la seule. Il est très dif­fi­cile d’extraire et d’exprimer les règles de ce que font les réseaux de neu­rones, qui par­tent des données.

Com­ment peut-on expli­quer une déci­sion d’IA ?

Il faut d’abord définir quoi expli­quer, pour qui, com­ment et pourquoi… Le choix d’outils ou de méth­odes d’explicabilité dépend de la réponse apportée à ces ques­tions. Pour les réseaux de neu­rones, il est pos­si­ble d’y répon­dre au niveau des don­nées util­isées, au niveau du fonc­tion­nement du réseau lui-même ou au niveau du résul­tat pro­duit. Pour le fonc­tion­nement, on peut se deman­der s’il est néces­saire d’expliquer. Prenons l’exemple de l’aspirine, elle a longtemps été util­isée sans que l’on sache com­ment elle agis­sait. Et quand son fonc­tion­nement a été com­pris, il a servi à dévelop­per de nou­velles choses, sans pour autant chang­er l’usage qui en était fait. De même, on peut con­duire une voiture sans com­pren­dre le moteur, mais avec un niveau de con­nais­sance qui suf­fit à bien l’utiliser.

Au niveau du résul­tat final, l’explication peut néces­siter le pas­sage par des étapes inter­mé­di­aires pour mieux l’expliquer. Je tra­vaille, par exem­ple, avec des médecins-radi­o­logues sur la mesure de l’épaisseur du corps calleux chez les pré­maturés. Les radi­o­logues voulaient savoir d’où venaient les scores obtenus, quelle région avait été recon­nue dans l’image, où avaient été faites les mesures, pour com­pren­dre ce qui avait con­tribué à la déci­sion et expli­quer le résul­tat final. Ces étapes étaient néces­saires pour qu’ils aient con­fi­ance dans l’outil.

On attend d’un algo­rithme qu’il soit neu­tre, mais rien n’est jamais neu­tre ! Le médecin déclenche un exa­m­en d’imagerie pour son patient parce qu’il cherche quelque chose qu’il pour­rait iden­ti­fi­er dans cette image, il a une inten­tion. Cela intro­duit des biais, qui ne sont pas sta­tis­tiques, mais cog­ni­tifs, de cadrage, de con­fir­ma­tion, de com­plai­sance, etc. On retrou­ve ces mêmes biais face à des résul­tats pro­duits par un algo­rithme. De plus, n’oublions pas que l’on fait d’autant plus con­fi­ance à l’algorithme lorsqu’il mon­tre ce que l’on cherche. Un autre fac­teur entre en ligne de compte, celui du coût de l’erreur, car il est très dif­férent selon qu’on le détecte à tort ou à rai­son. Les radi­o­logues préfèrent en général avoir plus de faux posi­tifs (puisqu’en cas de détec­tion il y aura tou­jours con­fir­ma­tion ou infir­ma­tion, par exem­ple par d’autres exa­m­ens) que de faux négat­ifs. Quand l’algorithme ne détecte rien, il ne doit pas se tromper, même si les médecins véri­fient tou­jours visuelle­ment le résultat.

L’explicabilité varie donc en fonc­tion de l’utilisateur et de l’usage d’un algorithme ?

L’explication est un proces­sus de con­ver­sa­tion, de com­mu­ni­ca­tion. On adapte le niveau d’explication en fonc­tion de la per­son­ne à qui l’on par­le. Pour rester dans le cadre médi­cal, prenez une image présen­tant une tumeur. Le médecin expli­quera dif­férem­ment cette image et la tumeur selon qu’il par­le à son staff, à des étu­di­ants, à un pub­lic dans un col­loque ou à son patient. C’est pourquoi les médecins ne veu­lent pas que les résul­tats d’algorithmes soient ver­sés au dossier du patient sans qu’il y ait un con­trôle de leur part.

Il faut aus­si se deman­der pourquoi on veut expli­quer. Est-ce pour jus­ti­fi­er, pour con­trôler le fonc­tion­nement d’un algo­rithme, pour décou­vrir une con­nais­sance sci­en­tifique, un phénomène ? Les objec­tifs vari­ent et cela néces­sit­era des out­ils dif­férents. Les enjeux aus­si dif­fèrent, il y a des enjeux de con­fi­ance, d’éthique, de respon­s­abil­ité, et éventuelle­ment des enjeux économiques.

Pourquoi le besoin d’explicabilité est-il plus fort en ce moment ?

C’est essen­tielle­ment dû aux réseaux de neu­rones pro­fonds, qui sont de plus en plus util­isés, qui ont des mil­lions de paramètres et qui sont extrême­ment com­plex­es. On compte beau­coup sur les don­nées en espérant que l’augmentation des vol­umes util­isés con­tribuera à amélior­er les résul­tats. Cela dit, il existe beau­coup de con­nais­sances du domaine con­cerné qui pour­raient être util­isées. C’est ce que se pro­pose de faire l’IA hybride, qui asso­cie plusieurs approches de l’IA. Elle com­bine con­nais­sances et don­nées, IA sym­bol­ique et réseaux de neu­rones, logique et appren­tis­sage. Per­son­nelle­ment, j’y crois beau­coup. Mais, quelles que soient les approches, la place de l’humain reste pri­mor­diale et il fau­dra tou­jours jus­ti­fi­er les déci­sions pris­es par un algorithme.