« Il faut justifier les décisions prises par un algorithme »

Com­ment et pour­quoi doit-on expli­quer les déci­sions prises par les algo­rithmes d’intelligence artificielle ?

Le besoin d’explicabilité n’est pas nou­veau ! La ques­tion se posait déjà dans l’Antiquité, même si c’était alors d’un point de vue phi­lo­so­phique. Elle se pose de manière for­melle depuis la fin du XIXe siècle et notam­ment depuis les tra­vaux de Charles Peirce. Ce phi­lo­sophe et logi­cien amé­ri­cain a intro­duit le rai­son­ne­ment abduc­tif, c’est-à-dire la recherche d’explications. Beau­coup de méthodes uti­li­sées en intel­li­gence arti­fi­cielle (IA) sym­bo­lique, qui reposent sur la modé­li­sa­tion des connais­sances avec des approches de type logique, appren­tis­sage sym­bo­lique, etc., sont dites « expli­cables par essence », car la suite de rai­son­ne­ments, qui conduit à une déci­sion, est iden­ti­fiée. Mais cela n’est que par­tiel­le­ment vrai, car si le pro­blème posé devient trop grand, avec un grand nombre de for­mules logiques, des arbres de déci­sion très com­plexes, des règles d’association très nom­breuses, l’explication devient difficile.

La ques­tion de l’explicabilité se pose d’autant plus aujourd’hui que le deuxième para­digme de l’IA, les approches sta­tis­tiques de l’IA, revient sur le devant de la scène depuis quelques années. Si l’IA sym­bo­lique se base sur des règles et repro­duit le rai­son­ne­ment humain, les approches sta­tis­tiques de l’IA s’appuient sur des méthodes d’apprentissage sta­tis­tique, en par­ti­cu­lier des réseaux de neu­rones arti­fi­ciels qui sont entraî­nés sur de grands volumes de don­nées. Ces approches font par­tie de ce que l’on appelle l’apprentissage auto­ma­tique (Machine Lear­ning, ML) dont l’apprentissage pro­fond (Deep Lear­ning, DL) — même si ce n’est pas la seule. Il est très dif­fi­cile d’extraire et d’exprimer les règles de ce que font les réseaux de neu­rones, qui partent des données.

Com­ment peut-on expli­quer une déci­sion d’IA ?

Il faut d’abord défi­nir quoi expli­quer, pour qui, com­ment et pour­quoi… Le choix d’outils ou de méthodes d’explicabilité dépend de la réponse appor­tée à ces ques­tions. Pour les réseaux de neu­rones, il est pos­sible d’y répondre au niveau des don­nées uti­li­sées, au niveau du fonc­tion­ne­ment du réseau lui-même ou au niveau du résul­tat pro­duit. Pour le fonc­tion­ne­ment, on peut se deman­der s’il est néces­saire d’expliquer. Pre­nons l’exemple de l’aspirine, elle a long­temps été uti­li­sée sans que l’on sache com­ment elle agis­sait. Et quand son fonc­tion­ne­ment a été com­pris, il a ser­vi à déve­lop­per de nou­velles choses, sans pour autant chan­ger l’usage qui en était fait. De même, on peut conduire une voi­ture sans com­prendre le moteur, mais avec un niveau de connais­sance qui suf­fit à bien l’utiliser.

Au niveau du résul­tat final, l’explication peut néces­si­ter le pas­sage par des étapes inter­mé­diaires pour mieux l’expliquer. Je tra­vaille, par exemple, avec des méde­cins-radio­logues sur la mesure de l’épaisseur du corps cal­leux chez les pré­ma­tu­rés. Les radio­logues vou­laient savoir d’où venaient les scores obte­nus, quelle région avait été recon­nue dans l’image, où avaient été faites les mesures, pour com­prendre ce qui avait contri­bué à la déci­sion et expli­quer le résul­tat final. Ces étapes étaient néces­saires pour qu’ils aient confiance dans l’outil.

On attend d’un algo­rithme qu’il soit neutre, mais rien n’est jamais neutre ! Le méde­cin déclenche un exa­men d’imagerie pour son patient parce qu’il cherche quelque chose qu’il pour­rait iden­ti­fier dans cette image, il a une inten­tion. Cela intro­duit des biais, qui ne sont pas sta­tis­tiques, mais cog­ni­tifs, de cadrage, de confir­ma­tion, de com­plai­sance, etc. On retrouve ces mêmes biais face à des résul­tats pro­duits par un algo­rithme. De plus, n’oublions pas que l’on fait d’autant plus confiance à l’algorithme lorsqu’il montre ce que l’on cherche. Un autre fac­teur entre en ligne de compte, celui du coût de l’erreur, car il est très dif­fé­rent selon qu’on le détecte à tort ou à rai­son. Les radio­logues pré­fèrent en géné­ral avoir plus de faux posi­tifs (puisqu’en cas de détec­tion il y aura tou­jours confir­ma­tion ou infir­ma­tion, par exemple par d’autres exa­mens) que de faux néga­tifs. Quand l’algorithme ne détecte rien, il ne doit pas se trom­per, même si les méde­cins véri­fient tou­jours visuel­le­ment le résultat.

L’explicabilité varie donc en fonc­tion de l’utilisateur et de l’usage d’un algorithme ?

L’explication est un pro­ces­sus de conver­sa­tion, de com­mu­ni­ca­tion. On adapte le niveau d’explication en fonc­tion de la per­sonne à qui l’on parle. Pour res­ter dans le cadre médi­cal, pre­nez une image pré­sen­tant une tumeur. Le méde­cin expli­que­ra dif­fé­rem­ment cette image et la tumeur selon qu’il parle à son staff, à des étu­diants, à un public dans un col­loque ou à son patient. C’est pour­quoi les méde­cins ne veulent pas que les résul­tats d’algorithmes soient ver­sés au dos­sier du patient sans qu’il y ait un contrôle de leur part.

Il faut aus­si se deman­der pour­quoi on veut expli­quer. Est-ce pour jus­ti­fier, pour contrô­ler le fonc­tion­ne­ment d’un algo­rithme, pour décou­vrir une connais­sance scien­ti­fique, un phé­no­mène ? Les objec­tifs varient et cela néces­si­te­ra des outils dif­fé­rents. Les enjeux aus­si dif­fèrent, il y a des enjeux de confiance, d’éthique, de res­pon­sa­bi­li­té, et éven­tuel­le­ment des enjeux économiques.

Pour­quoi le besoin d’explicabilité est-il plus fort en ce moment ?

C’est essen­tiel­le­ment dû aux réseaux de neu­rones pro­fonds, qui sont de plus en plus uti­li­sés, qui ont des mil­lions de para­mètres et qui sont extrê­me­ment com­plexes. On compte beau­coup sur les don­nées en espé­rant que l’augmentation des volumes uti­li­sés contri­bue­ra à amé­lio­rer les résul­tats. Cela dit, il existe beau­coup de connais­sances du domaine concer­né qui pour­raient être uti­li­sées. C’est ce que se pro­pose de faire l’IA hybride, qui asso­cie plu­sieurs approches de l’IA. Elle com­bine connais­sances et don­nées, IA sym­bo­lique et réseaux de neu­rones, logique et appren­tis­sage. Per­son­nel­le­ment, j’y crois beau­coup. Mais, quelles que soient les approches, la place de l’humain reste pri­mor­diale et il fau­dra tou­jours jus­ti­fier les déci­sions prises par un algorithme.