Quels enjeux quand les algorithmes remplacent l’humain ? 

Les sys­tèmes infor­ma­tiques par­ti­cipent de plus en plus aux déci­sions de notre quo­ti­dien, notam­ment les intel­li­gences arti­fi­cielles (IA), ces sys­tèmes qui per­mettent de prendre en charge des fonc­tions jusque-là propres aux humains. Mais com­ment peut-on leur faire confiance si l’on ignore leurs moda­li­tés de fonc­tion­ne­ment ? Et qu’en est-il quand ce sys­tème est ame­né à prendre des déci­sions qui peuvent mettre nos vies en jeu ? 

Véro­nique Steyer, maître de confé­rences au dépar­te­ment mana­ge­ment de l’innovation et entre­pre­na­riat (MIE) de l’École poly­tech­nique, tra­vaille depuis plu­sieurs années sur la ques­tion de l’explicabilité de l’IA. Selon elle, il est impor­tant de dis­tin­guer la notion d’« inter­pré­ta­bi­li­té »  – qui consiste à com­prendre com­ment fonc­tionne un algo­rithme, pour pou­voir éven­tuel­le­ment amé­lio­rer sa robus­tesse et diag­nos­ti­quer ses failles – de la notion de « ren­du de compte ». Cela revient à se deman­der : en cas de dégâts maté­riels ou cor­po­rels cau­sés  par une intel­li­gence arti­fi­cielle, quel est le degré de res­pon­sa­bi­li­té  de la per­sonne ou de l’entreprise qui a conçu ou qui uti­lise cette IA ? 

Or les outils d’explicabilité des IA, quand ils existent, sont géné­ra­le­ment déve­lop­pés dans une logique d’interprétabilité, et non de ren­du de compte. En clair, ils per­mettent d’observer ce qui se passe dans le sys­tème, sans for­cé­ment cher­cher à com­prendre ce qui s’y passe, et quelles déci­sions sont prises en fonc­tion de quels cri­tères. Ils peuvent ain­si être de bons indi­ca­teurs d’un degré de per­for­mance de l’IA, sans pour autant assu­rer l’utilisateur de la per­ti­nence des déci­sions prises. 

Pour la cher­cheuse, il serait donc néces­saire d’encadrer d’un point de vue régle­men­taire ces IA. En France, le code de la san­té publique sti­pule déjà que « les concep­teurs d’un trai­te­ment algo­rith­mique […] s’assurent de l’explicabilité de son fonc­tion­ne­ment pour les uti­li­sa­teurs » (loi n° 2021–1017 du 2 août 2021). Avec ce texte, le légis­la­teur visait plus par­ti­cu­liè­re­ment les IA per­met­tant de diag­nos­ti­quer cer­taines mala­dies, dont des can­cers. Mais encore faut-il for­mer les uti­li­sa­teurs – en l’occurrence les pro­fes­sion­nels de san­té – non seule­ment à l’IA, mais aus­si au fonc­tion­ne­ment et à l’interprétation des outils d’explication de l’IA… Com­ment savoir autre­ment si le diag­nos­tic posé l’est en fonc­tion des bons critères ? 

Au niveau euro­péen, un pro­jet de règle­ment est en cours, qui devrait abou­tir en 2023 à clas­ser les IA selon dif­fé­rents niveaux de risque, et exi­ger en fonc­tion de cela une cer­ti­fi­ca­tion qui garan­ti­rait un degré d’explicabilité plus ou moins fort. Mais qui doit mettre au point ces outils, com­ment évi­ter que les GAFA ne les contrôlent ? « On est loin d’avoir répon­du à toutes ces ques­tions épi­neuses, et nombre d’entreprises qui mettent au point des IA mécon­naissent encore la notion d’explicabilité » constate Véro­nique Steyer. 

Pen­dant ce temps, des IA de plus en plus per­for­mantes sont déve­lop­pées dans des sec­teurs d’activité de plus en plus divers ! Entre­pre­neuse dans le sec­teur de l’intelligence arti­fi­cielle, Milie Taing a fon­dé la start-up Lili​.ai en 2016 sur le cam­pus de Poly­tech­nique. Elle a d’abord pas­sé huit ans comme char­gée de pro­jet, spé­cia­li­sée en contrôle des coûts, chez SNC Lava­lin, le lea­der cana­dien des grands pro­jets. C’est là qu’elle a été ame­née à retra­cer l’historique de plu­sieurs dos­siers de chan­tiers impor­tants qui avaient pris énor­mé­ment de retard. 

Pour docu­men­ter les récla­ma­tions, il fal­lait fouiller jusqu’à 18 ans de don­nées très hété­ro­gènes (échanges de mails, pièces jointes, comptes ren­dus de réunion, etc.) et repé­rer à quel moment s’étaient pro­duites les erreurs expli­quant le retard pris par ces chan­tiers. Mais impos­sible pour des humains d’analyser des don­nées épar­pillées sur des mil­liers de boîtes mails et des dizaines d’années ! Or, dans les grands pro­jets de BTP, ce chaos docu­men­taire peut entrai­ner de très lourdes péna­li­tés, et par­fois même conduire au dépôt de bilan. Milie Taing a donc eu l’idée de mettre au point, avec des data scien­tists et des déve­lop­peurs, un logi­ciel d’intelligence arti­fi­cielle dont le rôle est de faire de l’archéologie documentaire.

« Pour explo­rer le pas­sé d’un pro­jet, nos algo­rithmes ouvrent tous les docu­ments concer­nant ce pro­jet un par un. Puis ils en extraient toutes les phrases et les mots-clés, et les éti­quettent auto­ma­ti­que­ment avec des hash­tags, un peu à la façon de Twit­ter, explique Milie Taing. Ces hash­tags per­mettent fina­le­ment de mener des recherches docu­men­taires de façon effi­cace. Pour évi­ter les déra­pages s’il s’agit d’un pro­jet en cours, nous avons modé­li­sé une cen­taine de pro­blèmes récur­rents, ris­quant de débou­cher sur une récla­ma­tion, et de pos­sibles péna­li­tés. »

Le logi­ciel de la socié­té Lili​.ai est déjà uti­li­sé par de grands comptes, comme la Socié­té du grand Paris, EDF ou Ora­no (ges­tion des cen­trales nucléaires). Et selon Milie Taing, il ne menace pas l’emploi des chefs de pro­jets. « L’IA dans ce cas est une aide au pilo­tage, qui per­met d’identifier des dys­fonc­tion­ne­ments avant qu’il ne soit trop tard, estime-t-elle. Elle vise à libé­rer l’humain des tâches chro­no­phages et répé­ti­tives, lui per­met­tant de se concen­trer sur des tra­vaux à plus forte valeur ajou­tée ». 

L’IA vise à libé­rer l’humain des tâches chro­no­phages pour lui per­mettre de se concen­trer sur des tra­vaux à plus forte valeur ajoutée.

Mais cette IA ne risque-t-elle pas de poin­ter la res­pon­sa­bi­li­té, voire la culpa­bi­li­té de cer­taines per­sonnes dans l’échec d’un pro­jet ? « En fait, les sala­riés sont atta­chés à leurs pro­jets et prêts à don­ner leurs e‑mails pour recou­vrir les coûts et la marge qui aurait été per­due en cas de retard dans la réa­li­sa­tion du chan­tier. Si, juri­di­que­ment, les mails des per­son­nels appar­tiennent à l’entreprise, nous avons inclus des fonc­tions très sophis­ti­quées de fil­trage sur notre logi­ciel qui donnent la main aux employés sur ce qu’ils acceptent ou pas d’exporter dans la solu­tion Lili ». 

Selon Milie Taing, la France a tout inté­rêt à inves­tir dans ce type d’IA, car elle a une des meilleures exper­tises inter­na­tio­nales dans la réa­li­sa­tion des très gros chan­tiers, et a donc accès à des quan­ti­tés colos­sales de don­nées. En revanche, elle sera moins per­for­mante que les Asia­tiques, par exemple, sur d’autres appli­ca­tions, comme la recon­nais­sance faciale, qui de plus va à l’encontre d’une cer­taine éthique française. 

« Toute tech­no­lo­gie porte en elle un script, avec ce qu’elle nous per­met ou non de faire, le rôle qu’elle donne à l’humain, les valeurs qu’elle porte aus­si, sou­ligne de son côté Véro­nique Steyer. Par exemple, dans les années 50, en Cali­for­nie, on a construit une route menant à une plage, et pour que cette plage ne soit pas enva­hie par une popu­la­tion d’origine trop modeste, les ponts enjam­bant cette route ont été posés très bas, ce qui inter­di­sait le pas­sage des bus. Il me semble donc très impor­tant de com­prendre non seule­ment com­ment fonc­tionne un sys­tème, mais aus­si quels sont les choix de socié­té ins­crits dans un sys­tème d’IA de manière tota­le­ment tacite, qu’on ne voit pas ». 

Actuel­le­ment, les IA qui se répandent le plus sont les chat­bots, dont on ne peut pas dire qu’ils menacent l’espèce humaine. Mais en s’habituant à la per­for­mance de ces chat­bots, on pour­rait demain négli­ger de ques­tion­ner les méca­nismes et les objec­tifs d’IA plus sophistiquées. 

Marina Julienne