« AI Act », comment l’Europe veut réguler les machines

Com­ment aborde-t-on les ques­tions régle­men­taires en intel­li­gence artificielle ?

Les ques­tions régle­men­taires doivent se confron­ter à la réa­li­té tech­nique. À Télé­com Paris, nous adop­tons une approche inter­dis­ci­pli­naire à tra­vers le pro­gramme Ope­ra­tio­nal AI Ethics qui regroupe six dis­ci­plines : mathé­ma­tiques appli­quées, sta­tis­tiques, infor­ma­tique, éco­no­mie, droit et socio­lo­gie. L’interdisciplinarité est pas­sion­nante, mais demande du tra­vail ! Nous par­lons cha­cun des lan­gages dif­fé­rents, nous devons donc construire des ponts entre nos dif­fé­rentes dis­ci­plines scientifiques.

Où en est la régle­men­ta­tion en matière d’IA en Europe ?

L’IA n’est pas une zone de non-droit. La régle­men­ta­tion exis­tante s’applique déjà à l’IA, que ce soit le RGPD pour les don­nées à carac­tère per­son­nel, ou des régle­men­ta­tions sec­to­rielles dans le domaine de la san­té (dis­po­si­tifs médi­caux), la finance (modèles de tra­ding, de sol­va­bi­li­té), ou l’automobile par exemple.

Alors pour­quoi le « Euro­pean AI Act » pro­pose-t-il d’ajouter une régle­men­ta­tion spécifique ?

Les logi­ciels d’IA, et en par­ti­cu­lier ceux du Machine Lear­ning (ML), posent des pro­blèmes nou­veaux. Les logi­ciels « tra­di­tion­nels » — l’IA sym­bo­lique appe­lée par­fois « good old fashio­ned IA — GOFIA » — sont déve­lop­pés à par­tir de spé­ci­fi­ca­tions pré­cises, avec des don­nées de sor­tie cer­taines et prou­vables. Ce sont des algo­rithmes déter­mi­nistes : la don­née d’entrée « a » plus la don­née d’entrée « b » condui­ront tou­jours à la don­née de sor­tie « c ». Si ce n’est pas le cas, il y a un bug. 

En ML, les algo­rithmes se créent eux-mêmes en appre­nant à par­tir de grands volumes de données.

En ML, les algo­rithmes se créent eux-mêmes en appre­nant à par­tir de grands volumes de don­nées et fonc­tionnent de façon pro­ba­bi­liste. Leurs résul­tats sont exacts la plu­part du temps. De plus, ils peuvent fon­der leurs pré­dic­tions sur des cor­ré­la­tions non per­ti­nentes qu’ils ont apprises dans les don­nées d’apprentissage. Le risque d’erreurs est une carac­té­ris­tique inévi­table des modèles de ML pro­ba­bi­listes, ce qui sou­lève de nou­velles ques­tions sur le plan de la régu­la­tion, notam­ment pour des sys­tèmes d’IA à haut risque. Est-il pos­sible d’utiliser un algo­rithme pro­ba­bi­liste dans un sys­tème cri­tique, comme la recon­nais­sance d’images dans une voi­ture auto­nome ? D’autant que les algo­rithmes de ML sont rela­ti­ve­ment inintelligibles.

L’accident en Ari­zo­na de la voi­ture auto­nome Uber en 2018 est une illus­tra­tion par­faite du pro­blème. Le sys­tème de recon­nais­sance d’images a appris qu’un humain tra­verse la route géné­ra­le­ment près d’un pas­sage clou­té. Un pié­ton tra­ver­sait la route avec son vélo loin du pas­sage pié­ton, et le sys­tème a clas­si­fié l’image comme étant un véhi­cule, non un pié­ton, jusqu’à la der­nière seconde avant la col­li­sion. La voi­ture n’a pas frei­né à temps et le pié­ton a été tué. De plus, le conduc­teur cen­sé super­vi­ser le sys­tème était inat­ten­tif (l’inattention est un phé­no­mène fré­quent appe­lé « auto­ma­tion com­pla­cen­cy »). Le défi pour l’avenir sera d’entourer ces sys­tèmes pro­ba­bi­listes — qui sont très per­for­mants pour des tâches comme la recon­nais­sance d’images — de garde-fous. Des sys­tèmes hybrides, qui com­binent le ML et l’IA sym­bo­lique, sont une voie prometteuse.

Com­ment peut-on régle­men­ter pour répondre à ce problème ?

Le pro­jet de règle­ment euro­péen sur l’IA va exi­ger des tests de confor­mi­té et un mar­quage « CE » pour tout sys­tème d’IA à haut risque mis sur le mar­ché en Europe. Le pre­mier défi est de défi­nir ce qu’on entend par un sys­tème d’IA à haut risque ! Actuel­le­ment, cela intè­gre­rait les logi­ciels uti­li­sés par la police, pour la nota­tion de sol­va­bi­li­té pour l’octroi de cré­dits, pour l’étude des dos­siers de can­di­dats à l’université ou à un poste en entre­prise, les logi­ciels embar­qués dans des voi­tures, etc. La liste sera évo­lu­tive. La recon­nais­sance faciale en temps réel uti­li­sée par la police à des fins d’identification sera sou­mise à des contraintes par­ti­cu­lières, notam­ment à des tests indé­pen­dants, et à l’intervention d’au moins deux opé­ra­teurs humains avant de confir­mer un « match ».

Pour les autres sys­tèmes à haut risque, le pro­jet de règle­ment envi­sage des tests de confor­mi­té par l’entreprise elle-même. Chaque sys­tème devra faire l’objet d’une étude de risques et être accom­pa­gné d’une docu­men­ta­tion les expli­quant, si exis­tants. Les sys­tèmes devront garan­tir un contrôle humain effi­cace. L’exploitant du sys­tème devra géné­rer des jour­naux d’événements (logs) per­met­tant l’auditabilité du sys­tème. Pour les sys­tèmes d’IA inté­grés dans des sys­tèmes déjà cou­verts par la régle­men­ta­tion (les dis­po­si­tifs médi­caux, par exemple), le régime de tests et de confor­mi­té sera régi par la régle­men­ta­tion sec­to­rielle. On évite ain­si de créer des dou­blons dans la réglementation.

Pour­quoi les algo­rithmes de ML sus­citent-ils autant de méfiance alors que l’on accepte des risques dans d’autres domaines ?

Cette méfiance n’est pas nou­velle. Le rap­port Tri­cot de 1975 — le rap­port qui a conduit en France à l’adoption de la loi infor­ma­tique et liber­tés en 1978 — évo­quait déjà la méfiance à l’égard de sys­tèmes infor­ma­tiques qui réduisent l’être humain à une série de pro­ba­bi­li­tés sta­tis­tiques. En nous rédui­sant à des chiffres, de tels sys­tèmes nient notre indi­vi­dua­li­té et notre huma­ni­té. Nous sommes habi­tués au pro­fi­lage sta­tis­tique lorsqu’il s’agit de rece­voir une publi­ci­té sur Face­book ou une recom­man­da­tion de musique sur Dee­zer. Mais pour des déci­sions plus graves — une déci­sion d’embauche, l’admission à une uni­ver­si­té, le déclen­che­ment d’un contrôle fis­cal, ou l’obtention d’un prêt — être jugé uni­que­ment sur un pro­fil sta­tis­tique pose pro­blème, sur­tout lorsque l’algorithme qui crée le pro­fil est inintelligible !

L’algorithme doit appor­ter un éclai­rage sta­tis­tique à la ques­tion, mais ne rem­place pas le dis­cer­ne­ment et la nuance d’un déci­sion­naire humain.

L’algorithme doit donc appor­ter un éclai­rage sta­tis­tique à la ques­tion, mais jamais rem­pla­cer le dis­cer­ne­ment et la nuance d’un déci­sion­naire humain. Mais atten­tion, il ne faut pas non plus mini­mi­ser les défauts humains — aux États-Unis, des don­nées sug­gèrent que les juges adoptent des déci­sions d’emprisonnement plus lourdes avant la pause déjeu­ner lorsqu’ils ont faim. Les algo­rithmes peuvent aider à com­pen­ser ces biais humains.