Accueil / Chroniques / Le fléau des manipulations :  comment lutter contre les deepfakes ?
Deepfake Ban and Regulating DeepFakes for Image Recognition Technology
Généré par l'IA / Generated using AI
π Numérique π Société

Le fléau des manipulations :  comment lutter contre les deepfakes ?

Célia Zolynski_VF
Célia Zolynski
professeure agrégée de droit privé à l’Université Paris 1 Panthéon-Sorbonne
En bref
  • D’après l’IA ACT, un deepfake est défini comme une image, un contenu audio ou vidéo manipulé par l'IA, et qui présente une ressemblance avec des personnes, des objets, des lieux, des entités ou encore des événements réels.
  • Il existe une différence entre les « digital replicas », les répliques digitales d’une personne et les digital forgeries, les contrefaçons digitales.
  • En 2023, 98% des vidéos manipulées et accessibles en ligne étaient de nature sexuelle et la plupart ciblaient des femmes.
  • La Commission européenne souhaite contraindre les plateformes en ligne et les fournisseurs d'IA générative avec des labellisations.
  • En France, le contenu généré par l'IA est sanctionné si la personne représentée n’a pas donné son consentement, ou si l’aspect parodique n’apparait pas instantanément.

Les appareils juridiques ont dû s’emparer des deepfakes, phénomène croissant pouvant toucher à la fois les individus et la cohésion d’une société. Comment sont-ils définis par le droit européen ?

Célia Zolyn­s­ki. Les deep­fakes sont des con­tenus générés par l’intelligence arti­fi­cielle capa­bles de brouiller la fron­tière entre vrai et faux. Ils font l’objet d’une réflex­ion au niveau de l’Union européenne. Pour repren­dre les ter­mes du règle­ment sur l’in­tel­li­gence arti­fi­cielle (AI Act ou RIA), pub­lié en juil­let 2024, un deep­fake est défi­ni comme une image, un con­tenu audio (aus­si nom­mé :  fake voic­es) – un clon­age vocal, qui con­siste à repro­duire des voix de façon réal­iste grâce à l’intelligence arti­fi­cielle – ou vidéo manip­ulé par l’IA, et qui présente une ressem­blance avec des per­son­nes, des objets, des lieux, des entités ou encore des événe­ments réels. Ces con­tenus peu­vent être perçus, à tort, comme authen­tiques ou véridiques. En adop­tant un spec­tre aus­si large, l’objectif pour l’Union européenne est d’éviter toute mécanique de manip­u­la­tion de l’opin­ion et d’encadrer les cas prob­lé­ma­tiques der­rière la défor­ma­tion de l’image d’un individu.

Tou­jours d’un point de vue juridique, il existe une dif­férence entre les dig­i­tal repli­cas, qui englobent les pro­longe­ments de la per­son­ne (le pro­longe­ment de la voix d’un artiste, la mod­i­fi­ca­tion de son image) et les dig­i­tal forgery, à traduire comme « con­tre­façon dig­i­tale ». Cette dernière caté­gorie vise la représen­ta­tion intime des per­son­nes, et englobe, par exem­ple, les deep­fakes à car­ac­tère sex­uel non con­sen­ti. Ces dig­i­tal forgery sont réal­isées pour porter atteinte à un indi­vidu en par­ti­c­uli­er et se pour­suiv­ent dans de nom­breux cas avec du har­cèle­ment ou du chan­tage sex­uel (« sex­tor­sion »). L’au­teur de la pra­tique hameçonne l’u­til­isa­teur sur un chat en ligne sous l’ap­parence d’un faux compte. Il établit un lien de con­fi­ance afin de recevoir un pre­mier con­tenu à car­ac­tère intime. Une fois ce con­tenu obtenu, il peut entr­er dans une phase de chan­tage, en deman­dant une somme d’argent ou de nou­veaux con­tenus. Dans cer­tains cas, la final­ité est d’ordre crim­inel ou pédocriminel.

Quels sont les principaux dangers ? Qui sont les personnes les plus vulnérables face aux deepfakes ?

Au niveau des indi­vidus, en 2023, 96%1 des vidéos manip­ulées et acces­si­bles en ligne étaient de nature sex­uelle  et ciblaient prin­ci­pale­ment des femmes. Entre 2022 et 2023, le nom­bre de ces deep­fakes à car­ac­tère sex­uel aurait con­nu une forte aug­men­ta­tion (+464%) selon l’entreprise Home Secu­ri­ty Heroes 2.  Ce con­stat mon­tre com­bi­en la ques­tion des deep­fakes dépasse le sim­ple enjeu tech­nologique. Le droit des femmes, la pro­tec­tion de leur image et de leur posi­tion dans l’e­space pub­lic sont men­acés. Par ailleurs, de nom­breux cas con­cer­naient des poli­tiques ou des jour­nal­istes. Les dif­férentes études réal­isées autour des impacts des deep­fakes le con­fir­ment, toutes met­tent en évi­dence le risque de faire taire la parole des femmes au moyen de ces pra­tiques numériques. 

À l’échelle des sociétés, ces manip­u­la­tions ont aus­si des con­séquences sur les équili­bres démoc­ra­tiques en aug­men­tant le risque de dés­in­for­ma­tion. Par exem­ple, 2024 a été l’an­née qui, his­torique­ment, a con­nu le plus grand nom­bre d’élec­tions à l’échelle mon­di­ale avec 76 scruti­ns nationaux (élec­tions lég­isla­tives ou prési­den­tielles) ayant eu lieu. En même temps, les usages de l’IA généra­tive étaient en plein essor, lais­sant ain­si crain­dre l’u­til­i­sa­tion mas­sive des deep­fakes dans les straté­gies de dés­in­for­ma­tion. Par exem­ple, en Alle­magne, lors de la cam­pagne pour les élec­tions lég­isla­tives de 2025, de fauss­es infor­ma­tions visant à désta­bilis­er l’opinion publique ont cir­culé sur les réseaux soci­aux. Par­mi elles, fig­u­raient des rumeurs pré­ten­dant la légal­i­sa­tion de la pédophilie ou encore l’arrivée de 1,9 mil­lion de tra­vailleurs kenyans. Selon les autorités alle­man­des, ces rumeurs pour­raient provenir des réseaux d’ingérence reliés à la Russie.

Afin de limiter le détournement de contenu, quel cadre juridique a été élaboré au sein de l’UE ? Est-il suffisant ? 

Pour lim­iter le phénomène, des instru­ments juridiques exis­tent, avec en pre­mier lieu, le règle­ment sur l’IA pro­posé par l’Union européenne. Le texte saisit les deep­fakes à plusieurs niveaux. Par principe, ils ne sont pas inter­dits. L’usage des tech­nolo­gies comme nou­v­el out­il exploité dans un cadre cul­turel, artis­tique ou sci­en­tifique est tout à fait légal. En revanche, le règle­ment inter­dit cer­taines pra­tiques jugées trop atten­ta­toires aux droits et aux lib­ertés fon­da­men­tales des per­son­nes, ceux qui intè­grent la caté­gorie des IA à risques inac­cept­a­bles (arti­cle 5). Il s’agit notam­ment des deep­fakes à car­ac­tère sex­uel non con­sen­ti visant les femmes ou des enfants prépub­ères en sit­u­a­tion sex­uelle explicite. 

Pour les con­tenus sus­cep­ti­bles de men­ac­er les proces­sus démoc­ra­tiques, ils sont rat­tachés à une autre caté­gorie, celles des hauts risques. La Com­mis­sion européenne œuvre pour con­train­dre les plate­formes en ligne, et tous les four­nisseurs d’IA généra­tive, à met­tre des out­ils en place pour en lim­iter la pro­duc­tion puis la dif­fu­sion. Tou­jours en phase de négo­ci­a­tion avec les acteurs du secteur numérique pour définir un code de bonnes pra­tiques, l’obligation d’identifier et de label­lis­er les deep­fakes devrait entr­er en vigueur dès l’été 2026. En d’autres ter­mes, il faut appos­er un label sur l’image ou la vidéo générée qui ne puisse pas en être dis­so­cié. Reste à savoir sous quelle forme la men­tion doit appa­raitre pour être bien accueil­lie par le pub­lic et si cette mesure sera réelle­ment suff­isante pour lim­iter les cas de manipulation.

En France, le con­tenu généré par l’IA est sanc­tion­né si la per­son­ne représen­tée n’a pas don­né son con­sen­te­ment, ou si l’aspect par­o­dique n’apparait pas instan­ta­né­ment. Les deep­fakes à car­ac­tère sex­uel sont automa­tique­ment punis dès lors que la per­son­ne n’a pas con­sen­ti à la dif­fu­sion. Les peines peu­vent aller jusqu’à de l’emprisonnement. Un grand nom­bre de pays ont mis à jour leur lég­is­la­tion avec des sanc­tions dès qu’un préju­di­cie survient. Par exem­ple, les États-Unis ont adop­té le « Take it down act »  en mai 2025, instau­rant des sanc­tions par­ti­c­ulières lorsque des enfants sont visés ou dans des cas de sex­tor­sion. Au niveau inter­na­tion­al, plusieurs travaux de l’Unesco ont mis en lumière les dan­gers crim­inels et les atteintes au droit et à l’im­age de la femme notamment.

Les forces de l’ordre éprou­vent par­fois des dif­fi­cultés à enquêter sur ces affaires, en rai­son de la masse con­sid­érable de con­tenus dans l’espace numérique et des moyens sou­vent lim­ités. Il est d’autant plus néces­saire de sen­si­bilis­er en amont les publics con­cernés.  Le sujet des deep­fakes pédocrim­inels est cru­cial – par son impor­tance sociale, mais aus­si par son vol­ume. Les cam­pagnes de sen­si­bil­i­sa­tion sont insuff­isantes, pour­tant, elles sont indis­pens­ables pour pré­mu­nir, aider et éviter l’isolement chez les enfants. 

Propos recueillis par Alicia Piveteau
1State of Deep­fakes 2023, https://​reg​me​dia​.co​.uk/​2​0​1​9​/​1​0​/​0​8​/​d​e​e​p​f​a​k​e​_​r​e​p​o​r​t.pdf
2https://​www​.secu​ri​ty​hero​.io/​s​t​a​t​e​-​o​f​-​d​e​e​p​f​a​k​e​s​/​a​s​s​e​t​s​/​p​d​f​/​s​t​a​t​e​-​o​f​-​d​e​e​p​f​a​k​e​-​i​n​f​o​g​r​a​p​h​i​c​-​2​0​2​3​.​p​d​f​?​u​t​m​_​s​o​u​r​c​e​=​c​h​a​t​g​p​t.com

Soutenez une information fiable basée sur la méthode scientifique.

Faire un don