Accueil / Chroniques / Comment se protéger du syndrome de Stockholm technologique face à l’IA ?
A smartphone bound by chains represents addiction. Generated by AI
Généré par l'IA / Generated using AI
π Numérique π Société

Comment se protéger du syndrome de Stockholm technologique face à l’IA ?

Hamilton Mann
Hamilton Mann
vice-président du groupe chargé du marketing numérique et de la transformation numérique chez Thales et maître de conférences à l'INSEAD
En bref
  • Les technologies numériques peuvent être un danger pour l’autonomie et le libre-arbitre de l’individu, au point de lui faire oublier son aliénation.
  • La substitution de la machine perçue comme vecteur d’agression à une machine comme vecteur d’apaisement s’apparente à un « syndrome de Stockholm » technologique.
  • Si l’innovation numérique est perçue comme intrinsèquement positive, elle peut cependant émanciper et aliéner à la fois, selon les conditions de son adoption.
  • Pour rester centrée sur notre humanité, l’intelligence artificielle doit s’appuyer sur une forme d’intégrité simulée artificielle, construite en référence aux valeurs humaines.
  • L’intégrité artificielle repose sur la capacité à prévenir et limiter les écarts d'intégrité fonctionnels, condition sine qua non pour garantir que les bénéfices des technologies numériques ne se construisent pas au détriment de l’humain.

L’adoption des tech­nolo­gies numériques ne peut être réduite à une sim­ple déci­sion rationnelle ou à une évo­lu­tion fonc­tion­nelle des pra­tiques et des usages. Elle détache, pro­gres­sive­ment ou non, les indi­vidus de leurs cadres de référence ini­ti­aux et de leurs struc­tures habituelles, pour les immerg­er dans des envi­ron­nements régis par des logiques externes, celles imposées par la tech­nolo­gie elle-même. Ce bas­cule­ment représente une recon­fig­u­ra­tion pro­fonde des struc­tures cog­ni­tives, sociales et com­porte­men­tales de l’individu, sous l’effet de logiques algo­rith­miques et pre­scrip­tives qui sup­plantent ses pro­pres cadres de référence. Ce proces­sus de tran­si­tion tech­nologique, loin d’être neu­tre, s’apparente à une forme de cap­ture sym­bol­ique dans laque­lle l’individu, con­fron­té à la vio­lence du change­ment, active des mécan­ismes de défense psy­chiques face à ce qu’il perçoit comme une agres­sion à son autonomie, à son libre-arbi­tre, et à son intégrité identitaire.

Lorsque l’adoption est jugée réussie, cela sig­ni­fie que les struc­tures de défense ini­tiales ont cédé : l’utilisateur a non seule­ment inté­gré les règles imposées par la tech­nolo­gie, mais a dévelop­pé une forme d’identification affec­tive envers elle, réin­ter­pré­tant l’origine de la con­trainte comme une rela­tion choisie. À ce stade, un nou­veau régime nor­matif se met en place. Ce bas­cule­ment mar­que la sub­sti­tu­tion de l’an­cien cadre de référence par celui de la machine, désor­mais perçu comme fam­i­li­er et ras­sur­ant. L’agression ini­tiale est refoulée, et les nou­veaux automa­tismes cog­ni­tifs devi­en­nent objets de défense.

Ces stim­uli activent le biais de con­fir­ma­tion émo­tion­nelle et trans­for­ment la coerci­tion en bien­veil­lance perçue.

Ce phénomène, que l’on peut assim­i­l­er au « syn­drome de Stock­holm » dans le rap­port entre l’homme et la machine, implique une dis­lo­ca­tion des référents cog­ni­tifs, suiv­ie d’une recon­fig­u­ra­tion émo­tion­nelle dans laque­lle la vic­time en vient à pro­téger son agresseur tech­nologique. L’asservissement cog­ni­tif ain­si pro­duit n’est pas un effet sec­ondaire, mais un mécan­isme de survie. Il est ali­men­té par les ten­ta­tives du cerveau de réduire le stress généré par l’intrusion d’un cadre de pen­sée étranger. Cette réécri­t­ure émo­tion­nelle per­met d’assurer une forme de cohérence interne face à l’aliénation tech­nologique. L’attention de l’usager se détourne alors de la vio­lence ini­tiale pour se fix­er sur les sig­naux posi­tifs émis par la machine : val­i­da­tion sociale, grat­i­fi­ca­tion algo­rith­mique, récom­pense ludique. Ces stim­uli activent le biais de con­fir­ma­tion émo­tion­nelle et trans­for­ment la coerci­tion en bien­veil­lance perçue.

Le risque accru de la dépendance des individus à la technologie

Par un proces­sus de plas­tic­ité neu­ronale, les cir­cuits cérébraux réor­gan­isent la per­cep­tion du rap­port à la machine : ce qui était stress devient nor­mal­ité ; ce qui était dom­i­na­tion devient sou­tien ; et ce qui était agresseur devient com­pagnon. Une inver­sion du sché­ma de pou­voir s’opère par la recon­fig­u­ra­tion du noy­au accum­bens et du cor­tex préfrontal, ancrant une nou­velle rela­tion affec­tive con­trainte, un phénomène de plus en plus recon­nu au sein de la com­mu­nauté en infor­ma­tique comme une forme d’agence com­pu­ta­tion­nelle, dans laque­lle les logi­ciels recon­fig­urent active­ment la per­cep­tion, le com­porte­ment et le juge­ment affec­tif. Ce phénomène représente l’un des périls fon­da­men­taux que l’intelligence arti­fi­cielle fait peser sur l’humanité : la nor­mal­i­sa­tion de la dépen­dance men­tale comme vecteur d’acceptabilité sociale. C’est pourquoi il ne suf­fit pas de con­cevoir des sys­tèmes arti­fi­cielle­ment intel­li­gents : il faut impéra­tive­ment leur adjoin­dre une capac­ité d’intégrité arti­fi­cielle, garante de la sou­veraineté cog­ni­tive humaine.

Cer­tains rétorquent que le numérique con­tribue à l’empow­er­ment d’individus en sit­u­a­tion de vul­néra­bil­ité. Cet argu­ment masque une réal­ité plus inquié­tante : la dépen­dance tech­nologique est sou­vent présen­tée comme une autonomie retrou­vée, alors qu’elle repose sur l’effondrement préal­able des mécan­ismes d’autodéfense iden­ti­taire. Même lorsque la tech­nolo­gie vise à restau­r­er une autonomie rel­a­tive, le proces­sus d’imposition cog­ni­tive demeure act­if, facil­ité par la faib­lesse des mécan­ismes de défense. L’usager, en déficit de résis­tance, adhère d’autant plus vite et pro­fondé­ment au cadre imposé par la machine. Dans tous les cas, la tech­nolo­gie façonne un nou­v­el envi­ron­nement cog­ni­tif. La dis­tinc­tion tient unique­ment au degré d’intégrité du cadre men­tal préex­is­tant : plus ce cadre est solide, plus la résis­tance est forte ; plus il est dégradé, plus l’infiltration tech­nologique est rapi­de. Le para­doxe qui empêche la recon­nais­sance sys­témique de ce syn­drome est celui de l’innovation elle-même. Perçue comme intrin­sèque­ment pos­i­tive, elle dis­simule son poten­tiel ambiva­lent : elle peut à la fois émanciper et alién­er, selon les con­di­tions de son adoption.

Évaluer l’intégrité artificielle des systèmes numériques

Pour que l’intelligence arti­fi­cielle ren­force notre human­ité sans la diluer, elle devra, au-delà de sa capac­ité à imiter la cog­ni­tion, être fondée et guidée par une intégrité arti­fi­cielle, afin de respecter les lib­ertés men­tales, émo­tion­nelles et iden­ti­taires des indi­vidus. La tech­nolo­gie peut soulager la douleur, lim­iter le risque et amélior­er l’ex­is­tence. Mais aucune avancée ne doit se faire au prix d’une dette cog­ni­tive qui ruin­erait notre capac­ité à penser par nous-mêmes, et avec elle, notre rap­port à notre pro­pre humanité.

L’évaluation de l’intégrité arti­fi­cielle des sys­tèmes numériques, en par­ti­c­uli­er ceux inté­grant de l’intelligence arti­fi­cielle, doit devenir une exi­gence cen­trale dans toute trans­for­ma­tion numérique. Elle sup­pose la mise en œuvre de mécan­ismes fonc­tion­nels de pro­tec­tion cog­ni­tive, conçus pour prévenir l’apparition, lim­iter l’impact, ou sup­primer les écarts d’intégrité fonc­tion­nels, en vue de préserv­er la com­plex­ité cog­ni­tive, émo­tion­nelle et iden­ti­taire de l’humain.

#1 Détournement fonctionnel

L’u­til­i­sa­tion de la tech­nolo­gie à des fins ou dans des rôles non prévus par le con­cep­teur ou l’or­gan­i­sa­tion util­isatrice peut ren­dre inopérants ou inef­fi­caces la logique d’usage du logi­ciel et les modes de gou­ver­nance interne, créant ain­si une con­fu­sion fonc­tion­nelle et rela­tion­nelle1.

Exem­ple : Un chat­bot conçu pour répon­dre à des ques­tions sur la poli­tique RH de l’en­tre­prise est util­isé comme sub­sti­tut à une hiérar­chie humaine pour la ges­tion des con­flits ou l’at­tri­bu­tion de tâches.

#2 Trou fonctionnel  

L’ab­sence d’é­tapes ou de fonc­tions néces­saires, car non dévelop­pées et donc non présentes dans la logique de fonc­tion­nement de la tech­nolo­gie, crée un « vide fonc­tion­nel » vis-à-vis de l’usage de l’u­til­isa­teur2.

Exem­ple : Une tech­nolo­gie de généra­tion de con­tenu (telle que l’IA généra­tive) ne per­me­t­tant pas d’ex­porter directe­ment le con­tenu dans un for­mat exploitable (Word, PDF, CMS) dans la qual­ité atten­due, lim­i­tant ou blo­quant ain­si son usage opérationnel.

#3 Sécurité fonctionnelle

L’ab­sence de garde-fous, d’é­tapes de val­i­da­tion humaine ou de mes­sages d’in­for­ma­tion dans le cadre de l’exé­cu­tion par le sys­tème d’une action dont les effets sont irrémé­di­a­bles peut ne pas cor­re­spon­dre à l’in­ten­tion de l’u­til­isa­teur3.

Exem­ple : Une tech­nolo­gie mar­ket­ing envoie automa­tique­ment des e‑mails à une liste de con­tacts sans aucun dis­posi­tif per­me­t­tant soit de blo­quer l’en­voi, soit de sol­liciter une véri­fi­ca­tion par l’u­til­isa­teur, soit de génér­er une alerte d’in­for­ma­tion à son atten­tion, en cas d’ab­sence de con­fir­ma­tion d’un critère déter­mi­nant con­di­tion­nant la sûreté et la qual­ité de l’en­voi : la bonne liste d’envoi.

#4 Aliénation fonctionnelle 

La créa­tion de com­porte­ments automa­tiques ou de réflex­es con­di­tion­nés de l’or­dre du réflexe pavlovien peut réduire ou anni­hiler la capac­ité de réflex­ion et de juge­ment de l’u­til­isa­teur, entraî­nant un phénomène d’éro­sion de sa sou­veraineté déci­sion­nelle4.

Exem­ple : Accep­ta­tion sys­té­ma­tique des cook­ies ou val­i­da­tion aveu­gle d’alertes sys­tème par des util­isa­teurs fatigués cognitivement.

#5 Idéologie fonctionnelle  

La dépen­dance affec­tive à la tech­nolo­gie peut con­duire à l’altéra­tion ou à la neu­tral­i­sa­tion du sens cri­tique, ain­si qu’à la con­struc­tion men­tale d’une idéolo­gie ali­men­tant l’émer­gence de dis­cours de rel­a­tivi­sa­tion, de ratio­nal­i­sa­tion ou de déni col­lec­tif quant à son bon fonc­tion­nement ou son non-fonc­tion­nement5.

Exem­ple : Jus­ti­fi­ca­tion de man­que­ments ou d’er­reurs pro­pres au fonc­tion­nement de la tech­nolo­gie par l’ar­gu­ment de type « Ce n’est pas la faute de l’outil » ou « L’outil ne peut pas devin­er ce que l’utilisateur oublie ».

#6 Cohérence culturelle fonctionnelle  

L’an­tin­o­mie et l’in­jonc­tion con­tra­dic­toire entre le sché­ma logique imposé ou influ­encé par la tech­nolo­gie et les valeurs ou principes com­porte­men­taux pro­mus par la cul­ture organ­i­sa­tion­nelle peu­vent créer des ten­sions6.

Exem­ple : Work­flow tech­nologique qui con­duit à la créa­tion d’équipes de val­i­da­tion et de con­trôle du tra­vail réal­isé par d’autres dans une organ­i­sa­tion qui promeut et val­orise l’empow­er­ment des équipes.

#7 Transparence fonctionnelle 

L’ab­sence ou l’i­nac­ces­si­bil­ité de la trans­parence et de l’ex­plic­a­bil­ité des mécan­ismes déci­sion­nels ou des logiques algo­rith­miques pour l’u­til­isa­teur quant au fonc­tion­nement de la tech­nolo­gie peut empêch­er l’u­til­isa­teur d’an­ticiper, de sur­pass­er ou d’outrepass­er l’in­ten­tion de l’u­til­isa­teur7.

Exem­ple : Présélec­tion de can­di­da­tures par une tech­nolo­gie qui procède à une ges­tion des con­flits et à des arbi­trages entre critères de choix défi­nis par l’u­til­isa­teur (expéri­ence, diplôme, soft skills) sans que les règles de pondéra­tion ou d’ex­clu­sion soient explicite­ment vis­i­bles, mod­i­fi­ables et véri­fi­ables par l’utilisateur.

#8 Addiction fonctionnelle  

La présence de fonc­tion­nal­ités reposant sur la lud­i­fi­ca­tion (aus­si nom­mée gam­i­fi­ca­tion), la grat­i­fi­ca­tion immé­di­ate ou des sys­tèmes de micro-récom­pens­es cal­i­brés pour hack­er les cir­cuits de moti­va­tion de l’u­til­isa­teur peut activ­er les mécan­ismes de récom­pense neu­rologiques pour stim­uler des com­porte­ments répéti­tifs, com­pul­sifs et addic­togènes, induisant une décom­pen­sa­tion émo­tion­nelle et des cycles d’au­to-ren­force­ment8.

Exem­ple : Noti­fi­ca­tions, likes, algo­rithmes de scroll infi­ni, bonus visuels ou sonores, paliers atteints par la mécanique de points, badges, niveaux ou scores pour main­tenir l’en­gage­ment de façon expo­nen­tielle et durable.

#9 Propriété fonctionnelle 

L’appropriation, la réu­til­i­sa­tion ou le traite­ment de don­nées per­son­nelles ou intel­lectuelles par une tech­nolo­gie, quelle que soit leur acces­si­bil­ité publique, sans le con­sen­te­ment éclairé, explicite et sig­ni­fi­catif de leur pro­prié­taire ou créa­teur, soulève des ques­tions éthiques et juridiques9.

Exem­ple : Un mod­èle d’IA entraîné sur des images, des textes ou des voix d’individus trou­vés en ligne, monéti­sant ain­si l’identité, les con­nais­sances ou les œuvres de quelqu’un sans autori­sa­tion préal­able, et sans aucun mécan­isme d’acceptation explicite, ni licence, ni attri­bu­tion transparente.

#10 Biais fonctionnel 

L’incapacité d’une tech­nolo­gie à détecter, atténuer ou prévenir des biais ou des sché­mas dis­crim­i­na­toires, que ce soit dans sa con­cep­tion, ses don­nées d’entraînement, sa logique déci­sion­nelle ou son con­texte de déploiement, peut entraîn­er un traite­ment injuste, une exclu­sion ou une dis­tor­sion sys­témique vis-à-vis d’individus ou de groupes10.

Exem­ple : Un sys­tème de recon­nais­sance faciale dont les per­for­mances sont net­te­ment moins fiables pour les per­son­nes à la peau fon­cée, en rai­son de don­nées d’entraînement déséquili­brées, et ce, sans garde-fous fonc­tion­nels con­tre les biais ni mécan­ismes de responsabilité.

Le coût de l’ab­sence d’in­tégrité arti­fi­cielle impacte de nom­breux cap­i­taux, notam­ment celui de l’humain.

Étant don­né leur inter­dépen­dance avec les sys­tèmes humains, les dix écarts d’intégrité fonc­tion­nels en matière d’in­tégrité arti­fi­cielle doivent être exam­inés à tra­vers une approche sys­témique, englobant les niveaux nano (biologique, neu­rologique), micro (indi­vidu­el, com­porte­men­tal), macro (organ­i­sa­tion­nel, insti­tu­tion­nel) et méta (cul­turel, idéologique)11.

Le coût asso­cié à l’ab­sence d’in­tégrité arti­fi­cielle dans les sys­tèmes, qu’ils intè­grent ou non l’in­tel­li­gence arti­fi­cielle, impacte divers cap­i­taux : humain, cul­turel, déci­sion­nel, répu­ta­tion­nel, tech­nologique et financier. Ce coût se man­i­feste par une destruc­tion de valeur durable, ali­men­tée par des risques insouten­ables et une aug­men­ta­tion incon­trôlée du coût du cap­i­tal investi pour génér­er des ren­de­ments (ROIC), trans­for­mant ces investisse­ments tech­nologiques en hand­i­caps struc­turels pour la rentabil­ité de l’en­tre­prise et, par con­séquent, pour sa via­bil­ité à long terme. L’en­tre­prise n’adopte pas une trans­for­ma­tion numérique respon­s­able unique­ment pour répon­dre aux attentes socié­tales, mais parce que sa per­for­mance durable en dépend et parce qu’elle con­tribue ain­si à ren­forcer les tis­sus vivants de la société qui l’ir­rigue et dont elle a besoin pour croître.

1Ash, J., Kitchin, R., & Leszczyn­s­ki, A. (2018). Dig­i­tal turn, dig­i­tal geo­gra­phies? Progress in Human Geog­ra­phy, 42(1), 25–43. https://​doi​.org/​1​0​.​1​1​7​7​/​0​3​0​9​1​3​2​5​1​6​6​64800
2Ver­beek, P.-P. (2005). What things do: Philo­soph­i­cal reflec­tions on tech­nol­o­gy, agency, and design. Penn State Press.
3Per­row, C. (1999). Nor­mal acci­dents: Liv­ing with high-risk tech­nolo­gies. Prince­ton Uni­ver­si­ty Press.
4Gray, C. M., Kou, Y., Bat­tles, B., Hog­gatt, J., & Toombs, A. L. (2018). The dark (pat­terns) side of UX design. In Pro­ceed­ings of the 2018 CHI Con­fer­ence on Human Fac­tors in Com­put­ing Sys­tems (CHI ’18) (Paper No. 534, pp. 1–14). Asso­ci­a­tion for Com­put­ing Machin­ery. https://​doi​.org/​1​0​.​1​1​4​5​/​3​1​7​3​5​7​4​.​3​1​74108
5Flori­di, L., Cowls, J., Bel­tram­et­ti, M., Chati­la, R., Chazerand, P., Dignum, V., … & Vayena, E. (2018). AI4People—An eth­i­cal frame­work for a good AI soci­ety: Oppor­tu­ni­ties, risks, prin­ci­ples, and rec­om­men­da­tions. Minds and Machines, 28(4), 689–707. https://doi.org/10.1007/s11023-018‑9482‑5
6Ge, X., Xu, C., Mis­a­ki, D., Markus, H. R., & Tsai, J. L. (2024). How cul­ture shapes what peo­ple want from AI. Stan­ford SPARQ. https://​sparq​.stan​ford​.edu/​s​i​t​e​s​/​g​/​f​i​l​e​s​/​s​b​i​y​b​j​1​9​0​2​1​/​f​i​l​e​s​/​m​e​d​i​a​/​f​i​l​e​/​c​u​l​t​u​r​e​-​a​i.pdf 
7Gutiér­rez, J. D. (2025, April 9). Why does algo­rith­mic trans­paren­cy mat­ter and what can we do about it? Open Glob­al Rights. https://​www​.open​glob​al​rights​.org/​w​h​y​-​d​o​e​s​-​a​l​g​o​r​i​t​h​m​i​c​-​t​r​a​n​s​p​a​r​e​n​c​y​-​m​a​t​t​e​r​-​a​n​d​-​w​h​a​t​-​c​a​n​-​w​e​-​d​o​-​a​b​o​u​t-it/
8Yin, C., Wa, A., Zhang, Y., Huang, R., & Zheng, J. (2025). Explor­ing the dark pat­terns in user expe­ri­ence design for short-form videos. In N. A. Stre­itz & S. Kono­mi (Eds.), Dis­trib­uted, ambi­ent and per­va­sive inter­ac­tions (Lec­ture Notes in Com­put­er Sci­ence, Vol. 15802, pp. (pp. 330–347). Springer. https://doi.org/10.1007/978–3‑031–92977-9_21
9Flori­di, L., Cowls, J., Bel­tram­et­ti, M., Chati­la, R., Chazerand, P., Dignum, V., … & Vayena, E. (2018). AI4People—An eth­i­cal frame­work for a good AI soci­ety: Oppor­tu­ni­ties, risks, prin­ci­ples, and rec­om­men­da­tions. Minds and Machines, 28(4), 689–707. https://doi.org/10.1007/s11023-018‑9482‑5
10Nation­al Insti­tute of Stan­dards and Tech­nol­o­gy. (2021). NIST Spe­cial Pub­li­ca­tion 1270: Towards a stan­dard for iden­ti­fy­ing and man­ag­ing bias in arti­fi­cial ntel­li­gencehttps://​nvlpubs​.nist​.gov/​n​i​s​t​p​u​b​s​/​S​p​e​c​i​a​l​P​u​b​l​i​c​a​t​i​o​n​s​/​N​I​S​T​.​S​P​.​1​2​7​0.pdf
11H. (2024). Arti­fi­cial integri­ty: The paths to lead­ing AI toward a human-cen­tered future. Wiley ;

Le monde expliqué par la science. Une fois par semaine, dans votre boîte mail.

Recevoir notre newsletter