Tricher ou “chatter” : ChatGPT est-il une menace pour l’éducation ?

Que ce soit pour le ser­vice client, le mar­ket­ing, les jeux vidéo ou l’apprentissage en ligne, les « chat­bots » sont couram­ment util­isés depuis plusieurs dizaines d’années¹². Le tout pre­mier chat­bot, ELIZA, dévelop­pé dans les années 1960 au Lab­o­ra­toire d’in­tel­li­gence arti­fi­cielle du MIT, a été pen­sé pour simuler un psy­chothérapeute, en util­isant un traite­ment de lan­gage naturel pour répon­dre aux ques­tions de l’u­til­isa­teur. Aujourd’hui, près de soix­ante ans plus tard, les chat­bots devi­en­nent de plus en plus sophis­tiqués, util­isant l’IA pour com­pren­dre les don­nées saisies par l’u­til­isa­teur, ce qui per­met de pro­duire des con­ver­sa­tions plus naturelles et plus intel­li­gentes. Plus la tech­nolo­gie pro­gresse, plus les chat­bots sont sus­cep­ti­bles de devenir encore plus per­fec­tion­nés, générant des con­ver­sa­tions encore plus flu­ides et per­son­nal­isées dans divers secteurs, en pas­sant de la san­té jusqu’à la finance³.

Chat­G­PT, mis en ser­vice le 30 novem­bre 2022, est un chat­bot – c’est-à-dire un pro­gramme infor­ma­tique conçu pour simuler une con­ver­sa­tion avec un humain – dévelop­pé par l’entreprise Ope­nAI, basée à San Fran­cis­co. Comme son nom anglais l’indique, Chat­G­PT est fondé sur le GPT (Gen­er­a­tive Pre-Trained Trans­former, ou « Trans­formeur génératif pré-entraîné »), un type de mod­èle d’intelligence arti­fi­cielle (IA) entraîné à par­tir de grandes quan­tités de don­nées textuelles et util­isé pour génér­er des répons­es textuelles aux ques­tions de ses util­isa­teurs. Si Chat­G­PT gagne actuelle­ment en pop­u­lar­ité, c’est grâce à sa capac­ité à pro­duire des répons­es attrayantes et con­va­in­cantes dans un lan­gage naturel, ce qui en fait un out­il utile et facile à utilis­er pour autant de tâch­es comme la créa­tion de con­tenu, le ser­vice client automa­tique ou encore le traite­ment automa­tique des langues (Nat­ur­al Lan­guage Pro­cess­ing)⁴. De ce fait, le corps enseignant s’interroge sur les risques relat­ifs à l’utilisation des chat­bots par les étu­di­ants. De plus, depuis à peine quelques jours Ope­nAI a mis en ser­vice GPT‑4, le suc­cesseur de Chat­G­PT. Il reste à voir à quel point cette nou­velle ver­sion est plus avancée que la précédente.

Si la triche est un prob­lème intem­porel dans le sys­tème sco­laire⁵, les chat­bots fondés sur l’IA sont une nou­velle façon de trich­er pour ceux qui sont prêts à pos­er des ques­tions pour leurs devoirs ou leurs éval­u­a­tions. Par exem­ple, au lieu d’utiliser la doc­u­men­ta­tion mise à dis­po­si­tion par le pro­fesseur, un élève peut utilis­er le chat­bot pour deman­der la solu­tion d’un prob­lème de math­é­ma­tiques ou obtenir la réponse d’un QCM. Il est à not­er que cela se rap­proche de la pos­si­bil­ité de pos­er une ques­tion à un moteur de recherche comme Google ou Bing (qui pour­rait d’ailleurs bien­tôt héberg­er Chat­G­PT⁶). C’est au pro­fesseur qu’il revient de déter­min­er si cette action, assez com­mune, relève de la triche.

Si la triche est un prob­lème intem­porel dans le sys­tème sco­laire, les chat­bots sont une nou­velle façon de tricher. 

Copié !

Cer­tains chat­bots sont même spé­cial­isés dans la réso­lu­tion d’un cer­tain type de prob­lème. DeepL Trans­late, par exem­ple, est un logi­ciel de tra­duc­tion en ligne fondé sur l’IA qui per­met aux util­isa­teurs de traduire en dif­férentes langues des textes, des sites inter­net et des doc­u­ments de façon pré­cise et rapi­de. D’autres chat­bots sont spé­cial­isés dans l’écriture de code, comme Code­bots et Autocode. Si ces chat­bots sont ini­tiale­ment conçus pour aider des util­isa­teurs bien inten­tion­nés à résoudre des tâch­es ardues ou répéti­tives, ils peu­vent être détournés de leur but pre­mier par des étu­di­ants prêts à tricher.

En plus de répon­dre à des ques­tions cour­tes, les IA pré-entraînées peu­vent être util­isées pour génér­er des dis­ser­ta­tions avec un sem­blant d’érudition. Les out­ils de para­phrase comme Quill­bot, Paper­pal ou Wor­dAI sont déjà acces­si­bles depuis plusieurs années et peu­vent, assez effi­cace­ment, trans­former un texte mal rédigé en devoir raisonnable­ment bien for­mulé, ou même mod­i­fi­er un texte orig­inel pour empêch­er le pla­giat d’être détec­té. Mais il est plus alar­mant de con­stater qu’en réponse à une courte demande, cer­tains chat­bots ont la capac­ité de pro­duire des dis­ser­ta­tions pro­lix­es, qui sem­blent rédigées par un humain, en seule­ment quelques secondes.

Sur Chat­G­PT, les élèves peu­vent très facile­ment ajuster divers paramètres, comme la longueur de réponse du bot, le niveau d’aléatoire instil­lé dans la dis­ser­ta­tion, ou le mod­èle d’IA util­isé par le chat­bot. La dis­ser­ta­tion qui est générée peut ensuite être ren­due telle quelle, ou util­isée comme un point de départ que l’élève peut mod­i­fi­er. Avec cette pra­tique, les étu­di­ants peu­vent pro­duire des dis­ser­ta­tions sérieuses très facile­ment, et en quelques min­utes. Si l’on fait plusieurs fois la même demande au chat­bot, le logi­ciel génère plusieurs ver­sions dif­férentes de la même dis­ser­ta­tion (voir Image 1), ce qui per­met aux élèves de sélec­tion­ner la ver­sion qui répond le mieux à leurs besoins, ou même de copi­er-coller des pas­sages des dif­férentes ver­sions pour créer une toute nou­velle dis­ser­ta­tion. Quand cette dernière tech­nique est util­isée, il est pour le moment impos­si­ble d’être sûr à 100 % qu’un devoir a été rédigé avec un chat­bot ou non.

Avec les chat­bots, les étu­di­ants peu­vent facile­ment tomber dans le pla­giat sans même s’en ren­dre compte dès lors qu’ils présen­tent la réponse générée par le chat­bot comme leur pro­pre tra­vail sans citer les sources util­isées par le bot. Ce type de pla­giat est d’autant plus dif­fi­cile à repér­er étant don­né que de nom­breux chat­bots rajoutent une part d’aléatoire à leurs mod­èles-types. De plus, même si le chat­bot peut créer de toutes pièces des phras­es ou des para­graphes entiers, il peut mal­gré tout fournir aux util­isa­teurs des idées et des for­mu­la­tions qui se rap­prochent beau­coup du cor­pus orig­i­nal util­isé par l’IA. Par con­séquent, il est cru­cial que les util­isa­teurs qui utilisent un chat­bot pren­nent des mesures pour s’assurer qu’ils ne font pas de pla­giat. Mais à l’avenir, puisque cer­tains chat­bots sont spé­cial­isés dans la recherche des sources⁷, il sera bien­tôt pos­si­ble de voir des textes générés par des chat­bots qui utilisent d’autres chat­bots pour référencer leurs travaux !

Les chat­bots, à l’inverse des humains, n’ont pas ou peu la capac­ité à com­pren­dre le con­texte d’une con­ver­sa­tion, ce qui peut les men­er à don­ner des répons­es incor­rectes ou des infor­ma­tions con­fus­es. De plus, ils peu­vent présen­ter de nom­breux biais. Par exem­ple, un chat­bot peut utilis­er un lan­gage qui ren­force les stéréo­types ou les rôles de genre, ou même fournir de fauss­es infor­ma­tions con­cer­nant des sujets stig­ma­tisés ou qui por­tent à con­tro­verse⁸,⁹, ¹⁰. Tay, le chat­bot de Microsoft paru en 2016, était un pro­jet d’IA pour inter­a­gir avec les autres inter­nautes sur Twit­ter : il était conçu de telle sorte à appren­dre de ses con­ver­sa­tions avec de vraies per­son­nes pour devenir de plus en plus intel­li­gent. Quelques semaines après sa mise en ser­vice, Tay a été dés­ac­tivé pour pro­pos con­testa­bles et offen­sants¹¹.

Un point par­ti­c­ulière­ment alar­mant : l’utilisation de chat­bots pour­rait men­er à l’affaiblissement de notre esprit cri­tique. Puisque les chat­bots se per­fec­tion­nent de plus en plus, ils pour­raient fournir les répons­es aux ques­tions sans que les étu­di­ants n’aient besoin de penser par et pour eux-mêmes. Ceci pour­rait amen­er les élèves à devenir des apprenants « pas­sifs », ce qui serait un réel frein à leur développe­ment intel­lectuel mais pour­rait égale­ment réduire leur créativité.

Les chat­bots ont beau avoir l’air nova­teurs et promet­teurs, la tech­nolo­gie qu’ils utilisent existe dans notre quo­ti­di­en depuis des dizaines d’années. Il est fort prob­a­ble que vous lisiez des textes générés par une IA de façon régulière sans même vous en apercevoir. Les agences de presse, comme Asso­ci­at­ed Press ou le Wash­ing­ton Post par exem­ple, utilisent des chat­bots pour pro­duire de courts arti­cles sur l’actualité. Si Asso­ci­at­ed Press s’est tournée vers une solu­tion acces­si­ble sur le marché, Word­smith, en 2014¹², le Wash­ing­ton Post utilise son pro­pre chat­bot en interne, Heli­ograf, depuis au moins 2017¹³. La qual­ité des répons­es que don­nent les chat­bots aug­mente sen­si­ble­ment depuis plusieurs années, et les textes générés par des IA, même dans le cadre sco­laire, sont main­tenant dif­fi­ciles à dif­férenci­er d’une pro­duc­tion écrite par un humain¹⁴. En effet, bien que Chat­G­PT soit vu d’un mau­vais œil dans la com­mu­nauté sci­en­tifique, cela ne l’empêche pas d’être cité (quoique par provo­ca­tion) comme auteurs à part entière par cer­tains arti­cles sci­en­tifiques¹⁵.

Les agences de presse utilisent les chat­bots pour pro­duire de courts arti­cles sur l’actualité. 

Copié !

De plus, même si les chat­bots peu­vent être util­isés pour trich­er (et ils vont l’être¹⁶¹⁷), ils ne sont qu’un out­il sup­plé­men­taire pour les élèves. Même sans con­sid­ér­er le gain de pop­u­lar­ité récent de Chat­G­PT, les étu­di­ants con­nais­sent déjà plusieurs façons de trich­er, comme copi­er sur leurs voisins, rechercher et plagi­er cer­taines infor­ma­tions en ligne, ou même engager quelqu’un pour faire le devoir à leur place. En d’autres ter­mes : si l’élève veut trich­er, il y parviendra.

Une des toutes pre­mières mesures que les pro­fesseurs peu­vent met­tre en place pour lut­ter con­tre l’usage malveil­lant des chat­bots con­siste à adopter de nou­velles régle­men­ta­tions, que ce soit une charte à l’échelle de la classe, ou mieux, de l’école¹⁸. Met­tre à jour les normes de con­duite per­me­t­trait cer­taine­ment de sen­si­bilis­er davan­tage les étu­di­ants et les pro­fesseurs à ces ques­tions. De plus, cela pour­rait décourager de nom­breux élèves qui n’oseraient pas trich­er par peur des con­séquences. Mais mal­gré tout, cela ne résoudrait pas le prob­lème dans son entièreté.

Et si on changeait la façon dont les élèves sont éval­ués ? On pour­rait imag­in­er de nou­veaux types de devoirs, plus créat­ifs, qui ne pour­raient pas être aus­si facile­ment exé­cutés par des chat­bots. Bien que ten­tante, cette solu­tion soulève pour­tant deux prob­lèmes. Tout d’abord, les tech­nolo­gies qui fonc­tion­nent avec l’IA, et notam­ment les chat­bots, sont en plein essor. De ce fait, les efforts que pour­rait faire un pro­fesseur pour adapter ses devoirs pour­raient très bien se voir bal­ay­er par la prochaine mise à jour du chat­bot. D’autre part, les mod­èles d’évaluation qui sont con­sid­érés comme étant « chat­bot friend­ly », comme les dis­ser­ta­tions ou les QCM, sont des out­ils irrem­plaçables pour tester des com­pé­tences comme la com­préhen­sion, l’analyse ou la syn­thèse¹⁹. Les éval­u­a­tions nova­tri­ces et inno­vantes sont tou­jours bonnes à pren­dre, mais elles ne peu­vent con­stituer la seule solution.

Autre solu­tion : le « water­mark­ing » sta­tis­tique²⁰. C’est une tech­nique de tatouage numérique qui est util­isée pour inté­gr­er un mes­sage ou une don­née cachée dans un sig­nal numérique. Pour les chat­bots, ce tatouage numérique serait un ensem­ble de prob­a­bil­ités non ran­domisées per­me­t­tant de sélec­tion­ner cer­tains mots ou cer­taines phras­es, conçu pour être indé­tectable à l’œil nu, tout en étant recon­naiss­able par les ordi­na­teurs. Le water­mark­ing sta­tis­tique pour­rait donc être util­isé pour détecter les textes générés par des chatbots.

Le water­mark­ing sta­tis­tique est une tech­nique de tatouage numérique util­isée pour inté­gr­er un mes­sage ou une don­née cachée dans un sig­nal numérique. 

Copié !

Néan­moins, cette approche com­porte de nom­breux incon­vénients qui lim­i­tent sévère­ment son appli­ca­tion en classe. En effet, les entre­pris­es tech peu­vent être réti­centes à met­tre en place du water­mark­ing à cause du risque que leur chat­bot soit asso­cié à des actions répréhen­si­bles comme le ter­ror­isme ou le cyber­bul­ly­ing. De plus, le water­mark­ing ne fonc­tionne que si l’élève qui triche copie-colle une grande quan­tité de texte. S’il mod­i­fie la dis­ser­ta­tion générée par le chat­bot, ou si le texte est trop court pour l’analyser de façon sta­tis­tique, alors le water­mark­ing n’a pas d’intérêt.

Une des façons de détecter du texte généré par une IA con­siste à tra­quer les for­mu­la­tions étranges et une syn­taxe qui ne sem­ble pas naturelle. Les algo­rithmes d’IA n’ont générale­ment pas la capac­ité d’exprimer des idées de façon naturelle : en con­séquence, le texte qu’ils génèrent peut con­tenir des phras­es sen­si­ble­ment trop longues ou trop cour­tes. De plus, les chat­bots n’enchaînent pas les idées de façon naturelle, tout comme ils peu­vent utilis­er des mots ou des phras­es dans un con­texte qui n’est pas appro­prié. En d’autres ter­mes, la pro­fondeur et la nuance humaines peu­vent man­quer à ce type de textes²¹, par­ti­c­ulière­ment ceux qui sont longs. Précédem­ment, nous avons évo­qué le pla­giat comme un des risques liés à l’utilisation des chat­bots. De ce fait, une façon sim­ple de détecter des textes générés par une IA con­siste à tra­quer le pla­giat²², et plusieurs solu­tions de détec­tion de pla­giat sont déjà disponibles.

De plus, on peut détecter un texte généré par une IA en cher­chant une trace de sig­na­ture sta­tis­tique (« sta­tis­ti­cal sig­na­ture »). À l’origine, les chat­bots sont conçus pour rem­plir une tâche bien pré­cise : prédire les mots ou les phras­es qui sont les plus à même de cor­re­spon­dre à la ques­tion d’un util­isa­teur. En con­séquence, il est très prob­a­ble de trou­ver, n’importe où dans le texte, les mots et les phras­es choi­sis par le chat­bot. C’est dif­férent pour les humains, qui rédi­gent leurs répons­es et leurs textes à l’aide de leurs capac­ités cog­ni­tives plutôt que d’une grille de prob­a­bil­ités, ce qui peut les amen­er à créer des asso­ci­a­tions de mots inso­lites qui restent com­préhen­si­bles. Plus sim­ple­ment, une réponse humaine est moins prévis­i­ble, ou plus créa­tive, que celle d’un chatbot.

Une réponse humaine est moins prévis­i­ble, ou plus créa­tive, que celle d’un chatbot.

Copié !

Cette dif­férence peut être util­isée pour détecter si une suite de mots est plus prévis­i­ble (ce qui est une des sig­na­tures sta­tis­tiques des chat­bots) ou plus créa­tive (et donc, prob­a­ble­ment humaine). Plusieurs logi­ciels exis­tent déjà en ce sens, comme le Giant Lan­guage mod­el Test Room (GLTR), dévelop­pé con­join­te­ment par MIT et Har­vard Uni­ver­si­ty sur la base de l’ancienne ver­sion du mod­èle lin­guis­tique ope­nAI, GPT‑2. Nous avons notam­ment testé GLTR en util­isant soit des textes écrits par nos élèves, soit des textes écrits par Chat­G­PT. Et nous sommes heureux d’annoncer qu’il était très facile de dis­tinguer les répons­es de nos élèves de celles du chat­bot (voir l’encadré ci-dessous) !

En plus de GLTR, d’autres logi­ciels de détec­tion d’Intelligence arti­fi­cielle ont vu le jour, comme le Ope­nAI-Detec­tor, sor­ti peu de temps après GLTR et se fon­dant sur le même principe, ou encore GPTZe­ro, un pro­jet com­mer­cial ini­tiale­ment lancé par un uni­ver­si­taire en 2023. Nous espérons voir bien­tôt émerg­er de nou­veaux out­ils de détec­tion de textes générés par des chat­bots plus ajustés aux besoins des pro­fesseurs, et qui ressem­bleraient aux solu­tions de détec­tion de pla­giat déjà disponibles.

Pour ter­min­er sur une note pos­i­tive, il ne faut pas oubli­er que la plu­part des élèves font leurs devoirs sans pass­er par la triche. La pre­mière action préven­tive que nous avons men­tion­née devrait être mise en place pour motiv­er les élèves en leur expli­quant pourquoi la cul­ture et les com­pé­tences qu’ils acquer­ront pen­dant le cours sont impor­tantes, utiles, et intéres­santes²³. Après tout, les cal­cu­la­tri­ces n’ont pas mis les pro­fesseurs de maths au chô­mage. Google n’a pas provo­qué la fer­me­ture des écoles. Tout au con­traire, nous pen­sons que les pro­fesseurs vont cer­taine­ment s’adapter aux chat­bots qui, mal­gré les ques­tions légitimes qu’ils soulèvent, pour­raient bien­tôt s’avérer ines­timables de bien des façons. Avec le bon encadrement et les bonnes con­signes, les chat­bots peu­vent devenir de puis­sants alliés pour enseign­er et étudi­er, tout comme ils peu­vent devenir très pré­cieux pour le monde professionnel.

Dans cette per­spec­tive, les pro­fesseurs doivent pren­dre l’initiative de famil­iaris­er leurs élèves avec les chat­bots, les aider à com­pren­dre le poten­tiel et les lim­ites de cette tech­nolo­gie, et leur enseign­er com­ment les utilis­er de façon effi­cace, mais aus­si de façon respon­s­able et éthique.

La Sig­na­ture sta­tis­tique pour­rait per­me­t­tre de détecter les textes écrits par un chat­bot

L’expérience : Dans le cadre du cours de neu­ro­science don­né à Sup’Biotech en automne 2022, nous avons rassem­blé les répons­es de 51 élèves à la ques­tion suiv­ante : « Définis­sez briève­ment le terme “champ récep­teur”, puis expliquez com­ment vous mesureriez le champ récep­teur d’un neu­rone dans le cor­tex somatosen­soriel d’un chat. » La ques­tion fai­sait par­tie d’un exa­m­en à livre ouvert, en temps lim­ité et en dis­tan­ciel, réal­isé sur la plate­forme numérique du cours. En par­al­lèle, nous avons demandé à Chat­G­PT de répon­dre 10 fois à la même ques­tion pour obtenir 10 répons­es de chat­bot dif­férentes. Nous avons util­isé GLTR pour com­par­er la sig­na­ture sta­tis­tique des répons­es du chat­bot et des élèves.

Le fonc­tion­nement de GLTR : Pour chaque occur­rence dans le texte, GLTR regarde ce que le chat­bot (plus pré­cisé­ment : GPT‑2, une ver­sion plus anci­enne du mod­èle Chat­G­PT) aurait choisi avant de le com­par­er au mot finale­ment choisi. Par exem­ple, dans la phrase “La biolo­gie est géniale !”, le mot « géniale » est classé 126^ème par­mi tous les mots pos­si­bles que le chat­bot aurait pu choisir (le pre­mier du classe­ment étant « une »). Ensuite, GLTR génère un his­togramme de tous les classe­ments, qui peut être util­isé comme une sim­ple sig­na­ture sta­tis­tique : les textes générés par GPT‑2 sont dom­inés par des mots en haut du classe­ment, tan­dis que les répons­es humaines con­ti­en­nent plus de mots trou­vés en bas du classement. 

Image A : Deux répons­es-types, une écrite par un élève, l’autre par Chat­G­PT. Les répons­es ont été col­orées en fonc­tion du classe­ment de GLTR. À droite, les his­togrammes mon­trent leur sig­na­ture sta­tis­tique. Remar­quons que la réponse humaine con­tient plus de mots en bas du classe­ment GLTR que la réponse du chatbot.

Image B : Nous avons super­posé les his­togrammes obtenus à par­tir des répons­es des 51 élèves et des 10 chat­bots (respec­tive­ment en bleu et en rouge). Là encore, la dif­fer­ence est nette entre les répons­es humaines et celles de Chat­G­PT. Plus sim­ple­ment, en se fon­dant sur l’inspection visuelle d’une sig­na­ture sta­tis­tique, nous sommes plus ou moins cer­tains que nos élèves n’ont pas util­isé Chat­G­PT pour répon­dre à la question.