Recherche : comment chasser les erreurs dans les publications médicales
- Avec plusieurs millions d’articles scientifiques publiés chaque année, la dépollution de la littérature scientifique a tout de la recherche d’une aiguille dans une botte de foin.
- L’évaluation visant uniquement les publications à impact est une approche retenue par The Medical Evidence Project, une initiative américaine financée par une subvention de démarrage de 900 000 dollars.
- Les analystes utilisent principalement des méthodes statistiques pour identifier les incohérences dans les données et les conclusions présentées dans les articles.
- GRIM-U est un outil capable de détecter un type particulier d’incohérences mathématiques dans certains tests statistiques.
Lancé en juin 2025 avec un financement de l’organisme de financement philanthropique, Coefficient Giving, The Medical Evidence Project ambitionne de détecter les articles peu fiables, qu’ils soient frauduleux ou non, susceptibles d’influencer les recommandations médicales en vigueur. Nous en discutons avec Alice Dreger, docteur en philosophie et éditrice du projet.
Dépollution de la littérature scientifique : une approche ciblée
Avec plusieurs millions d’articles scientifiques publiés chaque année dans des revues à comité de lecture, la dépollution de la littérature scientifique a tout de la recherche d’une aiguille dans une botte de foin. Par où commencer pour traquer les anomalies ? Si certains misent sur une analyse systématique de toute la littérature pour repérer les traces laissées par certaines pratiques frauduleuses automatisées, d’autres entendent se concentrer sur une évaluation beaucoup plus ciblée, visant uniquement les publications à impact. Cette seconde approche est celle retenue par The Medical Evidence Project, une initiative exploratoire américaine financée par une subvention de démarrage de 900 000 dollars accordée par Coefficient Giving. Anciennement Open Philanthropy, cet organisme se revendique de l’altruisme “efficace” — comprenez : qu’il soutient les initiatives en fonction de leur impact mesurable attendu.
Le projet réunit des membres permanents et des consultants autour de James Heathers, PhD, chercheur associé de l’université de Linnaeus en Suède mais travaillant depuis plusieurs années hors d’un cadre académique classique. Il est hébergé par le Centre pour l’Intégrité scientifique. Cette organisation américaine à but non lucratif, lancée en 2014, est connue pour être l’organisation mère de Retraction Watch, un site d’information recensant et documentant les rétractations d’articles scientifiques.
The Medical Evidence Project a donc fait de l’efficacité son cheval de bataille, en choisissant de se concentrer sur les articles qui soutiennent des recommandations médicales en vigueur ayant une influence directe et significative sur la morbidité et la mortalité des patients, par exemple celles qui sont intégrées dans des guidelines cliniques officielles ou qui influencent la pratique médicale standard. Un objectif que James Heathers résume sur sa page Linkedin par un slogan accrocheur : « Finding bad medical evidence before it kills people. » (repérer les preuves médicales défaillantes avant qu’elles ne tuent des gens).
L’équipe mise pour son entreprise sur « la métascience forensique ». « Elle est exactement ce que son nom indique : un travail d’enquête (forensique) utilisant des outils scientifiques (science) pour examiner la littérature scientifique (une démarche méta). », explique Alice Dreger.
Concrètement, les analystes utilisent principalement des méthodes statistiques pour identifier les incohérences dans les données et les conclusions présentées dans les articles. Comme le souligne James Heathers, qui a formalisé le concept dans un article intitulé Introduction à la métascience forensique1, « l’analyse métascientifique forensique est conçue pour modifier le niveau de confiance en évaluant la cohérence de la recherche. Elle n’est pas conçue pour “détecter la fraude”. Même si cela peut arriver, ce n’est pas l’objectif principal de la métascience forensique en tant que domaine de recherche et pratique — ce n’en est que la conséquence la plus visible ».
GRIM‑U : un premier outil de détection des incohérences mathématiques
Un an seulement après son lancement, il faut avouer que les fruits visibles du projet sont encore limités. Alice Dreger n’y voit toutefois rien d’étonnant : « La première année de notre projet a été conçue dès le départ pour se concentrer sur le développement d’un système permettant de déterminer où nos analystes devraient concentrer leurs efforts en matière d’analyse approfondie. » L’équipe a de fait annoncé la mise au point d’un premier outil, GRIM‑U2, capable de détecter un type particulier d’incohérences mathématiques dans certains tests statistiques, les tests dits « U de Mann-Whitney », qui peuvent être utilisés en recherche clinique pour comparer deux groupes indépendants de patients. « GRIM‑U a récemment servi à éclairer le rapport de Retraction Watch concernant le travail d’un chirurgien. » L’outil aurait en effet détecté des anomalies statistiques dans un court article soutenant l’efficacité d’un dispositif chirurgical développé par le praticien et ses collègues3.
Mais la chercheuse ne s’en cache pas, développer des outils efficaces est une entreprise complexe, et doit affronter des défis majeurs, notamment « les restrictions légales sur l’extraction de données, destinées à protéger les droits de propriété intellectuelle, et la difficulté à optimiser les codes de détection pour éviter les faux positifs ». L’équipe peut par ailleurs compter sur une communauté très collaborative, et n’hésitera pas à utiliser les outils émanant d’autres contributeurs si besoin. Reste à voir, dans les douze prochains mois, si cette stratégie ciblée produira des résultats à la hauteur de ses ambitions.
