Le constat d'une crise

En 2012, un article scientifique affirmait sérieusement avoir mis en évidence un phénomène de perception extrasensorielle (ESP). La même année, une autre étude démontrait, de manière non moins sérieuse, comment rajeunir des participants en leur faisant écouter un morceau des Beatles. Ces deux publications, citées comme exemples de dérives méthodologiques, ont alimenté ce que les chercheurs nomment désormais la « crise de la réplication » en psychologie.

Dans une contribution publiée par la British Psychological Society, Isaac Handley-Miner, docteur en psychologie, revient sur la genèse de cette crise et propose une nouvelle approche pour y remédier : la « relecture transparente » (Transparent Replications). Le chercheur, qui a effectué ses premières armes dans le champ de la psychologie au moment où les premiers signes de la crise apparaissaient, décrit les pratiques controversées qui ont fragilisé la discipline. « Data mining », « data dredging », « data fishing », « fishing for significance », « significance chasing », « undisclosed analytic flexibility » ou encore « p-hacking » : autant de termes désignant les pratiques de sélection et de rapport de tests statistiques en fonction de la désirabilité des résultats.

Les racines de la crise

L'auteur rappelle que dès 2013, Daniel Kahneman, prix Nobel d'économie et figure majeure de la psychologie cognitive, avait adressé une lettre aux chercheurs spécialistes de l'amorçage social (social priming) dans laquelle il écrivait : « Je vois un désastre se profiler ». Ce constat précoce a été confirmé en 2015 par l'Open Science Collaboration, dont les travaux ont montré que moins de la moitié des cent articles tirés des trois meilleures revues de psychologie parvenaient à être reproduits avec succès.

La proposition des relectures transparentes

Pour sortir de cette impasse, Isaac Handley-Miner propose un protocole de « relectures transparentes ». Il s'agit d'un processus collaboratif associant les auteurs originaux d'une étude à des équipes de réplication. Au cours de ce processus, les chercheurs discutent de leurs attentes concernant les résultats d'une reproduction, puis comparent ces prédictions aux données obtenues. Cette méthode vise à réduire les biais de confirmation et à clarifier les conditions sous lesquelles un effet est censé se manifester.

Un contexte toujours houleux

La vive controverse autour de la réplication a connu un nouveau rebondissement en 2023, lorsqu'une large équipe de chercheurs a échoué à reproduire certains effets fondateurs de l'amorçage comportemental. L'un de ces effets, l'« amorçage senior », qui suggérait que l'exposition à des mots liés à la vieillesse ralentissait la marche des participants, a été au cœur de l'un des échecs les plus médiatisés. Les critiques ont souligné que des pratiques de « p-hacking » – la manipulation des analyses statistiques pour obtenir des résultats significatifs – pourraient expliquer les résultats originaux.

Des implications pour l'ensemble de la recherche

Au-delà de la psychologie, les enjeux de la réplication concernent l'ensemble des disciplines empiriques. La biologiste et philosophe des sciences Daniela L. G. MacLeod, également citée dans la contribution, souligne que « la transparence des méthodes et des données n'est pas une option, mais une condition de la scientificité ». De nombreux comités éditoriaux de revues scientifiques imposent désormais la pré-enregistrement des protocoles, une obligation qui facilite les réplications ultérieures.

En France, l'Agence nationale de la recherche (ANR) a récemment intégré des critères de réplication dans ses appels à projets pour les sciences humaines et sociales. Plusieurs laboratoires, dont celui de psychologie cognitive de l'Université Paris Cité, ont mis en place des « réplications internes » systématiques avant de soumettre leurs résultats à publication.

Vers une reconnaissance des réplications

Le mouvement en faveur des réplications transparentes gagne du terrain. Des initiatives comme le « Registered Replication Report » (RRR) proposent aux chercheurs de soumettre un plan de réplication avant de recueillir les données, garantissant ainsi la publication des résultats, qu'ils soient positifs ou négatifs. Plusieurs revues de psychologie, dont le Journal of Experimental Psychology: General et Psychological Science, ont adopté ce format.

Pour Isaac Handley-Miner, la prochaine frontière de l'amélioration de la recherche psychologique passe par la normalisation des pratiques de relecture transparente et par la formation des jeunes chercheurs à ces méthodes. « Les étudiants en thèse d'aujourd'hui sont les gardiens de la crédibilité de demain », conclut-il.