Une récente série d’études a mis en lumière une préoccupation universitaire de longue date : une partie importante de la recherche en sciences sociales pourrait ne pas résister à un examen minutieux. Les résultats du projet SCORE (Systematizing Confidence in Open Research and Evidence) suggèrent que près de la moitié des résultats publiés dans des revues de sciences sociales réputées ne peuvent pas être reproduits par des chercheurs indépendants.
Même si cette nouvelle peut paraître alarmante, elle met en lumière une tension fondamentale dans la manière dont nous produisons, validons et utilisons les connaissances dans un monde de plus en plus complexe.
Le cœur du problème : reproductibilité ou réplication
Pour comprendre le débat actuel, il est essentiel de distinguer deux termes souvent confondus :
- Reproductibilité : La capacité d’obtenir les mêmes résultats en utilisant les mêmes données et méthodes originales.
- Réplication : La capacité d’obtenir les mêmes résultats en utilisant de nouvelles données dans différents contextes.
Le projet SCORE, une entreprise de sept ans, a analysé 3 900 articles de sciences sociales. Ses conclusions ont révélé une tendance claire : les recherches et études les plus récentes publiées dans des revues qui imposent le partage de données ouvertes sont nettement plus susceptibles d’être reproduites. Cela suggère que la transparence est l’antidote le plus efficace contre l’erreur.
Pourquoi la science a du mal à se répéter
La difficulté de reproduire les résultats n’est pas nécessairement un signe de fraude, mais plutôt le reflet des sujets étudiés. Contrairement à la physique de laboratoire, où les variables peuvent être strictement contrôlées, les sciences sociales et médicales traitent de systèmes humains complexes.
Plusieurs facteurs contribuent à cette difficulté :
– Environnements variables : Le comportement humain et les résultats médicaux sont influencés par la diversité du nombre de cas, l’évolution des contextes sociaux et les différences individuelles imprévisibles.
– Contraintes de ressources : Réaliser une réplication à grande échelle est coûteux et prend du temps. La plupart des chercheurs universitaires sont incités à produire de nouveaux travaux pour faire progresser leur carrière plutôt que de passer des années à retester d’anciennes études.
– Complexité méthodologique : Bien que réanalyser des données existantes soit relativement simple, recréer une expérience entière à partir de zéro est une entreprise colossale que même l’IA ne peut pas encore résoudre efficacement.
La militarisation politique du doute
L’un des risques les plus importants identifiés n’est pas l’erreur scientifique elle-même, mais la manière dont cette erreur est perçue par les décideurs politiques. Il existe une tendance croissante à transformer l’incertitude scientifique en déni politique.
En décrivant le processus naturel de raffinement scientifique comme une « crise », les acteurs politiques peuvent transformer l’incertitude légitime en preuve d’un échec systémique. Cette tactique est souvent utilisée pour justifier l’inaction ou pour rejeter des preuves solides qui contredisent un programme spécifique.
Traiter la non-réplication comme une disqualification totale d’une théorie confond l’incertitude avec l’ignorance, risquant de paralyser la prise de décision là où le jugement humain est le plus nécessaire.
Bâtir la confiance grâce à la transparence
La solution au problème de la reproductibilité ne consiste pas à abandonner les sciences sociales, mais à réformer la culture de la recherche. Pour avancer, la communauté universitaire doit se concentrer sur :
- Transparence universelle des données : À l’instar de bailleurs de fonds comme le Conseil de recherche économique et social du Royaume-Uni, davantage d’institutions devraient exiger des chercheurs qu’ils partagent leurs données sous-jacentes.
- Vérification incitative : Le modèle académique actuel « publier ou périr » donne la priorité à la nouveauté. Changer les incitations pour récompenser les chercheurs qui testent et vérifient les résultats existants permettrait aux dossiers scientifiques de se « corriger automatiquement » plus efficacement.
- Contextualisation des données probantes : Les décideurs politiques doivent apprendre à considérer les études individuelles comme les pièces d’un puzzle plus vaste. Un seul échec de réplication n’invalide pas un champ ; les résultats doivent plutôt être mis en balance avec l’ensemble de la base de preuves disponible.
Conclusion
L’incapacité de reproduire certaines études est un signal en faveur d’une réforme structurelle, et non une raison pour abandonner les sciences sociales. La confiance dans la recherche se bâtira en faisant preuve de transparence et en reconnaissant l’incertitude, plutôt que d’essayer de prétendre qu’elle n’existe pas.
