Navigace v krizi reprodukovatelnosti: proč vědecká nejistota není selháním

19

Nedávná série studií přinesla zkoumání dlouhotrvajícího akademického problému: mnoho společenskovědních výzkumů nemusí obstát při zkoumání. Zjištění z projektu SCORE (Systemizing Trust in Open Research and Evidence) ukazují, že téměř polovinu výsledků publikovaných ve vysoce působivých společenskovědních časopisech nemohou nezávislí výzkumníci replikovat.

I když tato zpráva může znít znepokojivě, upozorňuje na zásadní rozpor v tom, jak vytváříme, testujeme a využíváme znalosti v našem stále složitějším světě.

Jádro problému: Reprodukovatelnost vs. replikace

Abychom pochopili současnou debatu, je důležité rozlišovat mezi dvěma termíny, které se často zaměňují:

  • Reprodukovatelnost: schopnost získat stejné výsledky pomocí stejných vstupních dat a metod.
  • Replikace: možnost získat stejné výsledky pomocí nových dat za různých podmínek.

Projekt SCORE, který trval sedm let, analyzoval 3900 příspěvků ze společenských věd. Jeho výsledky odhalily jasný trend: nové studie publikované v časopisech, které vyžadují otevřené sdílení dat, mají výrazně vyšší pravděpodobnost, že budou reprodukovatelné. To naznačuje, že transparentnost je nejlepším lékem na chyby.

Proč je pro vědu obtížné opakovat se?

Potíže s replikací výsledků nemusí být nutně známkou podvodu; spíše je odrazem specifik studovaných objektů. Na rozdíl od laboratorní fyziky, kde lze proměnné přísně kontrolovat, se společenské a lékařské vědy zabývají složitými lidskými systémy.

K tomu přispívá několik faktorů:
Proměnlivost prostředí: Chování lidí a lékařské výsledky jsou ovlivněny různými okolnostmi, měnícími se sociálními kontexty a nepředvídatelnými individuálními rozdíly.
Omezené zdroje: Provádění replikace v plném rozsahu je drahé a časově náročné. Většina akademických výzkumných pracovníků je motivována produkovat novou práci, aby pokročila ve své kariéře, spíše než trávit roky přehodnocováním starého výzkumu.
Metodologická složitost: I když je opětovná analýza existujících dat relativně jednoduchá, opětovné vytvoření celého experimentu od nuly je kolosální úkol, který ani umělá inteligence zatím nedokáže efektivně vyřešit.

Politická zbraň pochybností

Jedno z největších rizik nespočívá ve vědecké chybě samotné, ale v tom, jak chybu vnímají tvůrci politik. Roste trend vědecké nejistoty přecházející v politické popírání.

Rámováním přirozeného procesu vědeckého zdokonalování jako „krize“ mohou tvůrci politik označit legitimní nejistotu za důkaz systémového selhání. Tato taktika se často používá k ospravedlnění nečinnosti nebo k ignorování přesvědčivých důkazů, které odporují určité agendě.

Tím, že se na selhání replikace nahlíží jako na naprosté selhání teorie, lidé si pletou nejistotu s neznalostí a riskují, že ochromí rozhodovací proces právě ve chvíli, kdy je nejvíce potřeba lidský úsudek.

Budování důvěry prostřednictvím transparentnosti

Řešením problému reprodukovatelnosti není opuštění společenských věd, ale reforma kultury výzkumu. Aby se akademická obec posunula vpřed, musí se zaměřit na následující:

  1. Univerzální transparentnost dat: Podle příkladu nadací, jako je Britská rada pro ekonomický a sociální výzkum (UKESRC), by více institucí mělo vyžadovat, aby výzkumníci publikovali nezpracovaná data.
  2. Pobídka vzájemného hodnocení: Současný akademický model „publikovat nebo zahynout“ upřednostňuje novost. Změna pobídek k odměňování výzkumných pracovníků, kteří testují a potvrzují stávající výsledky, by umožnila, aby se vědecké poznatky efektivněji „samoopravovaly“.
  3. Kontextualizace důkazů: Politici je třeba naučit vnímat jednotlivé studie jako kousky větší skládačky. Jedna neúspěšná replikace neruší platnost celého vědeckého oboru; místo toho by měly být výsledky posuzovány na základě celku dostupných důkazů.

Závěr
Neschopnost replikovat některé studie je signálem pro strukturální reformu, nikoli důvodem k odsunu společenských věd na smetiště dějin. Důvěra ve výzkum bude postavena na přijetí transparentnosti a uznání nejistoty spíše než na předstírání, že neexistuje.