Niedawna seria badań pozwoliła przyjrzeć się długotrwałemu problemowi akademickiemu: wiele badań z zakresu nauk społecznych może nie wytrzymać krytyki. Ustalenia projektu SCORE (Systemizing Trust in Open Research and Evidence) pokazują, że prawie połowa wyników opublikowanych w wpływowych czasopismach z zakresu nauk społecznych nie może zostać powtórzona przez niezależnych badaczy.
Chociaż ta wiadomość może brzmieć niepokojąco, uwypukla fundamentalną sprzeczność w sposobie, w jaki tworzymy, testujemy i wykorzystujemy wiedzę w naszym coraz bardziej złożonym świecie.
Sedno problemu: odtwarzalność a replikacja
Aby zrozumieć toczącą się debatę, konieczne jest rozróżnienie dwóch często mylonych terminów:
- Powtarzalność: możliwość uzyskania tych samych wyników przy użyciu tych samych danych wejściowych i metod.
- Replikacja: możliwość uzyskania tych samych wyników przy użyciu nowych danych w różnych warunkach.
W ramach projektu SCORE, który trwał siedem lat, przeanalizowano 3900 artykułów z zakresu nauk społecznych. Jego wyniki ujawniły wyraźną tendencję: nowe badania publikowane w czasopismach, które wymagają otwartego udostępniania danych, mają znacznie większe szanse na powtarzalność. Sugeruje to, że przejrzystość jest najlepszym lekarstwem na błędy.
Dlaczego nauce trudno jest się powtórzyć?
Trudności w odtworzeniu wyników niekoniecznie są oznaką oszustwa; jest raczej odzwierciedleniem specyfiki badanych obiektów. W przeciwieństwie do fizyki laboratoryjnej, gdzie zmienne mogą być ściśle kontrolowane, nauki społeczne i medyczne zajmują się złożonymi systemami ludzkimi.
Przyczynia się do tego kilka czynników:
– Zmienność środowiskowa: na zachowanie ludzi i wyniki leczenia wpływają różne okoliczności, zmieniający się kontekst społeczny i nieprzewidywalne różnice indywidualne.
– Ograniczone zasoby: Przeprowadzenie replikacji na pełną skalę jest kosztowne i czasochłonne. Większość badaczy akademickich jest zmotywowana do tworzenia nowych prac w celu rozwoju swojej kariery, zamiast spędzać lata na ponownym analizowaniu starych badań.
– Złożoność metodologiczna: Ponowna analiza istniejących danych jest stosunkowo prosta, ale odtworzenie całego eksperymentu od zera to kolosalne zadanie, którego nawet sztuczna inteligencja nie jest jeszcze w stanie skutecznie rozwiązać.
Polityczna broń wątpliwości
Jedno z największych zagrożeń nie leży w samym błędzie naukowym, ale w tym, jak decydenci go postrzegają. Istnieje rosnąca tendencja do naukowej niepewności zamieniającej się w polityczne zaprzeczenie.
Określając naturalny proces udoskonalania nauki jako „kryzys”, decydenci mogą postrzegać uzasadnioną niepewność jako dowód niepowodzenia systemowego. Taktykę tę często stosuje się, aby usprawiedliwić bierność lub zignorować przekonujące dowody sprzeczne z konkretnym planem.
Postrzegając niepowodzenie replikacji jako całkowitą porażkę teorii, ludzie mylą niepewność z ignorancją, ryzykując paraliżowaniem procesu decyzyjnego właśnie wtedy, gdy najbardziej potrzebny jest ludzki osąd.
Budowanie zaufania poprzez przejrzystość
Rozwiązaniem problemu odtwarzalności nie jest porzucenie nauk społecznych, ale zreformowanie kultury badań. Aby móc działać dalej, społeczność akademicka musi skupić się na następujących kwestiach:
- Powszechna przejrzystość danych: Idąc za przykładem fundacji takich jak brytyjska Rada ds. Badań Gospodarczych i Społecznych (UKESRC), więcej instytucji powinno wymagać od badaczy publikowania surowych danych.
- Zachęcaj do recenzowania: Obecny model akademicki „publikuj lub zgiń” priorytetowo traktuje nowość. Zmiana zachęt do nagradzania badaczy, którzy testują i potwierdzają istniejące wyniki, umożliwiłaby skuteczniejszą „samokorektę” wiedzy naukowej.
- Kontekstualizacja dowodów: Należy nauczyć decydentów postrzegania poszczególnych badań jako elementów większej układanki. Jedna nieudana replikacja nie unieważnia całej dziedziny nauki; zamiast tego wyniki należy oceniać w oparciu o całość dostępnych dowodów.
Wniosek
Brak powtórzenia niektórych badań jest sygnałem do reformy strukturalnej, a nie powodem do wyrzucenia nauk społecznych na śmietnik historii. Zaufanie do badań będzie budowane na akceptacji przejrzystości i uznaniu niepewności, a nie na udawaniu, że jej nie ma.
