Een recente reeks onderzoeken heeft een al lang bestaand academisch probleem scherp in beeld gebracht: een aanzienlijk deel van het sociaalwetenschappelijk onderzoek houdt mogelijk geen stand onder de loep. Bevindingen uit het SCORE-project (Systematizing Confidence in Open Research and Evidence) suggereren dat bijna de helft van de resultaten die in gerenommeerde sociaalwetenschappelijke tijdschriften worden gepubliceerd, niet door onafhankelijke onderzoekers kunnen worden gerepliceerd.
Hoewel dit nieuws misschien alarmerend klinkt, benadrukt het een fundamentele spanning in de manier waarop we kennis produceren, valideren en gebruiken in een steeds complexer wordende wereld.
De kern van het probleem: reproduceerbaarheid versus replicatie
Om het huidige debat te begrijpen, is het essentieel om onderscheid te maken tussen twee vaak verwarde termen:
- Reproduceerbaarheid: Het vermogen om dezelfde resultaten te bereiken met behulp van dezelfde originele gegevens en methoden.
- Replicatie: De mogelijkheid om dezelfde resultaten te bereiken met behulp van nieuwe gegevens in verschillende contexten.
Het SCORE-project, een zevenjarig project, analyseerde 3.900 sociaalwetenschappelijke artikelen. De bevindingen brachten een duidelijke trend aan het licht: nieuwer onderzoek en studies gepubliceerd in tijdschriften die het delen van open data verplicht stellen, hebben een aanzienlijk grotere kans om te worden gereproduceerd. Dit suggereert dat transparantie het meest effectieve tegengif tegen fouten is.
Waarom de wetenschap moeite heeft zichzelf te herhalen
De moeilijkheid bij het repliceren van resultaten is niet noodzakelijkerwijs een teken van fraude, maar eerder een weerspiegeling van de onderwerpen die worden bestudeerd. In tegenstelling tot de laboratoriumfysica, waar variabelen strikt gecontroleerd kunnen worden, houden sociale en medische wetenschappen zich bezig met complexe menselijke systemen.
Verschillende factoren dragen bij aan deze moeilijkheid:
– Variabele omgevingen: Menselijk gedrag en medische resultaten worden beïnvloed door uiteenlopende casussen, veranderende sociale contexten en onvoorspelbare individuele verschillen.
– Resourcebeperkingen: Het uitvoeren van een volledige replicatie is duur en tijdrovend. De meeste academische onderzoekers worden gestimuleerd om nieuw werk te produceren om hun carrière vooruit te helpen, in plaats van jarenlang oude studies opnieuw te testen.
– Methodologische complexiteit: Hoewel het opnieuw analyseren van bestaande gegevens relatief eenvoudig is, is het opnieuw creëren van een heel experiment vanaf het begin een enorme onderneming die zelfs AI nog niet efficiënt kan oplossen.
De politieke bewapening van twijfel
Een van de belangrijkste geïdentificeerde risico’s is niet de wetenschappelijke fout zelf, maar de manier waarop die fout door beleidsmakers wordt waargenomen. Er is een groeiende trend om wetenschappelijke onzekerheid om te zetten in politieke ontkenning.
Door het natuurlijke proces van wetenschappelijke verfijning als een ‘crisis’ te beschouwen, kunnen politieke actoren legitieme onzekerheid herschikken als bewijs van systemisch falen. Deze tactiek wordt vaak gebruikt om passiviteit te rechtvaardigen of om robuust bewijsmateriaal dat een specifieke agenda tegenspreekt, van de hand te wijzen.
Het behandelen van non-replicatie als een totale diskwalificatie van een theorie verwart onzekerheid met onwetendheid, waardoor een verlamming van de besluitvorming riskeert waar menselijk oordeel het meest nodig is.
Vertrouwen opbouwen door transparantie
De oplossing voor het reproduceerbaarheidsprobleem is niet het verlaten van de sociale wetenschappen, maar het hervormen van de onderzoekscultuur. Om vooruit te komen moet de academische gemeenschap zich richten op:
- Universele gegevenstransparantie: In navolging van financiers als de Britse Economic and Social Research Council zouden meer instellingen van onderzoekers moeten eisen dat ze hun onderliggende gegevens delen.
- Verificatie stimuleren: Het huidige academische ‘publiceren of vergaan’-model geeft prioriteit aan nieuwigheid. Het verschuiven van prikkels om onderzoekers te belonen die bestaande resultaten testen en verifiëren, zou het mogelijk maken dat het wetenschappelijke record effectiever wordt ‘autocorrectie’.
- Contextualiseren van bewijsmateriaal Beleidsmakers moeten geleerd worden individuele onderzoeken te zien als stukjes van een grotere puzzel. Een enkele mislukte replicatie maakt een veld niet ongeldig; in plaats daarvan moeten de bevindingen worden afgewogen tegen de volledige beschikbare wetenschappelijke basis.
Conclusie
Het onvermogen om bepaalde onderzoeken te repliceren is een signaal voor structurele hervormingen, en geen reden om de sociale wetenschappen terzijde te schuiven. Het vertrouwen in onderzoek zal worden opgebouwd door transparantie te omarmen en onzekerheid te erkennen, in plaats van te proberen te doen alsof deze niet bestaat.
