Opinie

20 november 2018

Wetenschappers vallen door de mand

Kranten schrijven geregeld over ondeugdelijk wetenschappelijk onderzoek. Onlangs bleken de sociale wetenschappen te rammelen. Zo wees dagblad Trouw vooral op het feit dat er niet genoeg fondsen zijn voor replicatie: herhalen van eerder onderzoek. Hoewel dat zeker een factor van belang is, legt het dagblad niet de vinger op de zere plek. Het zit veel dieper. Wetenschap zelf is niet de boosdoener, maar eerder de manier waarop wetenschappers de resultaten interpreteren, vooral daar waar statistiek een rol speelt. De sociale wetenschappen zijn sterk afhankelijk van statistische interpretatie van onderzoeksresultaten.

Al in 2005 legde John Ioannidis in een veelgeciteerd essay uit waarom de meeste statistisch ondersteunde onderzoeksresultaten onjuist zijn. Ja, u leest het goed, de meeste. Ioannidis legde verder uit dat dit feit binnen het huidige statistische denkkader onontkoombaar is. Het is dus niet verwonderlijk dat replicatie andere resultaten geeft, het is gewoon te verwachten.

Maar hoe is dat mogelijk, hoor ik u denken. Kunnen we resultaten van wetenschappelijk onderzoek dan helemaal niet meer vertrouwen? En waarom doen die wetenschappers daar dan niets aan? Als er iets mis is met de toepassing van de statistiek, dan kan dat probleem toch opgelost worden?

Wat de eerste vraag betreft is het inderdaad zo dat wetenschappelijke resultaten gebaseerd op statistische overwegingen vaak niet te vertrouwen zijn. Het is namelijk helemaal niet zo eenvoudig om precies te begrijpen wanneer verzamelde gegevens bewijs voor een bepaalde hypothese vormen. Maar de meeste wetenschappers volgen gewoon de gebruikelijke methode, zonder zich verder iets af te vragen.

De problemen zijn talloos. Zo kun je bijvoorbeeld aan de hand van verkregen data een hypothese opstellen, die bij toetsing door diezelfde data natuurlijk bevestigd wordt. Deze vorm van fraude is nauwelijks op te sporen, behalve door het experiment te herhalen, hetgeen zelden gebeurt.

Een tweede probleem kan ik aan de hand van een analogie uitleggen. Stel, ik win de Staatsloterij, en mijn buurman, gedreven door enige jaloezie, wil eens kijken of dat eerlijk gegaan is. Hij redeneert: stel, Ronald Meester heeft niet gefraudeerd. Dan is de kans op de data (Ronald Meester heeft gewonnen) extreem klein. Immers, voor iedereen is de kans op een winnend lot erg klein. Mijn buurman concludeert dat die kans zo klein is dat hij niet meer in mijn eerlijkheid gelooft.

Absurd? Ja, maar dit is hoe men statistiek meestal toepast. Dus is het niet verwonderlijk dat dit tot grote problemen leidt. Mensen zijn op basis van dit soort argumenten veroordeeld voor misdrijven die ze niet hebben begaan.

De oplossing ligt in het heroverwegen van wat statistisch bewijs is. Inmiddels is wel duidelijk dat bewijs voor een bepaalde hypothese alleen maar betekenis heeft als je het afzet tegen een andere hypothese. De vraag moet niet zijn: geven de data aanleiding om een bepaalde hypothese te verwerpen? Maar: zijn er andere hypotheses die de data beter verklaren?

Het zal nog wel enige tijd duren voordat dit gemeengoed is, want ingesleten patronen zijn zeer moeilijk te veranderen. Maar het moet, en het zal ook gaan gebeuren.

De auteur is hoogleraar wiskunde.

 

RONALD MEESTER

hits 55

Reageren?

Houd je bij het onderwerp, en toon respect: commerciële uitingen, smaad, schelden en discrimineren zijn niet toegestaan. De redactie gaat niet in discussie over verwijderde reacties.

Deze vraag is om te controleren dat u een mens bent, om geautomatiseerde invoer (spam) te voorkomen.