Kan dat geen toeval zijn?

Een kritische blik op statistische bewijsvoering

Ronald Meester en Klaas Slooten

Amsterdam University Press

Ontwerp omslag: Gijs Mathijs Ontwerpers

Ontwerp binnenwerk: Crius Group, Hulshout

ISBN

978 94 6372 508 8

e-ISBN

978 90 4855 658 8

DOI

10.5117/9789463725088

NUR

916

© R. Meester en K. Slooten/ Amsterdam University Press B.V., Amsterdam 2022

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.

Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikel 16B Auteurswet 1912 j° het Besluit van 20 juni 1974, Stb. 351, zoals gewijzigd bij het Besluit van 23 augustus 1985, Stb. 471 en artikel 17 Auteurswet 1912, dient men de daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3051, 2130 KB Hoofddorp). Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16 Auteurswet 1912) dient men zich tot de uitgever te wenden.

De uitgeverij heeft ernaar gestreefd alle copyrights van in deze uitgave opgenomen illustraties te achterhalen. Aan hen die desondanks menen alsnog rechten te kunnen doen gelden, wordt verzocht contact op te nemen met Amsterdam University Press.

Inhoudsopgave

Voorwoord

Proloog: de zaak Sally Clark

Deel I Klassieke statistiek

1. Significantietoetsen

1.1 Het toetsen van nulhypotheses en statistische significantie

1.2 De logica van significantietoetsen: Fisher aan het woord

1.3 Significantietoetsen negeren de context

1.4 Terug naar Sally Clark

2. p-waardes

2.1 Wat is een p-waarde?

2.2 Het kernprobleem van p-waardes

2.3 Publicatiebias

2.4 Eenzijdig versus tweezijdig: een paradox

2.5 De p-waarde bij getrapt onderzoek

2.6 Meer over getrapt onderzoek

3. Betrouwbaarheidsintervallen

3.1 Wat is een betrouwbaarheidsinterval?

3.2 Betrouwbaarheidsintervallen, p-waardes en effectgrootte

3.3 Afhankelijkheid van de onderzoeksopzet

3.4 Vreemde (en grappige) betrouwbaarheidsintervallen

Deel II Een Bayesiaanse benadering

4. Wat is statistisch bewijs?

4.1 De likelihood ratio

4.2 Likelihood ratio’s bij een onbekende succeskans

4.3 De likelihood ratio lost problemen met p-waardes op

4.4 De grootte van de likelihood ratio

4.5 p-waardes versus likelihood ratio’s

4.6 Likelihood ratio’s en power

5. Bewijs en overtuiging

5.1 Alternatieve hypotheses en context

5.2 Terug naar het argument van Ioannidis

5.3 Een anekdotisch kaartvoorbeeld

5.4 Een filosofisch intermezzo

5.5 Uitgewerkte voorbeelden – geloofwaardigheidsintervallen

5.6 Leken en de prior

5.7 Objectieve Bayes?

5.8 Enkele conclusies

6. De likelihood ratio en de onderzoeksopzet

6.1 Foutkansen en misleidend bewijs

6.2 Hoe vaak komt misleidend bewijs eigenlijk voor?

6.3 Likelihood ratio’s en het ontwerpen van een onderzoeksopzet

6.4 Conclusies

Deel III Statistiek in de praktijk

7. Twee uitgewerkte voorbeelden

7.1 Mondkapjes

7.2 De zaak-Lucia de Berk

8. Soms zijn p-waardes verdedigbaar

8.1 Elementaire deeltjes in de theoretische fysica

8.2 Modelvalidatie

Appendix

Bibliografie

Index

Voorwoord

Dit boek is bedoeld voor iedereen die op de een of andere manier te maken heeft met, of geïnteresseerd is in, statistisch bewijs: wetenschappelijke onderzoekers, studenten, docenten, wiskundigen, scholieren, filosofen, juristen, managers, en vast nog veel meer mensen. Het is geen gewoon boek over statistiek, en het is zeker geen receptenboek dat de lezer gaat vertellen welke test bij welk probleem hoort, of welke software voor welk probleem gebruikt kan worden. Wat is het dan wel voor boek? Dat zullen we nu uitleggen.

In dit boek leggen we uit hoe statistische bewijsvoering in zijn werk gaat. We laten zien wat voor vragen er worden gesteld, en wat de achterliggende logica is achter de manier waarop we die vragen proberen te beantwoorden. In grote lijnen zijn er twee manieren om statistische bewijsvoering te doen, die beide oude wortels hebben. De ene manier is om een onderzoekshypothese als bewezen te beschouwen als de data die je verkregen hebt, heel slecht passen bij het niet waar zijn van de onderzoekshypothese, en de andere bestaat uit het zoeken naar wat de beste verklaring is voor de data die je wilt duiden. Deze vormen van statistiek staan bekend als respectievelijk de klassieke (of frequentistische) aanpak, en de Bayesiaanse aanpak. In tegenstelling tot wat deze naamgeving suggereert, heeft de Bayesiaanse aanpak de oudste fundamenten: deze gaat terug tot Thomas Bayes (1702-1761), terwijl de frequentistische aanpak is ontwikkeld vanaf het begin van de twintigste eeuw.

Er bestaan veel leerboeken in de statistiek die je vertellen hoe je, met de klassieke aanpak, data zou moeten interpreteren, hoe je hypotheses moet opstellen, hoe je een test kunt ontwerpen, en hoe je kunt besluiten of je een hypothese al dan niet verwerpt. Echter, in dit boek willen we de lezer laten zien dat bepaalde aspecten van deze klassieke manier om bewijs te interpreteren problematisch zijn. Het gevolg hiervan is dat gerapporteerde claims ongefundeerd kunnen zijn. Deze problemen rond statistisch bewijs zijn mede de oorzaak van wat de ‘replicatiecrisis’ wordt genoemd: de kennelijke onmogelijkheid om onderzoeksresultaten te reproduceren. Het lukt dan dus niet om met een tweede onderzoek de conclusie te bevestigen die uit het eerste onderzoek is getrokken. Wat als wetenschappelijk ‘bewezen’ werd beschouwd, blijkt dat bij nader inzien misschien toch niet te zijn.

Dit is een serieus probleem. De betrouwbaarheid en status van statistisch verkregen bewijs staan op het spel. Dit heeft mogelijk grote gevolgen, niet alleen voor de wetenschap, maar ook voor de samenleving als geheel, bijvoorbeeld voor de gezondheidszorg of de rechtspraak. Data worden immers niet alleen vergaard om te onderzoeken of een bepaalde hypothese correct is, maar om aan de correctheid (of onjuistheid) ervan conclusies te verbinden. En dit kan op allerlei terreinen gebeuren, want de data die statistisch worden geëvalueerd kunnen van alles betreffen. Telkens als deze data mede door het toeval worden bepaald, heb je een statistische interpretatie nodig. Dat kan gaan over de effectiviteit van een medicijn, data over het verband tussen voeding en gezondheid, opiniepeilingen, of data over botsende elementaire deeltjes in een deeltjesversneller: telkens worden de vergaarde data mede door het toeval bepaald.

In dit boek zullen we op een leesbare en begrijpelijke manier uitleggen hoe het mogelijk is dat het bedrijven van statistiek met zo veel problemen gepaard gaat. We zullen hierbij over veel dingen na moeten denken. Wat is dat eigenlijk, statistisch bewijs? Dat lijkt misschien een eenvoudige vraag, maar we zullen zien dat hij een stuk lastiger te beantwoorden is dan je misschien op het eerste gezicht denkt. We zullen daarom teruggaan tot de essentie, namelijk de manier van denken en de redeneringen aan de basis van de statistiek, omdat deze ons duidelijk maken wat we van statistiek wel, en wat we juist niet mogen verwachten. Op die manier zullen we uitleggen dat de klassieke manier om hypotheses te toetsen géén antwoord geeft op de vraag of de data bewijs leveren voor of tegen een hypothese, en dat die daarom ontoereikend is om daar conclusies over te trekken. Vervolgens zullen we laten zien hoe nadenken over de aard van statistisch bewijs ons op het juiste pad kan brengen om op een andere manier te redeneren en tot conclusies te komen die wél logisch gerechtvaardigd zijn.

Uiteraard zijn we niet de eersten die kritiek hebben op de huidige statistische praktijk, en een aantal van de problemen die we in dit boek signaleren zijn door collega’s al onderkend. We noemen er een paar. Biostatisticus Richard Royall uitte in 1996 al stevige kritiek op de klassieke statistiek [27]. In 2005 publiceerde de epidemioloog John P.A. Ioannidis een artikel waarin hij beweerde dat de meeste gepubliceerde wetenschappelijke onderzoeksresultaten niet waar zijn [18]. Recentelijk verwees statisticus William Briggs het gebruik van de klassieke p-waardes naar de prullenbak [6]. Er zijn ook tijdschriften die het gebruik van de klassieke p-waardes helemaal in de ban hebben gedaan, zoals bijvoorbeeld Basic and Applied Psychology, Epidemiology en Political Analysis, zie [10], [15] en [30]. Dat er ondanks deze – en veel vergelijkbare – publicaties tot nu toe weinig is veranderd, is opmerkelijk, zeker als je in ogenschouw neemt dat er ook oplossingen zijn voorgesteld, waarover later meer.

Onze bijdrage is in zoverre afwijkend van de eerdergenoemde publicaties, dat wij niet in de eerste plaats op de wiskunde focussen, maar vooral uitleggen hoe de klassieke statistiek werkt, waarom en wanneer dit soms niet goed gaat, en wat je in de plaats daarvan zou kunnen doen. We willen graag laten zien dat de statistiek zoals wij die voorstaan heel goed overeenkomt met onze intuïtie over wat we eigenlijk kunnen verwachten van statistisch onderzoek. We leggen uit wat we wel, maar ook wat we juist niet van statistisch bewijs kunnen of mogen verwachten; in welke mate er objectiviteit te vinden is of na te streven is, waar objectiviteit eindigt, en of het nu eigenlijk een voordeel of een nadeel is dat een methode objectief is. Telkens nemen we de lezer mee in het waarom van onze benadering, en leggen de vinger exact op de zere plekken. Dit boek is daarom zowel filosofisch als toegepast van aard. We hebben in de literatuur geen andere tekst gevonden met deze benadering, ondanks dat dit volgens ons de beste manier is om de aard van statistische redeneringen te begrijpen. We hopen dan ook dat dit boek iets bij zal dragen aan een meer realistische kijk op statistisch bewijs.

Het boek is als volgt opgebouwd. In Deel I bespreken we de klassieke statistiek. In het eerste hoofdstuk bespreken we significantietoetsen. We concluderen allereerst dat veel gerapporteerde claims onjuist zijn, en geven een huiveringwekkend voorbeeld van wat er mis kan gaan, uit de juridische praktijk. In Hoofdstuk 2 komt de p-waarde uitgebreid aan bod. We leggen uit wat een p-waarde eigenlijk is, en behandelen waarom deze p-waarde eigenlijk niet goed gebruikt kan worden om sterkte van statistisch bewijs te meten. Als p-waardes, zoals vaak gebeurt, wel als zodanig opgevat worden, kun je dus problemen verwachten. Hoofdstuk 3 gaat over betrouwbaarheidsintervallen. Deze zijn nauw verbonden met p-waardes en kennen gelijksoortige interpretatieproblemen, waar we ook uitgebreid op in zullen gaan.

In Deel II bespreken we een meer Bayesiaanse benadering. We beginnen in Hoofdstuk 4 met uiteenzetten wat statistisch bewijs dan eigenlijk wél is, en we introduceren daarbij een instrument om de sterkte van het bewijs mee uit te drukken, de zogeheten likelihood ratio. We concluderen dat statistisch bewijs bijna nooit absoluut kan zijn, maar alleen relatief ten opzichte van een alternatieve verklaring. In Hoofdstuk 5 geven we een aantal concrete voorbeelden van likelihood ratio’s in actie, en komen we ook toe aan het belangrijke verschil tussen bewijs en overtuiging. Daarna besteden we in Hoofdstuk 6 aandacht aan de vraag in hoeverre data misleidend kunnen zijn. Immers, het is onredelijk te verwachten dat elke snipper data je tot de waarheid zal leiden omtrent hoe die data tot stand zijn gekomen, maar je kunt je wel afvragen hoe vaak het hoe erg mis kan gaan. Daar blijken grenzen voor te bestaan, gelukkig. Ook zullen we zien hoe de likelihood ratio ingezet kan worden om goede onderzoeksopzetten te ontwerpen. Dit besluit Deel II.

Deel III is gewijd aan de statistische praktijk. In Hoofdstuk 7 bespreken we een uitgebreide statistische analyse van twee concrete situaties. In Hoofdstuk 8 leggen we uit dat er situaties zijn waarin p-waardes, ondanks alle methodologische problemen die ermee samenhangen, soms pragmatisch toch gebruikt kunnen worden.

Het boek wordt wiskundig gezien nergens moeilijker dan een eerste cursus in toegepaste statistiek; de meest ingewikkelde wiskunde bestaat uit het uitrekenen van wat integralen, het rekenen met conditionele kansen, en het toepassen van de abc-formule voor tweedegraads vergelijkingen.

Echter, de wiskunde zelf is bij het begrijpen van statistiek vaak niet het grootste probleem. Statistiek is meer dan wiskunde. De moeilijkheid zit hem vooral in de betekenis van wat we doen. Dus ondanks het feit dat we de materie zo toegankelijk mogelijk presenteren, wordt van de lezer wel enige inspanning vereist. Wellicht zijn er passages die je een paar keer moet lezen, en is het soms ook nodig om met pen en papier even na te rekenen wat wij hebben gedaan. We denken dat de beloning hier ruimschoots tegen opweegt.

De lezer die bekend is met de mathematische statistiek zal wellicht verbaasd opmerken dat de concepten die we in dit boek propageren binnen die mathematische statistiek allang geaccepteerd zijn. Wat wij echter vooral hopen te bereiken is dat een overdenking van wat statistiek al dan niet vermag, welhaast automatisch naar een min of meer Bayesiaanse aanpak leidt, zonder daarbij overigens de nuttige aspecten van de klassiekere ‘frequentistische’ statistiek uit het oog te verliezen.

Sommige passages in dit boek zijn iets technischer van aard. Deze hebben we met ∗ gelabeld – dat betekent dat de inhoud van die passage net even dieper gaat dan de rest van het boek, en dat je verder kunt gaan zonder dat stuk te lezen. Voor de liefhebbers raden we die passages natuurlijk wel aan. Wij wensen de lezer veel plezier, en we hopen dat het de inspanning waard zal zijn.

Verschillende mensen hebben ons erg geholpen met allerlei soorten commentaar op eerdere versies van dit manuscript. Onze dank gaat uit naar (in alfabetische volgorde) Marc Jacobs, Wouter Kager, Boukje Meester, Luit Jan Slooten, Robert van der Toorn, Wessel van Wieringen en Harry van Zanten.

Ronald Meester en Klaas Slooten

Proloog: de zaak Sally Clark

In december 1996 werd de kleine Christopher, eerste zoon van de Engelse advocate Sally Clark en haar man, levenloos in zijn bed aangetroffen. Christopher was ruim twee maanden oud, en ten tijde van zijn overlijden was hij alleen met zijn moeder thuis. Het overlijden van Christopher werd niet verdacht bevonden en toegeschreven aan wiegendood.

In januari 1998 gebeurde iets soortgelijks met Sally Clarks tweede zoon Harry. Harry werd plotseling en onverklaarbaar onwel niet lang na een voeding terwijl hij met zijn moeder samen in een kamer was, en overleed vlak daarna, toen hij bijna twee maanden oud was. Er ontstond nu twijfel over de doodsoorzaak, en alsnog ook over die van Christopher. Niet lang na het overlijden van Harry werd Sally Clark aangeklaagd wegens dubbele moord op haar twee zoons.

Een belangrijke rol was weggelegd voor een door de aanklager opgeroepen getuige, hoogleraar kindergeneeskunde Sir Roy Meadow. Volgens hem was de kans dat twee opeenvolgende kinderen binnen een gezin beiden aan wiegendood overlijden ongeveer 1 op de 73 miljoen. Dit getal was discutabel: het was verkregen door de gepostuleerde (en op zichzelf al discutabele) kans op een wiegendood, 1 op 8.543, met zichzelf te vermenigvuldigen omdat het hier om twee kinderen ging. Dit veronderstelt dat het optreden van wiegendood bij verschillende kinderen uit één gezin onafhankelijk van elkaar gebeurt. Dat is echter maar de vraag, omdat (gemeenschappelijke) genetische aspecten hierbij een rol kunnen spelen, evenals bepaalde aspecten van de verzorging.

Maar het feit dat het getal van 1 op de 73 miljoen discutabel was, is niet onze grootste zorg; ongetwijfeld is de kans op tweemaal wiegendood bij twee opeenvolgende kinderen klein. Een veel groter probleem zit in de volgende redenering die nu verleidelijk werd voor de jury: als Sally Clark onschuldig zou zijn, dan heeft zich hier iets extreem bijzonders voorgedaan, namelijk een gebeurtenis met een kans van 1 op 73 miljoen. Sally Clark werd op 9 november 1999 door een meerderheid van 10 tegen 2 van de jury schuldig bevonden en door de rechtbank tot een levenslange gevangenisstraf veroordeeld voor dubbele moord. Het vonnis bleef in hoger beroep in 2000 in stand. Intussen begonnen statistici zich met deze zaak te bemoeien: in 2001 bracht de Royal Statistical Society haar zorgen naar buiten over zowel de onderbouwing van Meadows getal als over de toepassing ervan in de zaak tegen Sally Clark. In 2003 werd uiteindelijk haar veroordeling vernietigd en werd Sally Clark vrijgelaten.

Hoe heeft dit kunnen gebeuren? Hoe kan het dat wat eerst sterk statistisch bewijs leek, het alsnog helemaal niet was? Waarom was het getal van Meadow geen bewijs dat Sally Clark haar kinderen heeft omgebracht? En hoe bepaal je eigenlijk wat statistisch bewijs is en hoe sterk het is? Dat zijn allemaal vragen die we in dit boek adresseren.

Deel I

Klassieke statistiek

1. Significantietoetsen

In 2005 verscheen het artikel “Why most published research findings are false” van epidemioloog John P.A. Ioannidis in het tijdschrift PLOS Medicine [18]. In dit artikel betoogde de auteur dat het niet verbazingwekkend hoeft te zijn dat de meeste statistisch aangetoonde verbanden helemaal niet werkelijk bestaan. Dit komt niet zozeer door fouten in de statistische berekeningen, maar door een verkeerd begrip van wat voor conclusies men kan verbinden aan de resultaten van die statistische analyses. Het artikel sloeg in als een bom, getuige de vele duizenden keren dat het inmiddels geciteerd is. Het geeft namelijk meteen een verklaring voor wat wel de ‘replicatiecrisis’ is gaan heten, waarmee wordt bedoeld dat het vaak een tweede groep onderzoekers niet lukt hetzelfde onderzoeksresultaat te verkrijgen als een eerste groep had. Dat roept natuurlijk de vraag op of dat resultaat dan wel klopte. In sommige disciplines trof dit lot dusdanig veel van de gepubliceerde onderzoeksresultaten dat sprake was van een echte crisis: op de een of andere manier bleek een aanzienlijk deel van de resultaten die bewezen leken, helemaal niet waar te zijn (zie bijvoorbeeld [4] voor de resultaten van een peiling hierover door het tijdschrift Nature). Dit wordt precies door het artikel van Ioannidis verklaard. De argumentatie van Ioannidis geeft een versimpelde weergave van de werkelijkheid, maar toch weet hij met elementaire argumenten een probleem bloot te leggen dat wel degelijk reëel is. Daarom is zijn benadering een goede start voor dit boek.

1.1 Het toetsen van nulhypotheses en statistische significantie

Ioannidis gaat er in zijn artikel van uit dat conclusies worden getrokken op basis van zogeheten significantietoetsen, in het Engels vaak aangeduid met null hypothesis significance testing. Dit soort toetsen verlopen volgens een vast stramien, dat op het eerste gezicht alleszins redelijk en logisch lijkt. In dit eerste hoofdstuk leggen we uitgebreid uit wat dit voor soort toetsen zijn, waarom ze zijn bedacht zoals ze zijn, en wat voor nadelen eraan blijken te zitten als ze op grote schaal worden losgelaten op onderzoekshypotheses. Eenvoudig gezegd beschrijft Ioannidis wat er gebeurt als onnadenkende onderzoekers dit beslissingsschema grootschalig toepassen, en enkel op basis van de resulterende statistische analyse besluiten nemen. Natuurlijk gaat dit in de praktijk niet altijd zo, en hangt de kwaliteit van een statistische analyse en de daaropvolgende besluitvorming van veel meer af dan datgene waar Ioannidis rekening mee houdt. Maar als globale, kwalitatieve analyse is Ioannidis’ redenering absoluut waardevol. Het toetsingsschema dat hij beschrijft is immers wel degelijk een van de meest gebruikte in de statistiek. Ruim een eeuw geleden is deze aanpak ontworpen door beroemde statistici, onder wie Fisher, Neyman en Pearson, en vele anderen. Een beschrijving van deze werkwijze is dan ook niet compleet zonder te onderzoeken vanuit welke motieven, met welke verwachtingen, en met welke interpretatie van de resultaten dit paradigma is opgetuigd. Dat bespreken we allemaal in dit hoofdstuk.

1.1.1 De nulhypothese

Laten we beginnen met uit te leggen wat een significantietoets inhoudt. Stel dat een onderzoeker bewijs zoekt voor een bepaalde hypothese, bijvoorbeeld voor de hypothese dat er een relatie is tussen een bepaald gen en het krijgen van een bepaalde ziekte, of dat hij¹ bewijs zoekt dat een nieuw medicijn beter werkt dan het oude. Om wetenschappelijk onderzoek te kunnen doen ontwerpt de onderzoeker een bepaald procedé waarmee hij aan het eind conclusies hoopt te kunnen trekken. In het eerste voorbeeld gaat de onderzoeker bijvoorbeeld bij een groot aantal proefpersonen na of zij op het specifieke gen bepaalde DNA-varianten al dan niet hebben, en of ze al dan niet de ziekte krijgen waar het om gaat. In het tweede voorbeeld doet de onderzoeker het als volgt. Sommige patiënten krijgen het nieuwe medicijn, terwijl andere gewoon het oude krijgen, op zo’n manier dat noch de patiënt, noch de behandelend arts weet wie het nieuwe medicijn krijgt en wie niet. Aan de hand van de verschillende genezingspercentages in de twee groepen kan dan nagegaan worden of het nieuwe medicijn beter werkt dan het oude.

Natuurlijk is wat we nu gezegd hebben geen precieze beschrijving van welk onderzoek dan ook. In het voorbeeld met het medicijn kun je allerlei regels bedenken om te voorkomen dat je doorgaat terwijl het duidelijk is geworden dat het nieuwe medicijn inderdaad beter is, of juist als het dat niet is. Dit compliceert de analyse van de gegevens, maar de filosofie erachter blijft dezelfde, en die filosofie is waar we nu op in willen gaan. Daarnaast merken we hier op dat we het hier nu puur over statistische bewijsvoering hebben. Natuurlijk kan het zijn dat er fysiologische of biologische redenen zijn om juist dat specifieke gen te onderzoeken, en zijn er waarschijnlijk ook biochemische redenen waarom de onderzoeker verwacht, hoopt of denkt dat het nieuwe medicijn beter werkt dan het oude. Maar het bewijs dat deze onderzoeken wel of niet zullen opleveren, is statistisch van aard en moet daarom ook statistisch geïnterpreteerd worden.

Hoe gaat zo’n onderzoek nu verder? Welnu, in het meest eenvoudige maar vaak voorkomende geval (waar we hier van uitgaan) stelt de onderzoeker een zogeheten hypothese H op die de ‘nulhypothese’ wordt genoemd. Vaak formuleren onderzoekers de hypothese H als de hypothese die ze juist graag zouden willen verwérpen, in de zin dat ze denken of hopen dat deze hypothese niet correct is. In het eerste voorbeeld kan H bijvoorbeeld de hypothese zijn dat het gen géén verband heeft met het optreden van de ziekte, en in het tweede geval kan H de hypothese zijn dat het nieuwe medicijn níét beter werkt dan het oude. De hypothese die de onderzoeker graag wil bevestigen is dus de ontkenning van H en wordt ook wel de ‘onderzoekshypothese’ genoemd. Vaak is de ontkenning van de nulhypothese niet heel concreet: waar de nulhypothese zegt dat er geen effect is, is de ontkenning daarvan dat er wel een effect is, maar zonder verdere specificatie van hoe groot dat dan is. We zullen in Hoofdstuk 2 nog uitgebreid bespreken wat dit voor gevolgen heeft.

Vervolgens bepaalt de onderzoeker van tevoren bij welke uitkomsten van het onderzoek hij H zal verwerpen, en bij welke uitkomsten hij de hypothese H niet zal verwerpen. Als H verworpen wordt, dan wordt dat algemeen geïnterpreteerd als betekenend dat de verkregen gegevens bewijs leveren tégen H, en daarmee dus vóór de ontkenning van H. In het eerste voorbeeld betekent H verwerpen dat het gen dus wél correleert met de ziekte, en in het tweede voorbeeld dat het nieuwe medicijn dus wél beter is dan het oude. Natuurlijk is het ook mogelijk dat de data geen aanleiding geven om de nulhypothese te verwerpen. Dit wordt dan geïnterpreteerd als betekenend dat de data niet (voldoende) bewijs leveren voor de onjuistheid van de nulhypothese.

Natuurlijk moet de onderzoeker goed nadenken over wanneer hij H al dan niet zal verwerpen, en het is precies bij deze keuze dat kansrekening en statistiek hun intrede doen. Het is mogelijk dat de onderzoeker aan het eind van de procedure de hypothese verwerpt, terwijl deze toch waar is. Of andersom, hij verwerpt de hypothese H niet, terwijl de hypothese feitelijk toch onjuist is. Met andere woorden, de onderzoeker kan een verkeerde conclusie trekken, en het behoeft geen betoog dat we moeten nadenken over de kans dat dat gebeurt.

1.1.2 Significantie en power

In de klassieke procedure, die we hier beschrijven, gaat dat ongeveer als volgt. De onderzoeker wil graag de nulhypothese verwerpen, want hij denkt dat deze werkelijk onjuist is, maar hij wil niet te lichtzinnig conclusies trekken, dus hij wil controle over de kans dat hij de nulhypothese ten onrechte verwerpt. Het zou immers heel problematisch zijn als onderzoekshypotheses al te vaak als bewezen worden beschouwd, terwijl ze helemaal niet waar zijn. Dus de onderzoeker zal eisen dat de kans dat hij H ten onrechte verwerpt heel klein is. Deze eis brengt met zich mee dat de onderzoeker iets moet kunnen zeggen over de kansen op de mogelijke uitkomsten van het onderzoek, onder de aanname dat H correct is.

Dat lijkt allemaal legitiem en redelijk. Natuurlijk is het niet helemaal duidelijk wat ‘heel klein’ hier precies betekent. Dit lijkt een beetje af te hangen van het vakgebied, maar meestal wordt hiervoor 0,05 of soms ook 0,01 gekozen, en in sommige toepassingen nog veel kleiner. Op deze manier heeft de onderzoeker iets belangrijks gedaan: hij heeft ervoor gezorgd dat hij niet te lichtzinnig H zal verwerpen, en dat hij dus niet te lichtzinnig zal concluderen dat het nieuwe medicijn beter is dan het oude, of dat het gen te maken heeft met het optreden van een bepaalde ziekte. Immers, de kans om H (de hypothese dat het nieuwe medicijn niet beter werkt dan het oude) te verwerpen terwijl deze toch waar is, is onder controle door te kiezen voor de foutmarge van bijvoorbeeld 0,01 of 0,05. Meestal wordt deze foutmarge aangegeven met het symbool α, en het ‘significantieniveau’ genoemd. Als bijvoorbeeld voor α de waarde 0,05 gekozen wordt, dan is er een kans van 1 op 20 is dat men, indien de nulhypothese onverhoopt waar is, toch een significante uitslag krijgt.

Als H verworpen wordt bij significantieniveau α, dan heet de uitslag van het onderzoek significant bij deze α. We merken op dat het de uitslag van een onderzoek is die al dan niet significant is, en niet de eventueel daaraan verbonden claim of conclusie. Volgens Van Dale betekent ‘statistisch significant’: ‘verantwoorde conclusies toelatend’. Op basis van een significante uitslag claimt of trekt de onderzoeker een conclusie. Wij zullen daarom niet spreken over een ‘significante claim’ of een ‘significante conclusie’, alleen over een significant onderzoeksresultaat.

Het verhaal is nog niet klaar, want de onderzoeker kan ook de omgekeerde fout maken. Het is mogelijk dat de onderzoeker H niet verwerpt, terwijl deze toch niet waar is. Ioannidis gebruikt voor de kans dat dit gebeurt het symbool β, conform de gewoonte in de literatuur. Nu wordt 1 − β de ‘power’ van de procedure genoemd: dat is de kans om H te verwerpen als deze inderdaad niet waar is.

Het is op dit moment niet zo duidelijk hoe de onderzoeker precies te werk gaat om een procedure te ontwerpen die kansen α en β oplevert, maar waar het nu om gaat, is puur het concept dat deze kansen bestaan.

Laten we nu even stilstaan bij de kansen α en β. Het is belangrijk om te realiseren dat deze niet dezelfde status hebben. In de praktijk zorgt de onderzoeker ervoor dat hij een procedé ontwerpt waarin hij α kan berekenen of op zijn minst kan benaderen. Hij zorgt ervoor dat onder de aanname dat H waar is, hij H verwerpt met kans (ten hoogste) α. Een onderzoeker zal insisteren op een kleine α, omdat hij zeker wil weten dat hij niet te lichtzinnig is bij het trekken van een conclusie. Een kleine α is dus noodzakelijk, en deze wordt zoals we al opmerkten meestal op 0,05 of 0,01 gezet. Het is dan de gewoonte om bij gegeven α een procedure te vinden waarbij β zo klein mogelijk wordt. De kans α wordt gezien als de sterkte van het bewijs dat H niet waar is, terwijl de power iets vertelt over de kans dat je een effect vindt als dat effect inderdaad bestaat.

Over de filosofische achtergrond van deze keuzes en van de hele procedure komen we nog te spreken in Hoofdstuk 2, maar laten we eerst kijken hoe dit alles in de wetenschappelijke praktijk uitpakt. Je zou in eerste instantie geneigd zijn om te denken dat een kleine kans om een ware nulhypothese te verwerpen, impliceert dat wanneer je een nulhypothese inderdaad hebt verworpen, de kans klein is dat hij waar is. De grote tegenvaller is nu dat dit helemaal niet zo hoeft te zijn, en dat er zelfs – zonder verdere kennis over de context – over deze kans niets te zeggen valt. Dat is de portee van het verhaal van Ioannidis, en zullen we nu uitleggen.

1.1.3 Significantie alleen is niet voldoende

Ioannidis volgend, veronderstellen we dat het nogal van het wetenschapsgebied afhangt hoe groot de kans is dat een te toetsen hypothese feitelijk juist is of niet. Bij het introduceren van een nieuw medicijn zal er vaak een biochemische reden zijn waarom dit medicijn wellicht beter is dan het oude. Het moet natuurlijk getest worden op werkzaamheid en op bijvoorbeeld ongewenste bijwerkingen, maar het zal, eenmaal in de testfase, regelmatig voorkomen dat het inderdaad een verbetering is.

Dit hoeft helemaal niet zo te zijn bij het linken van genen aan een specifieke ziekte. Mensen hebben vele duizenden genen en men kan, als ware het met een schot hagel, vele genen tegelijk testen op relevantie voor de ziekte, in de hoop dat de genen die van belang zijn wel boven water gehaald zullen worden door de statistiek. Dit heeft tot gevolg dat er veel genen (de overgrote meerderheid) getest worden, waarbij zo’n relatie tot de ziekte helemaal niet bestaat. Met andere woorden, welke proportie van de getoetste hypotheses feitelijk juist is, varieert enorm van vakgebied tot vakgebied.

Laten we, om de gedachten te bepalen, eens een voorbeeld bekijken. Laten we aannemen dat α = 0,05, dat β = 0,10, en dat we 1000 onderzoekshypotheses onderzoeken, waarvan 90% in de realiteit niet waar is. We kunnen nu eenvoudig nagaan bij hoeveel van deze hypotheses een significante uitslag zal worden verkregen. In 900 gevallen is de nulhypothese H (de ontkenning van de onderzoekshypothese) waar, en in naar verwachting 900 × 0,05 = 45 daarvan zal H ten onrechte worden verworpen, omdat er per toeval een statistisch significante uitslag optreedt. In de andere 100 gevallen is de nulhypothese H niet waar, en we verwachten dan in 100 × 0,90 = 90 daarvan ook een significante uitslag. Dit kunnen we overzichtelijk weergeven in een tabel, en dat doen we in Tabel 1.1.

Tabel 1.1

We zien dat in het totaal van 1000 onderzoeken, er naar verwachting 135 keer een significante uitslag zal wordt verkregen, terwijl maar 90 van die 135 uitslagen worden verkregen terwijl de onderzoekshypothese waar is. De kans dat de onderzoekshypothese toch onjuist is als een significante uitslag wordt verkregen, is dus 45/135 = 1/3. Met andere woorden, als – met de getallen in dit voorbeeld – een onderzoeksgroep een statistisch significante uitslag krijgt, dan is de daaruit getrokken conclusie in 1 van de 3 gevallen onjuist.

Dat is toch wel even schrikken. We zien in dit voorbeeld dat 1 op de 3 uitslagen die statistisch significant zijn, dat per toeval zijn: de onderzoekshypothese is toch niet waar. Op het eerste gezicht leek de onderzoeker zorgvuldig te opereren door de kans om een nulhypothese H ten onrechte te verwerpen onder controle en klein te houden, in dit geval op 0,05. Maar nu blijkt dat desondanks de kans dat een op basis van een significante uitslag geconcludeerd resultaat onjuist is, veel groter kan zijn, in dit geval 1/3.

Als er meer onderzoekshypotheses waar zijn, gaat het beter. Stel bijvoorbeeld dat we het omdraaien, en van de 1000 onderzochte onderzoekshypotheses er 900 waar zijn, en 100 niet. Bij dezelfde α = 0,05 en β = 0,10 levert dat Tabel 1.2 op. In dit geval zijn er naar verwachting 815 significante uitslagen, waarvan er 810 horen bij een ware onderzoekshypothese, dus ruim 99%. Dat is dus een stuk beter dan in het eerste voorbeeld. Maar we zien wel dat er een groot probleem is met deze benadering van het toetsen van hypotheses. Kennelijk kun je uit het statistisch significant zijn van een uitslag niet afleiden of de onderzoekshypothese waar is, en zelfs niet eens wat de kans is dat die waar is.

Tabel 1.2

Als statistische significantie wordt opgevat als het bewezen hebben van de onderzoekshypothese, zal dit grote problemen opleveren. Als de meeste onderzoekshypotheses correct zijn, zoals in Tabel 1.2, dan zijn de problemen beperkt. Weliswaar is de conclusie dat de onderzoekshypothese bewezen is, logisch onjuist, feitelijk is deze hoogstwaarschijnlijk wel correct. Maar in een situatie zoals in Tabel 1.1 gaat het echt mis.

De onderzoeker heeft er per constructie voor gezorgd dat de kans op een statistisch significant resultaat wanneer H waar is, hooguit α is. Maar dat kun je niet omdraaien: de kans dat H waar is, wanneer je een significant resultaat hebt, is een andere. Om die te bepalen heb je meer nodig dan α, zoals de bovenstaande tabellen illustreren. Het probleem zit niet in de significantietoets zelf, maar in de eraan verbonden conclusies over de onderzoekshypothese: het probleem is dat het toetsresultaat niet toelaat om de gestelde vraag (is de onderzoekshypothese waar?) te beantwoorden.

We raken, nu al, aan de fundamenten van de statistiek. We spraken net losjes over ‘de kans dat H waar is’, maar dan moet je wel bereid zijn om zo’n kans aan H toe te kennen. De methodiek die we nu hebben besproken, is ontwikkeld toen dat een, op zijn zachtst gezegd, controversiële gedachte was. Het heersende idee was dat H gewoon hetzij juist, hetzij onjuist is, en dat kansrekening daar helemaal niets mee te maken heeft. De onderzoeker moet de feitelijke werkelijkheid achterhalen die onbekend is maar wel onwrikbaar vastligt. Daarentegen zijn de uitkomsten van een onderzoek wel degelijk onderworpen aan spelingen van het lot: ook een medicijn dat beter is, kan toevallig in een bepaalde groep patiënten meer of minder personen genezen dan je gemiddeld zou verwachten. Op die manier kun je dus wel spreken over de kans dat een onderzoek een bepaalde uitkomst heeft als de nulhypothese of de onderzoekshypothese waar is, maar niet over datgene wat je eigenlijk meer interesseert: de kans dat de nulhypothese of de onderzoekshypothese waar is, als je onderzoek een bepaalde uitkomst heeft opgeleverd.

Tegelijkertijd is de onmogelijkheid om te spreken over wat je werkelijk wilt weten ook een reden waarom verkeerde interpretaties moeilijk te vermijden zijn. Wat je wilt weten, is of de onderzoekshypothese waar is, op grond van je data. Maar dat vertellen de significantie en de power van de toets niet: die voorspellen juist hoe groot de kans op een statistisch significante uitslag is, ervan uitgaande dat de onderzoekshypothese al dan niet waar is.

We hebben nu ontdekt dat de klassieke procedure voor het toetsen van hypotheses niet tot een eenvoudige en bevredigende procedure kán leiden. Al naar gelang het vakgebied, het gekozen significantieniveau en de power van de procedure, kan het zelfs zo zijn dat (veruit) de meeste claims op basis van significante uitslagen in het vakgebied onjuist zijn.

Natuurlijk zal de werkelijkheid van statistische toetsen niet zo eenvoudig zijn als Ioannidis het hier beschrijft. Statistische analyses zijn zeker niet altijd puur gericht op het verkrijgen van significante resultaten om daar onmiddellijk conclusies aan te verbinden. Maar Ioannidis’ analyse laat wel degelijk zien wat er mis kan gaan bij grootschalig blind gebruik van dit soort toetsen. Waarom gebruiken we deze toetsen dan eigenlijk? Om dat goed te begrijpen, gaan we terug naar de belangrijkste grondlegger ervan.

1.2 De logica van significantietoetsen: Fisher aan het woord

De procedure zoals we die in de vorige paragraaf schetsten, vindt haar oorsprong in het werk van Ronald Fisher, een van de grondleggers van de moderne statistiek. We laten hem nu eerst zelf aan het woord.

In zijn boek Design of experiments uit 1935 [13] leidt hij het probleem in met een prachtig, oer-Engels voorbeeld. Stel je voor, zegt Fisher, dat er een dame is die beweert dat als zij een kopje thee met melk te drinken krijgt, kan proeven of de thee als eerste is ingeschonken of de melk. Hoe zouden we kunnen toetsen of een dergelijke bewering waar is?² Een onderzoek om dat te verifiëren zal er uiteraard uit bestaan haar de beide varianten herhaaldelijk aan te bieden, en bij te houden hoe vaak haar oordeel correct was. Maar hoe vaak moet het dan correct zijn voor we haar geloven? Dit zal onvermijdelijk ten dele arbitrair zijn, want hoe vaak ze het ook goed heeft, het blijft altijd mogelijk dat ze buitengewoon veel geluk heeft en alles correct gegokt heeft. Alles wat een waarnemer kan doen, is, zoals het woord al zegt, waarnemen. Beslissen of de claim van de dame correct is, vergt echter meer dan dat: wellicht is de ene waarnemer meer geneigd om te denken dat het maken van dit onderscheid überhaupt mogelijk is, en zal die daarom al bij een geringer aantal correcte classificaties overstag gaan en besluiten dat de claim van de dame juist is, dan een meer sceptische waarnemer.

Fisher stelde om te beginnen een protocol voor waarin eerst wordt afgesproken hoeveel toeval we maximaal als verklaring accepteren voordat we besluiten de dame te geloven. Hij kiest hiervoor in dit voorbeeld 1 op 20, ofwel 5%. Laten we eens zien wat voor onderzoek dan nodig zou zijn.

Om de dame de gelegenheid te geven haar onderscheidend vermogen te demonstreren, bieden we haar een serie van kopjes thee aan waarin de beide varianten (met de thee eerst ingeschonken, en met de melk eerst ingeschonken) voorkomen. We kunnen bijvoorbeeld zes kopjes prepareren, drie van elke soort, de dame van deze opzet op de hoogte stellen en haar vragen aan te wijzen welke kopjes van welke soort zijn. Wat nu als ze ze allemaal goed heeft? Hoe moeilijk is dat? We moeten nu dus weten wat de kans is dat de dame goed gegokt zou hebben, als haar claim niet waar is.

Dit is uit te rekenen als we de opzet van het onderzoek kennen, en we ook weten hoe vaak de dame goed zou gokken, als haar claim niet waar is. Daarom kijken we naar, aldus Fisher, ‘a subject without any faculty of discrimination’, oftewel, iemand die gokt en niet in staat is ook maar het geringste onderscheid te maken. Omdat bekend is dat er 2 groepen van 3 kopjes zijn, moeten we kijken naar het aantal manieren om 6 kopjes in 2 groepen te verdelen. De dame kan door goed gokken het juiste antwoord krijgen als ze geheel toevallig het drietal aanwijst waarin de melk als eerste was ingeschonken; de andere 3 zijn dan automatisch ook goed. Een groepje van 3 kopjes kiezen uit een totaal van 6 kopjes kan op veel manieren. Voor het eerste kopje hebben we keuze uit 6, voor het tweede nog uit 5, en voor de derde uit de resterende 4. Dat levert in totaal 6 × 5 × 4 = 120 manieren, maar elk drietal hebben we nu wel 6 keer gekregen: de kopjes 2, 3 en 5 hadden we kunnen kiezen in de zes volgordes (2,3,5), (2,5,3), (3,2,5), (3,5,2), (5,2,3) en (5,3,2). In totaal hebben we dus maar 120/6 = 20 verschillende keuzes voor het drietal kopjes waarin we eerst de melk inschenken: elke amateur heeft bijgevolg 5% kans om zich door deze test heen te bluffen.

Dit is, toevallig of niet, precies het percentage dat Fisher maximaal acceptabel acht voor dit soort toetsen, kortom, dit onderzoek kan net wel of net niet volstaan. Maar als we het experiment vergroten – dat gaan we zo doen – wordt het natuurlijk steeds moeilijker om per toeval goed te blijven gokken. Met eenzelfde redenering als daarnet voor een totaal van 6 kopjes, zien we dat er 70 manieren zijn om uit 8 kopjes er 4 te kiezen waarin we eerst de melk inschenken. Een totaal ondeskundig iemand heeft dan maar een kans van 1/70 om toevallig alles correct te raden.

In het geval dat de dame alles goed heeft (bij 8 kopjes), zegt Fisher, is de hoeveelheid toeval die nodig is om dit voor elkaar te krijgen als ze in werkelijkheid over geen enkel onderscheidend vermogen beschikt nu te groot (met andere woorden, de benodigde kans te klein) om nog langer te geloven dat de claim van de dame níét waar is.

We hebben nu al de eerste, belangrijke, eisen gevonden van een onderzoeksopzet zoals Fisher die voor zich ziet, en die zetten we even op een rijtje:

– We gaan er in de onderzoeksopzet eerst van uit dat het geclaimde effect niet bestaat: dit noemen we de nulhypothese.

– We ontwerpen een onderzoek dat een uitslag op kan leveren die erg onwaarschijnlijk is als het geclaimde effect niet bestaat, dat wil zeggen als de nulhypothese waar is.

– Als we nu toch zo’n uitslag krijgen, geloven we niet langer dat het geclaimde effect niet bestaat, en besluiten we dat het wél bestaat, dat wil zeggen we verwerpen de nulhypothese.