Ben Goldacre

Foute farma

Hoe patiënten worden misleid met foute medicijnen

Uit het Engels vertaald door Marjolijn Stoltenkamp

Uitgeverij De Geus

breda 2013

Oorspronkelijke titel Bad pharma. How drug companies mislead doctors and harm patients, verschenen bij Fourth Estate

Oorspronkelijke tekst © Ben Goldacre 2012

Nederlandse vertaling © Marjolijn Stoltenkamp en De Geus BV, Breda 2013

Omslagontwerp en -illustratie © Studio Ron van Roon

ISBN 978 90 445 2921 0

NUR 320

Niets uit deze uitgave mag verveelvoudigd en/of openbaar gemaakt worden door middel van druk, fotokopie of op welke wijze dan ook, zonder voorafgaande schriftelijke toestemming van De Geus bv, Postbus 1878, 4801 bw Breda, Nederland.

Telefoon: 076 522 8151.

Deze digitale editie is gemaakt naar de eerste druk, 2013.

Wilt u het gratis magazine Geuzennieuws met informatie over onze nieuwe uitgaven ontvangen, ga dan naar www.degeus.nl en meld u aan.

1
==
==

Ontbrekende gegevens

Sponsors krijgen het antwoord dat ze willen

Voor we van start gaan, moeten we één ding onbetwijfelbaar vaststellen: tests die door de industrie worden gefinancierd, hebben meer kans op een gunstig en positief resultaat dan onafhankelijk gefinancierde tests. Dit is onze belangrijkste vooronderstelling, en het is een van de best gedocumenteerde verschijnselen in het groeiende vakgebied van ‘onderzoek over onderzoek’. Deze vooronderstelling is sinds enkele jaren ook veel gemakkelijker te onderzoeken, omdat de regels voor de bekendmaking van financiering door de farmaceutische industrie een tikje duidelijker zijn geworden.

We beginnen met recent werk: in 2010 zochten drie onderzoekers van Harvard en Toronto alle tests van vijf belangrijke soorten medicijnen op (antidepressiva, medicijnen tegen maagzweren, enzovoort), en toetsten twee sleutelkenmerken: was het resultaat positief, en waren ze gefinancierd door de industrie?[1] Ze bekeken in totaal meer dan vijfhonderd tests: 85 procent van de door de industrie gefinancierde onderzoeken had een positief resultaat, maar dat gold slechts voor 50 procent van de door de overheid gefinancierde tests. Dat is een zeer significant verschil.

In 2007 bekeken onderzoekers iedere gepubliceerde test die tot doel had de werking van cholesterolverlagers te bepalen.[2] Deze medicijnen verminderen het risico dat je een hartaanval krijgt; ze worden in zeer grote hoeveelheden voorgeschreven en nemen in dit boek een belangrijke plaats in. Bij dit onderzoek werden in totaal 192 tests ontdekt die ofwel de ene cholesterolverlager vergeleken met de andere, ofwel een cholesterolverlager vergeleken met een andere behandeling. Zodra de onderzoekers andere factoren onder controle hielden (we zullen later zien wat dit inhoudt), ontdekten ze dat de door de industrie gefinancierde tests een twintigmaal hogere kans hadden ten gunste van het geteste medicijn uit te vallen. En dit is opnieuw een bijzonder groot verschil.

We noemen nog één ander voorbeeld. In 2006 namen onderzoekers alle tests van psychiatrische medicijnen uit vier wetenschappelijke tijdschriften onder de loep die binnen een periode van tien jaar waren gedaan; ze vonden in totaal 542 testresultaten. Sponsors uit de industrie verkregen gunstige resultaten voor hun eigen medicijn in 78 procent van de gevallen, terwijl onafhankelijk gefinancierde tests maar in 48 procent van de gevallen tot een positief resultaat leidden. Als je een ander medicijn zou willen vergelijken met het medicijn van de sponsor, zou je het behoorlijk moeilijk krijgen: je zou maar een armzalige 28 procent kans hebben dat jouw medicijn het pleit wint.[3]

Dit zijn akelige en angstaanjagende cijfers, maar het gaat hier om resultaten van individuele onderzoeken. Wanneer op een bepaald gebied enorm veel onderzoek is gedaan, is het altijd mogelijk dat iemand (ik, bijvoorbeeld) de krenten uit de pap haalt en een te eenzijdig beeld geeft. In principe zou ik precies hetzelfde kunnen doen als datgene waarvan ik de farmaceutische industrie beschuldig, en u alleen maar inlichten over de onderzoeken die mijn stelling onderbouwen terwijl ik de geruststellende onderzoeken voor u verborgen houd.

Om zich tegen dit risico te beschermen hebben onderzoekers het systematische overzichtsonderzoek uitgevonden. We gaan dit al snel uitvoerig bespreken (zie ‘Waarom we gegevens samenvatten’), want het is in de moderne geneeskunde een van de belangrijkste onderzoeksmethoden. In principe is een systematisch overzichtsonderzoek simpel: in plaats van maar wat in de onderzoeksliteratuur te grasduinen en er bewust of onbewust hier en daar wat artikelen uit te lichten die je al bestaande overtuigingen bevestigen, kies je voor een systematische, wetenschappelijke benadering van het zoekproces naar wetenschappelijk bewijsmateriaal zelf; zo zorg je ervoor dat je bewijsmateriaal van alle onderzoek dat ooit is gedaan zo volledig en zo representatief mogelijk is.

Systematische overzichtsonderzoeken zijn heel, heel erg moeilijk uit te voeren. In 2003 werden er bij toeval twee gepubliceerd waarin het probleem werd onderzocht waar onze belangstelling naar uitgaat. Alle ooit gepubliceerde onderzoeken over de vraag of financiering door de farmaceutische industrie in verband staat met resultaten die voor die industrie gunstig zijn, werden onder de loep genomen. Bij elk overzichtsonderzoek werd een iets andere methode gebruikt om onderzoeksartikelen te vinden, en bij beide werd ontdekt dat door de industrie gefinancierde tests over het geheel genomen viermaal zo veel kans hadden op rapportage van positieve resultaten.[4] Bij een ander overzichtsonderzoek uit 2007 werd gekeken naar de nieuwe onderzoeken die waren gepubliceerd in de vier jaar na deze twee eerdere overzichtsonderzoeken: daarbij ontdekte men nog eens twintig artikelen, die op twee na allemaal lieten zien dat door de industrie gesponsorde tests meer kans hebben op rapportage van gunstige resultaten.[5]

Ik besteed uitvoerig aandacht aan dit bewijsmateriaal omdat ik absoluut duidelijk wil maken dat over deze kwestie geen twijfel mogelijk is. Tests die door de industrie worden gesponsord, leiden tot gunstige resultaten, en dat is geen persoonlijke mening van mij en evenmin een vermoeden op basis van toevallig gelezen onderzoek. Dit probleem is bijzonder goed gedocumenteerd en uitgebreid onderzocht, maar, zoals we zullen zien, niemand heeft stappen ondernomen om er effectief tegen op te treden.

Ten slotte wil ik u over één onderzoek nog iets vertellen. Het blijkt dat dit patroon van door de industrie gefinancierde tests die positieve resultaten opleveren zelfs blijft bestaan wanneer we niet meer kijken naar gepubliceerde wetenschappelijke artikelen, maar naar op wetenschappelijke congressen gepresenteerde testrapporten, waar de gegevens vaak voor het eerst bekendgemaakt worden (zoals we zullen zien, worden testresultaten soms uitsluitend op een wetenschappelijk congres bekendgemaakt, waarbij heel weinig informatie wordt gegeven over hoe het onderzoek is uitgevoerd).

Fries en Krishnan hebben alle samenvattingen van onderzoeksartikelen bestudeerd die op de congressen van het American College of Rheumatology in 2001 werden gepresenteerd. Ze bekeken de artikelen over allerlei soorten tests en hielden daarbij rekening met sponsoring door de industrie, om te ontdekken welk percentage van die tests tot resultaten had geleid die gunstig waren voor het medicijn van de sponsor. Hier volgt een kleine klap op de vuurpijl, en om die te begrijpen moeten we iets vertellen over de vorm van een wetenschappelijk artikel. Over het algemeen worden de resultaten uitvoerig besproken: van elk resultaat en van elke mogelijke causale factor worden de ruwe cijfers gegeven, maar niet gewoon als ruwe cijfers. De ‘spreidingsbreedtes’ worden aangeduid, en misschien zijn er subgroepen onderzocht en statistische toetsen uitgevoerd. De details van elk resultaat worden in een tabel gezet en in het kort in de tekst besproken, waarbij de belangrijkste resultaten worden toegelicht. Dit neemt gewoonlijk diverse bladzijden in beslag.

Fries en Krishnan (2004) hoefden niet zo gedetailleerd te werk te gaan. Hun resultaten konden worden samengevat in één enkele, eenvoudige en – zoals ik me graag voorstel – tamelijk passief-agressieve zin:

De resultaten van elke test (45 van 45) bleken gunstig uit te vallen voor het medicijn van de sponsor.

Dit extreme resultaat heeft een bijzonder interessant neveneffect voor mensen die graag tijd besparen. Aangezien iedere door de industrie gesponsorde test een positief resultaat had, hoef je alleen dat maar te weten om het resultaat ervan te voorspellen. Als de test door de industrie is gefinancierd, weet je absoluut zeker dat het medicijn volgens die test geweldig werkt.

Hoe kan dat? Hoe krijgen door de industrie gesponsorde tests het voor elkaar bijna altijd een positief resultaat te hebben? Door, voor zover we weten, een combinatie van factoren. Soms vertoont de opzet van het onderzoek gebreken. Je kunt je nieuwe medicijn vergelijken met iets waarvan je weet dat het waardeloze rommel is (met een al bestaand medicijn in een te lage dosis, misschien, of met een placebo die vrijwel geen enkel effect heeft). Je kunt je patiënten zo zorgvuldig kiezen dat ze meer kans hebben door jouw behandeling te genezen. Je kunt halverwege de resultaten bekijken en met je test stoppen als ze er goed uitzien (dat is, vanwege interessante redenen die we later zullen bespreken, statistisch vergif). Enzovoort.

Maar voor we aan deze fascinerende methodologische kneepjes en trucjes toekomen, die ingrepen waardoor een test niet meer eerlijk toetst of een medicijn werkt of niet, moeten we iets duidelijk maken wat veel simpeler is.

Soms voeren farmaceutische bedrijven heel veel tests uit, en als ze merken dat de resultaten ervan niet gunstig voor hen zijn, publiceren ze die gewoon niet. Dit is geen nieuw probleem, en het komt evenmin uitsluitend in de geneeskunde voor. In feite doet dit probleem van negatieve resultaten die buiten de openbaarheid blijven een aanslag op bijna elke tak van wetenschap. Daardoor worden onderzoeksresultaten misvormd, in vakgebieden die zo verschillend zijn als hersenonderzoek en economie, en het maakt al onze pogingen om bias uit te sluiten lachwekkend. Ondanks alles wat regulerende instanties, farmaceutische bedrijven en zelfs enkele wetenschappers u zullen vertellen, is dit een probleem dat al tientallen jaren lang steeds maar niet wordt opgelost.

In feite is het zo diepgeworteld dat het niet eens zou helpen als we het vandaag konden oplossen, nu meteen, voorgoed en voor altijd, zonder gebreken of achterdeurtjes in onze wetgeving, want dan zouden we nog steeds geneeskunde beoefenen, en monter besluiten nemen over welke behandeling de beste is, op basis van medisch bewijsmateriaal uit de afgelopen tientallen jaren dat, zoals u nu begrijpt, fundamenteel misvormd is.

Maar er is een weg voorwaarts.

Waarom ontbrekende gegevens van belang zijn

Reboxetine is een medicijn dat ik zelf heb voorgeschreven. Bij andere medicijnen had deze specifieke patiënt geen baat gehad, dus wilde ik iets nieuws proberen. Ik had de testgegevens gelezen voor ik het recept voorschreef, en alleen goed opgezette, betrouwbare tests gezien, met uiterst positieve resultaten. Reboxetine was beter dan een placebo, en even goed als ieder ander antidepressivum waarmee het een op een was vergeleken. Het is goedgekeurd door de Medicines and Healthcare products Regulatory Agency (MHRA), die toezicht houdt op alle medicijnen in Groot-Brittannië. Ieder jaar worden er wereldwijd miljoenen doses reboxetine voorgeschreven. Het was duidelijk een veilige en effectieve behandeling. De patiënt en ik bespraken kort het bewijsmateriaal en vonden beiden dat het de juiste behandeling was om nu uit te proberen. Ik ondertekende het recept waarop stond dat ik wilde dat mijn patiënt dit medicijn kreeg.

Maar we waren allebei misleid. In oktober 2010 slaagde een groep onderzoekers erin alle tests te verzamelen die ooit met reboxetine waren gedaan.[6] Na een lang onderzoeksproces (wetenschappelijke tijdschriften doorzoeken, maar ook ijverig gegevens opvragen bij fabrikanten en documenten verzamelen van regulerende instanties) lukte het hun alle gegevens bijeen te garen, zowel van gepubliceerde tests als van tests die nooit in wetenschappelijke artikelen waren vermeld.

Nadat al deze gegevens waren samengevoegd, lieten ze een schokkend beeld zien. In zeven tests was reboxetine met een placebo vergeleken. Maar één daarvan, uitgevoerd bij 254 patiënten, had een mooi positief resultaat, en dat onderzoek was gepubliceerd in een wetenschappelijk tijdschrift, zodat artsen en onderzoekers het konden lezen. Maar er waren nog zes andere tests uitgevoerd, met bijna tien keer zo veel patiënten. Die toonden allemaal aan dat reboxetine niet beter was dan een neppil van suiker. Geen enkele van die onderzoeken was gepubliceerd. Ik had er geen idee van dat ze bestonden.

Het werd nog erger. De tests waarin reboxetine met andere medicijnen werd vergeleken, toonden precies hetzelfde beeld: uit drie kleine onderzoeken met in totaal 507 patiënten bleek dat reboxetine even goed was als welk ander medicijn dan ook. Ze werden allemaal gepubliceerd. Maar de gegevens van 1657 patiënten bleven ongepubliceerd, en deze ongepubliceerde gegevens toonden aan dat het met patiënten die reboxetine gebruikten slechter ging dan met patiënten die andere medicijnen gebruikten. En alsof dat allemaal nog niet erg genoeg was, kwamen er ook gegevens over bijwerkingen boven tafel. Het medicijn maakte een prima indruk in de tests die in de wetenschappelijke tijdschriften waren verschenen, maar toen we de ongepubliceerde onderzoeken zagen, bleek dat patiënten die reboxetine innamen in plaats van een van de concurrerende medicijnen, meer risico’s liepen op bijwerkingen, eerder het gebruik van het medicijn staakten, en zich eerder uit de test terugtrokken vanwege de bijwerkingen.

Als u ooit betwijfelt of de verhalen uit dit boek me boos maken (en ik beloof u, wat er ook gebeurt, ik houd me aan de gegevens en probeer u een betrouwbaar beeld te geven van alles wat we weten), hoeft u alleen maar dit verhaal te lezen. Ik deed alles wat een arts behoort te doen. Ik las alle artikelen, ik beoordeelde ze kritisch, ik begreep ze, ik besprak ze met de patiënt en we namen samen een op het bewijsmateriaal gebaseerde beslissing. Volgens de gepubliceerde gegevens was reboxetine een veilig en effectief medicijn. In werkelijkheid was het niet beter dan een suikerpilletje, erger nog: het deed meer kwaad dan goed. Als arts deed ik iets wat, alle bewijzen in aanmerking genomen, schadelijk was voor mijn patiënt, simpelweg omdat ongunstige gegevens niet waren gepubliceerd.

Als u dit verbazingwekkend vindt of er verontwaardigd over bent, staat u nog heel wat te wachten. Omdat niemand in die situatie een wet heeft overtreden, is reboxetine nog steeds in de handel, en het systeem dat dit alles mogelijk heeft gemaakt, functioneert ook nog steeds, bij alle medicijnen in alle landen ter wereld. Negatieve gegevens ontbreken, voor alle behandelingen, op alle gebieden van de wetenschap. De regulerende instanties en de professionele organisaties, waarvan we redelijkerwijs kunnen verwachten dat ze een einde maken aan deze praktijken, hebben ons in de kou laten staan.

Verderop zullen we de literatuur doornemen die dit alles onbetwijfelbaar aantoont en die laat zien dat ‘publicatiebias’ (het proces dat ertoe leidt dat negatieve resultaten niet worden gepubliceerd) een rol speelt in de hele geneeskunde en in de hele wetenschappelijke wereld, en dat de regulerende instanties er niet in geslaagd zijn daar iets aan te doen, ondanks gegevens van tientallen jaren die de omvang van het probleem duidelijk aantonen. Maar voor we daartoe overgaan, wil ik dat de gevolgen ervan tot u doordringen, en daarom moeten we begrijpen dat ontbrekende gegevens ertoe doen.

In de geneeskunde kunnen we uitsluitend op basis van bewijzen bepalen of iets al dan niet werkt. We testen medicijnen zo voorzichtig als we kunnen, in directe tests, en verzamelen álle bewijsmateriaal. Deze laatste stap is van cruciaal belang: als ik de helft van de gegevens voor u verborgen houd, kan ik u heel gemakkelijk overtuigen van iets wat niet waar is. Als ik bijvoorbeeld honderd keer een muntje opgooi, en u alleen maar vertel hoe vaak ik ‘kop’ kreeg, kan ik u ervan overtuigen dat het een muntje met twee verschillende kanten is. Maar dat betekent niet dat het muntje inderdaad twee verschillende kanten heeft: het betekent dat ik u voor de gek houd, en dat u zo dom bent mij te geloven. Dat is precies de situatie waar we, wat de geneeskunde betreft, genoegen mee nemen, en dat hebben we altijd gedaan. Onderzoekers mogen zo veel tests uitvoeren als ze willen en kunnen vervolgens kiezen welke ze willen publiceren.

De schadelijke gevolgen daarvan zijn dat artsen worden misleid over de voordelen en de mogelijke nadelen van behandelingen, en die strekken veel verder dan tests. Medisch onderzoek is geen abstracte wetenschappelijke onderneming, maar heeft met mensen te maken. Dus telkens wanneer we nalaten onderzoek te publiceren, stellen we echte, levende mensen bloot aan onnodig en vermijdbaar lijden.

TGN1412

In maart 2006 arriveerden zes vrijwilligers in een ziekenhuis in Londen om deel te nemen aan een test. Een nieuw medicijn, TGN1412 genaamd, werd voor het eerst aan mensen toegediend. Ieder kreeg als vergoeding 2000 pond.[7] Binnen een uur kregen deze zes mannen hoofdpijn, spierpijn en voelden ze zich niet lekker. Daarna werd het erger: koorts, rusteloosheid, perioden waarin ze vergaten wie ze waren en waar ze waren. Algauw kregen ze koude rillingen, ze liepen rood aan, hun hartslag werd veel sneller en hun bloeddruk daalde. Toen een crisis: een van de mannen kon niet goed meer ademhalen, het zuurstofgehalte in zijn bloed nam snel af en er kwam vocht in zijn longen. Niemand wist waarom. Van een ander daalde de bloeddruk tot 65/40 en stokte de ademhaling. Hij werd met spoed naar de intensive care gebracht, raakte buiten bewustzijn en werd kunstmatig van zuurstof voorzien. Binnen een dag waren alle zes mannen er ernstig aan toe: ze hadden vocht in hun longen, konden nauwelijks ademhalen, hun nieren werkten niet meer, overal in hun lichaam was hun bloed oncontroleerbaar aan het stollen en hun witte bloedcellen verdwenen. Artsen deden wat ze konden en gaven hun steroïden, antihistaminen en receptorblokkers voor het immuunsysteem. Ze werden alle zes kunstmatig beademd op de intensive care. Ze produceerden geen urine meer en werden op een dialyseapparaat aangesloten. Ze kregen een bloedtransfusie, eerst langzaam, daarna snel; ze hadden plasma, rode bloedcellen en bloedplaatjes nodig. De koorts hield aan. Een van hen kreeg longontsteking. Vervolgens kregen hun ledematen geen bloed meer. Hun vingers en tenen werden rood, toen bruin, en toen zwart, en begonnen af te sterven. Hun leven werd met de grootst mogelijke inspanning gered.

Het ministerie van Volksgezondheid riep een commissie van deskundigen bijeen om inzicht te krijgen in wat er gebeurd was, en die wees op twee punten van zorg.[8] Ten eerste: hoe kunnen we voorkomen dat dit nog eens gebeurt? Het is bijvoorbeeld ronduit dom een nieuwe experimentele behandeling toe te passen op zes deelnemers tegelijk met een test die voor het eerst bij mensen wordt gedaan, in een dosering waarvan het effect volkomen onbekend is. Nieuwe medicijnen moeten voorzichtig in de loop van de dag worden toegediend. Dit punt kreeg veel aandacht van regulerende instanties en van de media.

Het tweede punt van zorg kreeg minder aandacht: hadden we deze ramp kunnen voorzien? TGN1412 is een molecuul dat zich hecht aan een receptor die CD28 wordt genoemd, op de witte bloedcellen van het immuunsysteem. Het was een nieuwe, experimentele behandeling, die het immuunsysteem verstoorde via wegen die men niet goed begreep en die bij dieren moeilijk na te bootsen waren (anders dan bijvoorbeeld bloeddruk, omdat immuunsystemen bij diverse diersoorten heel anders werken). In het eindrapport werd vermeld dat men ervaring had met een soortgelijke interventie, maar die was simpelweg niet gepubliceerd. Een onderzoeker voorzag de commissie van ongepubliceerde gegevens uit een onderzoek dat hij tien jaar geleden op één enkele menselijke proefpersoon had uitgevoerd, waarbij hij een antistof gebruikte die zich hechtte aan CD3-, CD2- en CD28-receptoren. De effecten van deze antistof vertoonden overeenkomsten met die van TGN1412, en de proefpersoon was ziek geworden. Maar dat kon niemand weten omdat de resultaten nooit aan de medische wereld bekend waren gemaakt. Ze bleven ongepubliceerd en niemand wist ervan, terwijl ze zes mannen hadden kunnen behoeden voor een afschuwelijke, bijna dodelijke en onnodige beproeving.

Die eerste onderzoeker kon de specifieke schade waaraan hij had bijgedragen, niet voorzien, en we kunnen hem als individu moeilijk iets verwijten, want hij werkte binnen een academische cultuur waarin het als volkomen normaal werd beschouwd gegevens ongepubliceerd te laten. Die cultuur bestaat nog steeds. In het laatste rapport over TGN1412 trok men de conclusie dat het van essentieel belang was de resultaten bekend te maken van alle tests die voor het eerst op mensen werden uitgevoerd: ze moesten allemaal, zonder uitzondering, routinematig worden gepubliceerd. Maar testresultaten uit fase 1 werden toen niet bekendgemaakt, en ook dat gebeurt nog steeds niet. In 2009 werd voor het eerst een onderzoek gepubliceerd waarin specifiek aandacht werd besteed aan het aantal voor het eerst op mensen toegepaste tests dat gepubliceerd was, én aan het aantal dat verborgen was gebleven.[9] Alle tests die door een ethische commissie in de loop van een jaar waren goedgekeurd, werden onder de loep genomen. Na vier jaar waren negen van de tien tests nog niet gepubliceerd; na acht jaar was dat bij vier van de vijf nog steeds niet het geval.

Zoals we steeds opnieuw zullen zien, is medisch onderzoek niet van abstracte aard: het heeft rechtstreeks te maken met leven, dood, lijden en pijn. Door elk van die ongepubliceerde onderzoeken worden we geheel onnodig potentieel blootgesteld aan nog een TGN1412. Zelfs een berucht internationaal nieuwsbericht, met afschuwelijke beelden van jonge mannen die op ziekenhuisbedden met zwart geworden vingers zwaaiden, was niet genoeg om beweging in de zaak te krijgen, omdat het probleem van ontbrekende gegevens te gecompliceerd is om in één zin uit te leggen.

Wanneer de resultaten van fundamenteel onderzoek, zoals een kleine test die voor het eerst op mensen wordt uitgevoerd, niet bekend worden gemaakt, stellen we mensen in de toekomst bloot aan onnodige risico’s. Was dit een extreem geval? Blijft het probleem beperkt tot pas ontdekte, experimentele en nieuwe medicijnen en kleine groepen proefpersonen? Nee.

In de jaren tachtig begonnen artsen medicijnen tegen hartritmestoornissen te geven aan alle patiënten die een hartaanval hadden gehad. Op papier was dit volstrekt zinvol: we wisten dat medicijnen tegen hartritmestoornissen abnormale hartritmen hielpen voorkomen, we wisten ook dat mensen na een hartaanval een grote kans op hartritmestoornissen hadden, en ook dat die vaak onopgemerkt bleven, niet werden gediagnosticeerd en niet werden behandeld. Aan iedereen die een hartaanval had gehad medicijnen tegen hartritmestoornissen geven was een simpele, verstandige preventieve maatregel.

Helaas bleek dat we het bij het verkeerde eind hadden. Deze manier van doen, met de beste bedoelingen en op basis van de beste principes, leidde er in feite toe dat mensen overleden. En omdat hartaanvallen erg vaak voorkomen, overleden er grote aantallen mensen: meer dan 100.000 stierven voordat het besef doordrong dat het delicate evenwicht tussen heilzame werking en risico’s volkomen anders was bij patiënten bij wie hartritmestoornissen niet waren aangetoond.

Had iemand dit kunnen voorspellen? Helaas, ja, dat had gekund. In 1980 werd een nieuw medicijn tegen hartritmestoornissen, lorcainide, getest bij een klein aantal mannen (minder dan honderd) die een hartaanval hadden gehad, om te kijken of het van enig nut was. Negen van de 48 mannen die lorcainide hadden ingenomen overleden, naast maar één man van de 47 mannen die een placebo hadden gekregen. Het medicijn stond aan het begin van zijn ontwikkelingsproces, en niet lang na dit onderzoek ging men om commerciële redenen niet verder met dat proces. Omdat het medicijn niet in de handel was, kwam het in niemand op de test te publiceren. De onderzoekers gingen ervan uit dat het om een idiosyncratisch kenmerk van het molecuul ging, en besteedden er verder geen aandacht aan. Als ze het onderzoek wel hadden gepubliceerd, zouden we veel voorzichtiger zijn geweest met het uitproberen van andere medicijnen tegen hartritmestoornissen bij mensen die een hartaanval hadden gehad, en zou er misschien eerder een einde zijn gemaakt aan het buitensporige aantal sterfgevallen: meer dan 100.000 mensen belandden voortijdig in hun graf. Meer dan tien jaar later publiceerden de onderzoekers eindelijk hun resultaten, met een verontschuldiging, want ze erkenden de schade die ze hadden veroorzaakt door die gegevens niet eerder te publiceren:

Toen we in 1980 ons onderzoek deden, dachten we dat het gestegen sterftecijfer bij de lorcainidegroep op toeval berustte. De ontwikkeling van lorcainide werd vanwege commerciële redenen gestopt, en daarom is dit onderzoek nooit gepubliceerd; het is een goed voorbeeld van ‘publicatiebias’. De hier beschreven resultaten hadden kunnen waarschuwen voor problemen in de toekomst.[10]

Zoals we al snel zullen zien, komt dit probleem van ongepubliceerde gegevens alom in de geneeskunde voor, sterker nog, in de hele wetenschappelijke wereld, ook al zijn de omvang van het probleem en de schade die het veroorzaakt zonder enige twijfel goed in kaart gebracht. We zullen verhalen te horen krijgen over fundamenteel kankeronderzoek, Tamiflu, cholesterolverlagers, medicijnen tegen overgewicht, antidepressiva en meer, over bewijsmateriaal vanaf de aanvang van de geneeskunde tot op de huidige dag. We zullen lezen over gegevens over alom gebruikte medicijnen, die veel lezers misschien vanochtend nog hebben ingenomen, die op het moment waarop ik dit schrijf nog altijd worden achtergehouden. We zullen ook zien hoe regulerende instanties en wetenschappelijke beroepsverenigingen herhaaldelijk hebben verzuimd hier iets aan te doen.

Omdat onderzoekers willekeurig welk onderzoeksresultaat aan het oog mogen onttrekken, worden patiënten door de geneeskunde als geheel, van onderzoek tot praktische toepassing, op een verbijsterende schaal blootgesteld aan schadelijke effecten. Artsen hebben waarschijnlijk geen flauw idee van de echte gevolgen van hun behandelingen. Werkt dit medicijn echt het beste, of heb ik gewoon de helft van de gegevens niet te horen gekregen? Niemand die het weet. Is dit dure medicijn zijn geld waard, of heeft men simpelweg de gegevens gemanipuleerd? Niemand die het weet. Heeft dit medicijn de dood van patiënten tot gevolg? Zijn er bewijzen dat het gevaarlijk is? Niemand die het weet.

Dit is een bizarre situatie in de geneeskunde, een vakgebied waarin, naar wordt verondersteld, alles op bewijzen is gebaseerd, en waarbij de alledaagse praktijk wordt bepaald door angst voor rechtszaken. In een van de meest gereguleerde aspecten van het menselijk doen en laten hebben we onze alertheid laten varen en toegelaten dat de bewijzen waarop de praktijk is gebaseerd werden vervormd en vervuild. Het lijkt onvoorstelbaar. We zullen nu zien hoe diep dit probleem geworteld is.

Waarom we gegevens samenvatten

In de geneeskunde zijn ontbrekende gegevens uitvoerig bestudeerd. Maar voor ik dat bewijsmateriaal uiteenzet, moeten we precies begrijpen waarom dit vanuit een wetenschappelijk perspectief van belang is. En daarom moeten we inzicht hebben in systematische overzichtsonderzoeken en ‘meta-analyses’. Beide zijn gebaseerd op twee van de sterkste ideeën van de moderne geneeskunde. Ze zijn ongelooflijk eenvoudig, maar schokkend laat bedacht.

Wanneer we willen ontdekken of iets al dan niet werkt, doen we een test. Dat is een heel eenvoudig proces, en de eerste poging daartoe staat in de Bijbel (Daniël 1:12, voor het geval u geïnteresseerd bent). Ten eerste hebben we een onbeantwoorde vraag nodig, bijvoorbeeld: ‘Als we steroïden geven aan een vrouw die haar baby te vroeg ter wereld aan het brengen is, wordt de kans dan groter dat de baby in leven blijft?’ Vervolgens hebben we geschikte proefpersonen nodig, in dit geval zwangere vrouwen die op het punt staan voortijdig te bevallen. Voor deze test is een flink aantal noodzakelijk, laten we zeggen: tweehonderd vrouwen. We verdelen hen naar willekeur in twee groepen, en geven de moeders in de ene groep de beste behandeling die er nu bestaat (welke dat ook mag zijn), terwijl de moeders in de andere groep die huidige beste behandeling ook krijgen, plus wat steroïden. Wanneer alle tweehonderd vrouwen de test hebben gedaan, tellen we hoeveel baby’s in elke groep in leven zijn gebleven.

Dit is een reële vraag, en er zijn vanaf 1972 heel veel tests over dit onderwerp gedaan: twee tests toonden aan dat steroïden levens hebben gered, maar vijf lieten geen significante heilzame werking zien. Nu zult u vaak horen dat artsen het niet met elkaar eens zijn als het bewijsmateriaal geen uitsluitsel geeft, en dit is zo’n situatie. Een arts die er al van tevoren sterk van overtuigd is dat steroïden werken (misschien houdt hij zich intensief bezig met een theoretisch moleculair mechanisme dat ertoe zou leiden dat het molecuul iets nuttigs in het lichaam doet), zou kunnen zeggen: ‘Kijk eens naar die twee positieve tests! Natuurlijk moeten we steroïden geven!’ Een arts die al eerder intuïtief meende te weten dat steroïden waardeloos zijn, zou op de vijf negatieve tests kunnen wijzen en zeggen: ‘Over het geheel genomen toont het bewijsmateriaal aan dat steroïden niet werken. Waarom zou ik een risico nemen?’

Tot zeer kort geleden ging men in de geneeskunde in principe op deze manier te werk. Mensen schreven langdradige overzichtsartikelen (die de vakliteratuur over een bepaald onderwerp in kaart brachten), waarin een volkomen onsystematisch beeld werd gegeven van de testgegevens die ze toevallig waren tegengekomen, en die vaak hun eigen vooroordelen en waarden weerspiegelden. Toen begon men in de jaren tachtig over te gaan op zogenaamde ‘systematische overzichten’. Dat zijn duidelijke systematische overzichten van de vakliteratuur, met de bedoeling alle testgegevens te verzamelen die er maar over een bepaald onderwerp te vinden zijn, zonder voorkeur voor een bepaalde serie resultaten. In een systematisch overzicht beschrijf je nauwkeurig hoe je aan je gegevens bent gekomen: welke databases je hebt doorzocht, welke zoekmachines en catalogussen je hebt gebruikt, en zelfs op welke trefwoorden je hebt gezocht. Je bakent van tevoren af welke soorten onderzoek in je overzicht worden opgenomen, en vervolgens presenteer je alles wat je hebt gevonden, inclusief de artikelen die je hebt afgewezen, met een verklaring van de reden daarvan. Zo zorg je ervoor dat je werkmethoden volkomen transparant en herhaalbaar zijn en dat er kritiek op geleverd kan worden. Zo krijgt de lezer een duidelijk en volledig beeld van het bewijsmateriaal. De achterliggende gedachte klinkt waarschijnlijk heel eenvoudig, maar systematische overzichten zijn buiten de klinische geneeskunde buitengewoon zeldzaam. Het gaat hier eigenlijk om een van de belangrijkste en meest baanbrekende ideeën van de afgelopen veertig jaar.

Wanneer je alle testgegevens hebt verzameld, kun je een zogenaamde ‘meta-analyse’ uitvoeren. Daarbij zet je alle resultaten in een reusachtig spreadsheet, voeg je alle gegevens bijeen en kom je uit op één enkel, samenvattend cijfer, de nauwkeurigste samenvatting van alle gegevens over één medische vraag. Het resultaat hiervan wordt een ‘blobbogram’ genoemd; hieronder ziet u er een, in het logo van de Cochrane Collaboration, een wereldwijde, academische non-profitorganisatie die sinds de jaren tachtig betrouwbare overzichten van bewijsmateriaal over belangrijke medische vragen heeft samengesteld.

Dit blobbogram laat de resultaten zien van alle tests die zijn gedaan over het geven van steroïden om de overlevingskansen van te vroeg geboren baby’s te vergroten. Elke horizontale lijn is een test: hoe verder de lijn naar links uitwijkt, des te meer heeft die test aangetoond dat steroïden heilzaam hebben gewerkt en levens hebben gered. De centrale verticale lijn is de lijn van ‘geen effect’: als de horizontale lijn van de test de lijn van ‘geen effect’ raakt, dan vertoonde die test geen statistisch significante heilzame werking. Sommige tests worden weergegeven door langere horizontale lijnen: dit waren de kleinste tests met de minste deelnemers, en dat betekent dat ze eerder fouten vertonen. We kunnen hun heilzame werking minder zeker inschatten, en daarom is de horizontale lijn langer. Ten slotte toont het ruitje onderaan het ‘samengevatte effect’: dit is het algehele effect van de ingreep na bundeling van de resultaten van alle afzonderlijke tests. Dit effect is veel minder breed dan de lijnen voor de afzonderlijke tests, omdat de schatting veel nauwkeuriger is: ze vat het effect van het medicijn samen bij een veel groter aantal patiënten. Omdat het ruitje ver van de lijn van ‘geen effect’ af staat, toont dit blobbogram dat steroïden toedienen een sterke heilzame werking heeft. In feite wordt daardoor de kans dat een te vroeg geboren baby sterft half zo klein.

Het verbazende van het blobbogram is dat het moest worden uitgevonden, en dat is pas heel laat in de geschiedenis van de geneeskunde gebeurd. Jarenlang beschikten we over alle informatie die we nodig hadden om te weten dat steroïden levens konden redden, maar niemand wist dat ze effectief waren, want niemand voerde voor 1989 een systematisch overzichtsonderzoek uit. Ten gevolge daarvan werd deze behandeling niet vaak gegeven en zijn enorme aantallen baby’s onnodig overleden, niet omdat we de juiste informatie niet hadden, maar simpelweg omdat we die informatie niet goed hadden gebundeld.

Voor het geval u denkt dat het hier om een geïsoleerd incident ging: het is de moeite waard nauwkeurig te onderzoeken hoe angstwekkend weinig samenhang de geneeskunde tot zeer kort geleden nog vertoonde. In het diagram hieronder staan twee blobbogrammen of ‘percelen’ die alle tests laten zien die ooit zijn uitgevoerd om na te gaan of streptokinase, een antistollingsmiddel, het leven verlengt van patiënten die een hartinfarct hebben gehad.[11]

Kijk eerst eens naar het perceel links. Dat is een conventioneel perceel uit een wetenschappelijk tijdschrift, dus het ziet er wat minder overzichtelijk uit dan het gestileerde blobbogram in het Cochrane-logo. De principes zijn echter precies dezelfde. Iedere horizontale lijn stelt een test voor, en u ziet een allegaartje aan resultaten: sommige tests laten een heilzame werking zien (ze raken de verticale lijn van ‘geen effect’, waarboven een 1 staat, niet), en andere tonen geen heilzame werking (ze kruisen die verticale lijn). Maar onderaan ziet u het samengevatte effect: op dit ouderwetse blobbogram een stip, en geen ruit. En u ziet bijzonder duidelijk dat streptokinase over het geheel genomen levens redt.

En wat toont de rechterkant? De zogenaamde cumulatieve meta-analyse. Als u naar de lijst onderzoeken aan de linkerkant van het diagram kijkt, ziet u dat ze chronologisch zijn gerangschikt. Op de cumulatieve meta-analyse rechts worden de resultaten van iedere nieuwe test, in volgorde van historische publicatie, toegevoegd aan de resultaten van de eerdere tests. Dit geeft ieder jaar de best mogelijke schatting van hoe het bewijsmateriaal er destijds zou hebben uitgezien als iemand de moeite had genomen een meta-analyse uit te voeren op alle beschikbare data. Aan dit cumulatieve blobbogram kunt u zien dat de horizontale lijnen, de ‘samengevatte effecten’, in de loop van de tijd korter worden naarmate er meer gegevens worden verzameld: de inschatting van de algehele heilzame werking van deze behandeling wordt steeds nauwkeuriger. U ziet ook dat de horizontale lijnen al sinds lange tijd de verticale lijn van ‘geen effect’ niet meer raken. Het is van cruciaal belang dat dit al het geval was vóórdat we streptokinase begonnen te geven aan iedereen die een hartaanval had gehad.

Mulrow C.D., ‘Rationale for systematic reviews’. BMJ 3 sept 1994; 309(6954): 597–9. Zie http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2541393/?page=1

Mocht u het nog niet hebben beseft (eerlijk gezegd drong het ook maar moeizaam tot de medische wereld als geheel door): deze tabel heeft verschrikkelijke implicaties. Een hartaanval is een ongelooflijk vaak voorkomende doodsoorzaak. We hadden een behandeling die werkte, en we beschikten over alle informatie die nodig was om te weten dat ze werkte, maar ook hier hebben we de informatie niet systematisch gebundeld om dat juiste antwoord te krijgen. De helft van de mensen in de tests onder aan het blobbogram was naar willekeur ingedeeld in een groep die geen streptokinase kreeg; naar mijn mening is dat onethisch, omdat we alle benodigde informatie hadden om te weten dat streptokinase werkt. Aan deze mensen is een effectieve behandeling onthouden. En dat gold niet alleen voor hen, maar ook voor het grootste deel van de wereldbevolking van destijds.

Hopelijk maken deze verhalen duidelijk waarom systematische overzichten en meta-analyses zo belangrijk zijn: we moeten álle bewijsmateriaal in verband met een onderzoeksvraag bundelen, en niet de krenten uit de pap halen die we toevallig tegenkomen of die ons intuïtief bevallen. Gelukkig is de medische wereld dit in de loop van de afgelopen decennia gaan erkennen, en systematische overzichten en meta-analyses worden nu vrijwel overal gebruikt om ervoor te zorgen dat we over een zo nauwkeurig mogelijke samenvatting beschikken van alle tests die ooit in verband met een specifiek medisch probleem zijn uitgevoerd.

Maar deze verhalen laten ook zien waarom ontbrekende testresultaten zo gevaarlijk zijn. Als een onderzoeker of een arts ‘de krenten uit de pap haalt’ bij de samenvatting van de bestaande gegevens en alleen maar kijkt naar de tests die zijn eigen vermoedens bevestigen, kan hij een verkeerd beeld van het onderzoek geven. Dat is een probleem voor dat ene individu (en voor iedereen die zo onverstandig of ongelukkig is door hem te worden beïnvloed). Maar als alle mensen uit de hele medische en wetenschappelijke wereld de negatieve tests buiten beschouwing laten, raken we allemáál op een volkomen verkeerd spoor wanneer we het bewijsmateriaal bundelen om het best mogelijke inzicht te krijgen in wat werkt, zoals we dat behoren te doen. We krijgen een onjuist beeld van de effectiviteit van de behandeling, we overdrijven ten onrechte de heilzame werking ervan, of we concluderen misschien ten onrechte dat een ingreep goed werkt terwijl die in feite schadelijk is.

Nu u het belang van systematische overzichten begrijpt, ziet u ook in waarom ontbrekende gegevens van belang zijn. Maar u kunt dan ook op waarde schatten dat ik u een compleet overzicht van de vakliteratuur bied als ik uiteenzet hoevéél testgegevens onder tafel zijn gebleven, want ik licht dat bewijsmateriaal toe door middel van systematische overzichten.

Hoeveel gegevens ontbreken er?

Als je wilt bewijzen dat tests ongepubliceerd zijn gebleven, sta je voor een interessant probleem: je moet aantonen dat onderzoeken waartoe je geen toegang hebt, wél bestaan. Om dat te omzeilen is een simpele methode ontwikkeld: je neemt een serie tests waarvan je weet dat ze zijn uitgevoerd en voltooid, en vervolgens controleer je of ze gepubliceerd zijn. Het lastigste onderdeel hiervan is een lijst maken van voltooide tests, en daarvoor bestaan diverse strategieën: bijvoorbeeld de lijsten met tests uitpluizen die door ethische commissies (‘institutional review boards’ in de Verenigde Staten) zijn goedgekeurd, of de tests verzamelen die onderzoekers op congressen bespreken.

In 2008 besloot een groep onderzoekers te controleren welke tests niet waren gepubliceerd van alle tests van antidepressiva die tussen 1987 en 2004 op de markt waren gekomen, en waarvan ooit verslag was uitgebracht aan de US Food and Drug Administration. Dat was geen geringe taak. De archieven van de FDA bevatten aardig wat informatie over alle tests die aan deze regulerende instantie zijn voorgelegd met het doel een vergunning te krijgen voor een nieuw medicijn. Maar dat zijn zeker niet alle tests, want de tests die zijn uitgevoerd nadat het medicijn op de markt is gebracht, zijn er niet bij. Bovendien is de informatie die de FDA geeft moeilijk te onderzoeken en vaak karig. Maar het gaat om een belangrijk deel van het totale aantal tests, meer dan genoeg om na te gaan hoe vaak er tests ontbreken, en waarom. Het is ook een representatief gedeelte van alle tests die door alle grote farmaceutische bedrijven zijn uitgevoerd.

De onderzoekers vonden in totaal 74 onderzoeken met de gegevens van 12.500 patiënten. Achtendertig daarvan hadden positieve resultaten en concludeerden dat het nieuwe medicijn werkte, 36 waren negatief. De resultaten waren dus gelijkelijk verdeeld wat betreft succes en falen van de nieuwe medicijnen in de praktijk. Vervolgens begonnen de onderzoekers naar deze tests te speuren in de gepubliceerde wetenschappelijke vakliteratuur, het materiaal dat aan artsen en patiënten ter beschikking staat. Dat gaf een heel ander beeld. Zevenendertig positieve tests (allemaal op één na) waren volledig gepubliceerd, vaak met veel ophef. Maar de tests met negatieve resultaten verging het heel anders: maar drie ervan waren gepubliceerd. Tweeëntwintig waren simpelweg verdwenen en nooit meer ergens anders te vinden dan in de stoffige, chaotische, summiere dossiers van de FDA. De resterende elf tests met negatieve resultaten waren wel in de wetenschappelijke literatuur gepubliceerd, maar daarin werd het medicijn beschreven als een succes. Als u denkt dat dit absurd klinkt, ben ik het met u eens: we zullen in hoofdstuk 4, ‘Tests van slechte kwaliteit’, zien hoe de resultaten van een onderzoek bewerkt en gepolijst kunnen worden om ze te vertekenen en te gunstig voor te stellen.

Dit was een opmerkelijk staaltje werk voor twaalf medicijnen van alle grote fabrikanten, en daar zat geen opvallend ‘schurkenbedrijf’ bij. Het bracht heel duidelijk een slecht functionerend systeem aan het licht: in werkelijkheid zijn er 38 positieve tests en 37 negatieve, en in de wetenschappelijke literatuur vinden we 48 positieve tests en 3 negatieve. Laat die verschillen maar even tot u doordringen: ‘38 positieve tests en 37 negatieve’, of ‘48 positieve tests en maar 3 negatieve’.

Als we het zouden hebben over één enkel onderzoek van één enkel team onderzoekers dat had besloten de helft van de resultaten weg te laten omdat ze niet in het algehele beeld pasten dat zij zich wensten, zouden we dat volkomen terecht ‘wetenschappelijk wangedrag’ noemen. Maar als hele onderzoeken ontbreken door toedoen van talloze personen overal ter wereld, zowel in de publieke als in de particuliere sector, aanvaarden we dat als een normaal aspect van het leven.[12] Het ontsnapt aan de waakzame blik van regulerende en professionele instanties die routinematig niets doen, ondanks de onmiskenbare gevolgen voor patiënten.

En het vreemdste is wel dat we vrijwel sinds het begin van de serieuze wetenschapsbeoefening op de hoogte zijn geweest van het probleem van het verdonkeremanen van onderzoek met negatieve resultaten.

Een psycholoog, Theodore Sterling, heeft dit voor het eerst officieel gedocumenteerd in 1959.[13] Hij las ieder artikel door dat in de vier grote psychologische tijdschriften van die tijd was gepubliceerd, en ontdekte dat 286 van de 294 een statistisch significant resultaat vermeldden. Dit, zo verklaarde hij, was ronduit ongeloofwaardig: het kon onmogelijk een juiste weergave zijn van ieder onderzoek dat was uitgevoerd, omdat we, als we dit geloofden, ook zouden moeten geloven dat bijna iedere theorie die ooit door een psycholoog met een experiment was getoetst, juist bleek. Als psychologen werkelijk zo uitstekend resultaten konden voorspellen, had het eigenlijk geen zin meer de moeite te nemen experimenten te doen. In 1995, aan het einde van zijn loopbaan, kwam dezelfde onderzoeker terug op dezelfde vraag, een half leven later, en ontdekte hij dat er bijna niets was veranderd.[14]

Sterling was de eerste die deze ideeën in een officiële wetenschappelijke context plaatste, maar de fundamentele waarheid ervan werd al eeuwenlang onderkend. Francis Bacon verklaarde in 1620 dat we onszelf vaak misleiden door ons alleen situaties te herinneren waarin iets heeft gewerkt, en situaties te vergeten waarin dat niet het geval was.[15] Fowler maakte in 1786 een lijst van patiënten die, zoals hij had gezien, met arsenicum waren behandeld, en wees erop dat hij de mislukkingen over het hoofd had kunnen zien, iets waartoe ook anderen verleid hadden kunnen worden; maar hij had die nu juist wél toegevoegd.[16] Een andere handelwijze, zo verklaarde hij, zou misleidend zijn geweest.

Toch begonnen mensen nog maar dertig jaar geleden te beseffen dat ontbrekende tests de geneeskunde voor een ernstig probleem stelden. In 1980 ontdekte Elina Hemminki dat bijna de helft van de tests die halverwege de jaren zeventig in Finland en Zweden waren uitgevoerd, ongepubliceerd was gebleven.[17] Daarna besloot Robert Simes, een Amerikaanse wetenschapper, in 1986 de tests te onderzoeken van een nieuwe behandeling voor eierstokkanker. Dit was een belangrijk onderzoek, want het ging om een kwestie van leven of dood. Gecombineerde chemotherapie bij deze vorm van kanker had zeer ernstige bijwerkingen, en omdat veel onderzoekers dit wisten, hoopten ze dat het beter was eerst één enkel ‘cytostatisch middel’ te geven alvorens over te gaan tot volledige chemotherapie. Simes bekeek alle tests over het probleem die in de wetenschappelijke literatuur, gelezen door artsen en wetenschappers, waren gepubliceerd. Op basis daarvan leek het een prachtig idee om eerst één enkel medicijn te geven: vrouwen met vergevorderde eierstokkanker (een verontrustende diagnose) die dat ene cytostatische middel kregen, hadden een significant grotere kans om langer te leven.

Toen ging Simes een licht op. Hij wist dat tests soms ongepubliceerd blijven, en had gehoord dat artikelen met minder ‘opwindende’ resultaten de grootste kans lopen niet te verschijnen. Maar dat is lastig te bewijzen: je moet een goede, representatieve steekproef vinden van alle tests die zijn uitgevoerd, en vervolgens de resultaten vergelijken met de kleinere hoeveelheid tests die wél is gepubliceerd, om te zien of daartussen verontrustende verschillen bestaan. Het was niet gemakkelijk deze informatie van de regulerende instantie in kwestie los te krijgen (we bespreken dit probleem later uitvoeriger), dus wendde hij zich tot de International Cancer Research Data Bank. Hier waren interessante tests geregistreerd die in de VS waren uitgevoerd, inclusief het grootste deel dat door de overheid was gefinancierd, en vele andere uit de hele wereld. Het was allerminst een volledige lijst, maar wel met één cruciaal kenmerk: de tests waren geregistreerd voordat de resultaten ervan bekend werden, dus iedere lijst die op basis van deze werd samengesteld, was weliswaar niet compleet, maar vormde in ieder geval een representatieve steekproef van alle onderzoek dat ooit was gedaan, en die steekproef vertoonde geen bias wat betreft positieve dan wel negatieve resultaten.

Toen Simes de resultaten van de gepubliceerde tests vergeleek met de vooraf geregistreerde tests, kwam hij tot een verontrustende conclusie. Wanneer je naar de wetenschappelijke literatuur keek (de onderzoeken die onderzoekers en redacteuren hadden verkozen te publiceren), leek één enkel cytostatisch middel een geweldig idee: het zou het sterftecijfer bij vergevorderde eierstokkanker significant laten dalen. Maar wanneer je alleen naar de vooraf geregistreerde tests keek (de niet-vertekende, betrouwbare steekproef van alle tests die ooit waren uitgevoerd), bleek de nieuwe behandeling niet beter te zijn dan ouderwetse chemotherapie.

Simes zag onmiddellijk in dat de vraag of een bepaalde vorm van kankerbehandeling beter is dan een andere in het niet viel vergeleken bij de dieptebom die hij in de medische vakliteratuur wilde laten ontploffen. Alles wat we dachten te weten over de vraag of behandelingen al dan niet werken, was waarschijnlijk vertekend in een mate die moeilijk te meten was, maar dit zou zeker grote gevolgen hebben voor de behandeling van patiënten. We konden de positieve resultaten zien, maar niet de negatieve. Daar konden we maar één ding aan doen: een register aanleggen van alle klinische tests, eisen dat tests worden geregistreerd voordat ze worden uitgevoerd, en erop staan dat de resultaten uiteindelijk allemaal worden gepubliceerd.

Dat was in 1986. Sindsdien, en we zijn inmiddels een generatie verder, hebben we het er bijzonder slecht vanaf gebracht. Ik beloof u dat ik u in dit boek niet met gegevens zal overspoelen. Maar ik wil evenmin dat welk farmaceutisch bedrijf dan ook, of welke regulerende overheidsinstantie of professionele instantie dan ook, of welke mensen dan ook die dit hele verhaal betwijfelen, ook maar enige ruimte krijgen om eronderuit te komen. Daarom neem ik nu zo kort mogelijk alle bewijsmateriaal door over ontbrekende tests en laat ik de belangrijkste methoden zien die daarvoor zijn gebruikt. Alles wat u nu gaat lezen, is afkomstig uit de meest actuele systematische overzichten, dus u kunt er zeker van zijn dat het een betrouwbare en niet-vertekende samenvatting van de resultaten is.

Een van de onderzoeksmethoden is: de hand leggen op alle tests die door een regulerende instantie zijn geregistreerd, vanaf de allereerste die zijn uitgevoerd om een vergunning voor een nieuw medicijn te krijgen, en vervolgens controleren of ze allemaal in de wetenschappelijke vakliteratuur verschenen zijn. Zoals we hebben gezien, werd deze methode gebruikt bij het bovengenoemde voorbeeld, waarbij onderzoekers alle artikelen over twaalf antidepressiva opzochten en ontdekten dat voor de helft positieve en voor de helft negatieve resultaten veranderden in 48 positieve artikelen en maar 3 negatieve. Deze methode is op grote schaal gebruikt op diverse gebieden van de geneeskunde:

Lee en zijn collega’s zochten alle 909 tests op die in verband met een marktaanvraag waren ingediend voor alle 90 nieuwe medicijnen die van 2001 tot 2002 op de markt zijn verschenen: ze ontdekten dat 66 procent van de tests met significante resultaten was gepubliceerd, en maar 36 procent van de rest.[18]

In 2003 zocht Melander alle 42 tests op van 5 antidepressiva die waren voorgelegd aan de Zweedse regulerende overheidsinstantie voor medicijnen tijdens het proces van het verkrijgen van een vergunning om ze op de markt te brengen: alle 21 onderzoeken met significante resultaten werden gepubliceerd. Van de onderzoeken waaruit geen heilzame werking bleek, werden er maar 6 gepubliceerd.[19]

In 2008 ontdekten Rising et al. meer van die onbetrouwbare besprekingen die we later onder de loep zullen nemen: ze zochten alle tests op die waren gedaan met medicijnen die in de loop van twee jaar waren goedgekeurd. In de samenvatting van de resultaten van de FDA ontdekten ze, voor zover vindbaar, 164 tests. De tests met gunstige resultaten hadden viermaal zo veel kans in wetenschappelijke tijdschriften te worden gepubliceerd dan tests met negatieve resultaten. Bovendien had men in 4 tests met negatieve resultaten bij verschijning in de wetenschappelijke literatuur veranderingen aangebracht om het medicijn in een gunstiger daglicht te plaatsen.[20]

Desgewenst kunt u ook naar presentaties op congressen kijken, maar onze meest recente en nauwkeurigste schatting is dat maar de helft daarvan ooit in de wetenschappelijke literatuur verschijnt.[21] Onderzoeken die alleen op congressen zijn gepresenteerd, zijn bijna onmogelijk te vinden, dus kan er niet uit worden geciteerd. Ze zijn bovendien buitengewoon moeilijk te evalueren, omdat er zo weinig informatie (vaak niet meer dan één alinea) beschikbaar is over de specifieke onderzoeksmethoden die zijn gebruikt. En zoals u algauw zult zien, is niet iedere test een betrouwbare toetsing van een behandeling. Sommige tests laten een vertekend beeld zien vanwege de opzet ervan, dus die details zijn van belang.

Het recentste systematische overzichtsonderzoek van de research naar wat er met op congressen gepresenteerde artikelen gebeurt, werd in 2010 uitgevoerd, en daarbij werden 30 afzonderlijke onderzoeken ontdekt waarin werd nagegaan of negatieve presentaties op congressen – over uiteenlopende thema’s als anesthesie, taaislijmziekte en oncologie – verdwijnen voordat ze volledige wetenschappelijke artikelen worden.[22] Ongunstige resultaten hebben in overgrote meerderheid een veel hogere kans te worden verdonkeremaand.

Als u heel veel geluk hebt, kunt u een lijst tests opsporen die publiekelijk zijn geregistreerd voordat ze zijn uitgevoerd, misschien in een register dat is geopend om juist dit probleem te peilen. Nog maar heel kortgeleden bofte je heel erg als je zo’n lijst uit de farmaceutische industrie in het publieke domein aantrof. Voor door de overheid gefinancierd onderzoek geldt een wat ander verhaal, en hier beginnen we iets nieuws te leren: ook al wordt de overgrote meerderheid van de tests door de industrie uitgevoerd, met als gevolg dat zij een toonaangevende positie heeft, toch blijft dit verschijnsel niet beperkt tot de commerciële sector.

In 1997 was al met 4 onderzoeken naar deze benadering een systematisch overzichtsonderzoek gedaan. Daaruit bleek dat onderzoeken met significante resultaten viermaal zo veel kans hadden te worden gepubliceerd dan onderzoeken zonder significante resultaten.[23]

In een artikel uit 1998 werden alle tests doorgenomen van twee groepen testlijsten, die gedurende de 10 jaar daarvoor waren gesponsord door de US National Institutes of Health. Hier werd opnieuw ontdekt dat onderzoeken met significante resultaten een grotere kans hebben gepubliceerd te worden.[24]

In een ander artikel werd gekeken naar tests die bekend waren gemaakt aan de Finse regulerende instantie voor medicijnen. Men ontdekte dat 47 procent van de positieve resultaten werd gepubliceerd, en slechts 11 procent van de negatieve resultaten.[25]

In weer een ander artikel werd gekeken naar alle tests die sinds 1963 op de afdeling Farmacie van een oogkliniek waren uitgevoerd: 93 procent van de significante resultaten werd gepubliceerd, en slechts 70 procent van de negatieve resultaten.[26]

Het punt waarop deze stortvloed aan gegevens wijst, is simpel: dit is geen terrein waarop te weinig onderzoek is gedaan, het bewijsmateriaal is al sinds lang bekend, het is niet tegenstrijdig en ook niet voor meerdere interpretaties vatbaar.

Bij twee Franse onderzoeken uit 2005 en 2006 pasten de onderzoekers een nieuwe methode toe: ze gingen naar ethische commissies en kregen lijsten van alle onderzoeken die deze commissies hadden goedgekeurd. Vervolgens vroegen ze aan de betrokken wetenschappers of de tests positieve of negatieve resultaten hadden gehad, alvorens ten slotte de gepubliceerde wetenschappelijke artikelen op te sporen.[27] In het eerste onderzoek werd ontdekt dat significante resultaten tweemaal zo veel kans hadden te worden gepubliceerd, en in het tweede dat die kans viermaal zo groot was. In Engeland stuurden twee onderzoekers een vragenlijst naar alle teamleiders van 101 projecten die werden betaald door de afdeling Onderzoek en Ontwikkeling van de National Health Service: het gaat hier niet om onderzoek van de farmaceutische industrie, maar het is toch vermeldenswaard. Het leidde tot een ongewoon resultaat: er was geen significant verschil tussen het aantal publicaties van positieve en negatieve artikelen.[28]

Maar het is niet genoeg alleen maar lijsten van onderzoeken te maken. Wanneer we alle bewijsmateriaal dat we tot nu toe hebben gevonden systematisch overzien, welk totaalbeeld ontstaat dan?

Het is niet ideaal alle onderzoeken van dit type in één reusachtig spreadsheet te zetten om een samenvattend cijfer over publicatiebias te berekenen, omdat ze erg van elkaar verschillen: ze komen uit diverse vakgebieden en er worden uiteenlopende methoden bij gebruikt. Dit is bij veel meta-analyses een punt van zorg (al moet het niet worden overdreven: als er een grote hoeveelheid tests is gedaan waarin, laten we zeggen, een bepaalde behandeling wordt vergeleken met een placebo, en waarbij de resultaten op dezelfde manier zijn gemeten, kunnen we ze gerust in één spreadsheet zetten).

Het is echter aanvaardbaar een aantal van deze onderzoeken in groepen onder te brengen. Het meest actuele systematische overzichtsonderzoek over publicatiebias uit 2010, waaruit de bovengenoemde voorbeelden zijn genomen, bundelt bewijsmateriaal uit diverse vakgebieden.[29] Twaalf vergelijkbare onderzoeken gaan na wat er met presentaties op congressen is gebeurd, en over het geheel genomen bleek daaruit dat een onderzoek met een significant resultaat 1,62 maal meer kans heeft te worden gepubliceerd. Bij de 4 onderzoeken waarbij lijsten van tests werden bekeken voordat die tests waren uitgevoerd, hadden significante resultaten over het geheel genomen 2,4 maal meer kans te worden gepubliceerd. Dat zijn de beste schattingen van de omvang van het probleem. Ze zijn actueel en ze zijn vernietigend.

Al deze ontbrekende gegevens zijn niet alleen maar een abstract academisch probleem: in de reële geneeskunde wordt gepubliceerd bewijsmateriaal gebruikt om beslissingen over behandelingen te nemen. Dit probleem tast de kern aan van alles wat artsen doen, en daarom loont het de moeite om min of meer gedetailleerd na te gaan welke gevolgen het heeft voor de medische praktijk. Zoals we bij reboxetine zagen, worden artsen en patiënten ten eerste misleid over de effecten van de medicijnen die ze gebruiken, en ze kunnen uiteindelijk beslissingen nemen die onnodig lijden of zelfs de dood tot gevolg hebben. We kunnen ook onnodig kiezen voor dure behandelingen, omdat we ten onrechte zijn gaan denken dat ze effectiever zijn dan goedkopere en oudere medicijnen. Dat is geldverspilling die patiënten uiteindelijk van andere behandelingen berooft, aangezien de financiering van de gezondheidszorg nooit onbegrensd is.

Het loont ook de moeite duidelijk te stellen dat deze gegevens aan iedereen in de medische wereld, op elk hiërarchisch niveau, worden onthouden. Zo heeft de Britse regering het NICE, het National Institute for Health and Clinical Excellence, opgericht om zorgvuldige, niet-vertekende samenvattingen te geven van alle bewijsmateriaal over nieuwe behandelingen. Maar het instituut is niet in staat gegevens over de effectiviteit van een medicijn te vinden of toegankelijk te maken die door onderzoekers of bedrijven worden achtergehouden: het NICE heeft juridisch gesproken niet meer recht op die gegevens dan u of ik, ook al neemt het instituut beslissingen over effectiviteit en kostenbeheersing voor de National Health Service voor miljoenen mensen. Zoals we zullen zien, hebben de MHRA en de EMA (European Medicines Agency), de regulerende instanties die beslissen welke medicijnen in Engeland op de markt mogen worden gebracht, vaak wel toegang tot deze informatie, maar maken ze die niet bekend aan het grote publiek, aan artsen of aan het NICE. Dit is een vreemde en volkomen verkeerde situatie.

Dus terwijl men artsen in het ongewisse laat, worden patiënten blootgesteld aan minder goede, niet effectieve, onnodige en onnodig dure behandelingen die niet beter zijn dan goedkopere. Regeringen betalen voor onnodig dure behandelingen en moeten de kosten dragen van ontoereikende of schadelijke behandelingen. Individuele deelnemers aan tests, zoals in het onderzoek naar TGN1412, worden blootgesteld aan afschuwelijke, levensgevaarlijke beproevingen die levenslang littekens nalaten, opnieuw volkomen onnodig.

Tegelijkertijd wordt al het medische onderzoek vertraagd, omdat negatieve resultaten van vitaal belang worden onthouden aan mensen die ze goed kunnen gebruiken. Daar heeft iedereen last van, maar het is vooral vreselijk in de wereld van ‘zeldzame ziekten’, medische problemen waar maar een klein aantal patiënten aan lijdt. Deze uithoeken van de geneeskunde beschikken al over te weinig middelen, en worden verwaarloosd door de onderzoeksafdelingen van de meeste farmaceutische bedrijven, omdat de kansen op winst hier geringer zijn. Mensen die zich met zeldzame ziekten bezighouden, onderzoeken vaak bestaande medicijnen die in andere situaties al zonder succes zijn uitgeprobeerd, maar die in theorie mogelijkheden bieden bij zeldzame ziekten. Als de gegevens uit eerder werk over deze medicijnen bij andere ziekten ontbreken, is onderzoek ten behoeve van de zeldzame ziekte moeilijker en gevaarlijker: misschien is al aangetoond dat ze heilzame werkingen of effecten hebben die onderzoek zouden bespoedigen, of misschien is al gebleken dat ze bij andere ziekten schadelijk zijn, en bestaan er belangrijke signalen in verband met de veiligheid die toekomstige deelnemers aan onderzoek tegen schade zouden kunnen beschermen. Er is niemand die het je kan vertellen.

Ten slotte, en dat is misschien wel het schandaligste: als we toestaan dat ongunstige gegevens niet worden gepubliceerd, verraden we de patiënten die aan deze onderzoeken hebben deelgenomen, de mensen die hun lichaam ter beschikking hebben gesteld, en soms zelfs hun leven op het spel hebben gezet, in de onuitgesproken overtuiging dat ze bijdragen aan de verwerving van nieuwe kennis, waarbij anderen, in dezelfde situatie als zij, in de toekomst baat zullen hebben. In feite is het geen stilzwijgende overtuiging: vaak is dat precies wat we als onderzoekers tegen hen zeggen, en het is een leugen. Want er kunnen gegevens worden achtergehouden, en dat weten we.

Dus wie maakt zich hier schuldig aan?

[1] Bourgeois F.T., Murthy S., Mandl K.D., ‘Outcome Reporting Among Drug Trials Registered in Clinical Trials.gov’. Annals of Internal Medicine. 2010; 153(3): 158–66.

[2] Bero L., Oostvogel F., Bacchetti P., Lee K., ‘Factors Associated with Findings of Published Trials of Drug–Drug Comparisons: Why Some Statins Appear More Efficacious than Others’. PLoS Med. 5 juni 2007; 4(6): e184.

[3] Kelly R.E. jr., Cohen L.J., Semple R.J., Bialer P., Lau A., Bodenheimer A., et al., ‘Relationship between drug company funding and outcomes of clinical psychiatric research’. Psychol Med. Nov. 2006; 36(11): 1647–56.

[4] Bekelman J.E., Li Y., Gross C.P., ‘Scope and impact of financial conflicts of interest in biomedical research: a systematic review’. JAMA 2003; 289: 454–65. Lexchin J., Bero L.A., Djulbegovic B., Clark O., ‘Pharmaceutical industry sponsorship and research outcome and quality: systematic review’. BMJ 2003; 326: 1167–70.

[5] Sergio S., ‘Pharmaceutical company funding and its consequences: A qualitative systematic review’. Contemporary Clinical Trials. Maart 2008; 29(2): 109–13.

[6] Eyding D., Lelgemann M., Grouven U., Harter M., Kromp M., Kaiser T. et al., ‘Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials’. BMJ 12 okt. 2010; 341: c4737–c4737.

[7] Suntharalingam G., Perry M.R., Ward S., Brett S.J., Castello-Cortes A., Brunner M.D. et al., ‘Cytokine storm in a phase 1 trial of the anti-CD28 monoclonal antibody TGN1412’. N. Engl. J. Med. 7 sept. 2006; 355(10): 1018–28.

[8] ‘Expert Group on Phase One Clinical Trials: Final report’ [Internet]. 2006 [geciteerd 5 april 2012]. Zie http://www.dh.gov.uk/en/Publicationsandstatistics/Publications/PublicationsPolicyAndGuidance/DH_063117

[9] Decullier E., Chan A.-W, Chapuis F., ‘Inadequate Dissemination of Phase I Trials: A Retrospective Cohort Study’. PLoS Med. 17 febr. 2009; 6(2): e1000034.

[10] Cowley A.J., Skene A., Stainer K., Hampton J.R., ‘The effect of lorcainide on arrhythmias and survival in patients with acute myocardial infarction: an example of publication bias’. International journal of cardiology. 1993; 40(2): 161–6. Iain Chalmers was de eerste die TGN1412 en medicijnen tegen hartritmestoornissen als voorbeelden vermeldde van de schade die wordt aangericht als vroege tests niet worden gepubliceerd. Dit zijn de beste illustraties van dit probleem, maar u moet niet denken dat dit zelden voorkomt; kwantitatieve gegevens tonen aan dat dit slechts twee voorbeelden zijn van talrijke soortgelijke situaties.

[11] Antman E.M., Lau J., Kupelnick B., Mosteller F., Chalmers T.C., ‘A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction’. JAMA juli 1992 8; 268(2): 240–8.

[12] Dit is het klassieke, vroege artikel hierover: Chalmers, Iain. ‘Underreporting Research Is Scientific Misconduct’. JAMA 9 maart 1990; 263(10): 1405–1408.

[13] Sterling T., ‘Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa.’ Am Stat Assoc J 1959; 54: 30–4.

[14] Sterling T.D., Rosenbaum W.L., Weinkam J.J., ‘Publication decisions revisited – the effect of the outcome of statistical tests on the decision to publish and vice-versa’. Am Stat 1995; 49: 108–12.

[15] Bacon F. (1645). Franc Baconis de Verulamio/Summi Angliae Cancellarii/Novum organum scientiarum. [Francis Bacon of St. Albans Lord Chancellor of England. A ‘New Instrument’ for the sciences] Lugd. Bat: apud Adrianum Wiingaerde, et Franciscum Moiardum. Aphorism XLVI (p. 45–46).

[16] Fowler T. (1786). Medical reports of the effects of arsenic in the cure of agues, remitting feveres and periodic headachs. Londen: J Johnson, p. 105–107.

[17] Hemminki E., ‘Study of information submitted by drug companies to licensing authorities’. Br Med J. 22 maart 1980; 280(6217): 833–6.

[18] Lee K., Bacchetti P., Sim I., ‘Publication of clinical trials supporting successful new drug applications: a literature analysis’. PLoS Med 2008; 5(9): e191.

[19] Melander H., Ahlqvist-Rastad J., Meijer G., Beermann B., ‘Evidence b(i)ased medicine – selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications’. BMJ 2003; 326: 1171–3.

[20] Rising K., Bacchetti P., Bero L., ‘Reporting Bias in Drug Trials Submitted to the Food and Drug Administration: Review of Publication and Presentation’. PLoS Med. 25 nov. 2008; 5(11): e217.

[21] Scherer R.W., Langenberg P., von Elm E., ‘Full publication of results initially presented in abstracts’. Cochrane Database Syst Rev 2007; 2: MR000005.

[22] Song F., Parekh S., Hooper L., Loke Y.K., Ryder J., Sutton A.J., et al., ‘Dissemination and publication of research findings: an updated review of related biases’. Health Technol Assess. febr. 2010; 14(8): III, IX-XI, 1–193.

[23] Dickersin K., ‘How important is publication bias? A synthesis of available data’. Aids Educ Prev 1997; 9(1 SA): 15–21.

[24] Ioannidis J., ‘Effect of the statistical significance of results on the time to completion and publication of randomized efficacy trials’. JAMA 1998; 279: 281–6.

[25] Bardy A.H., ‘Bias in reporting clinical trials’. Brit J Clin Pharmaco 1998; 46: 147–50.

[26] Dwan K., Altman D.G., Arnaiz J.A., Bloom J., Chan A.W., Cronin E., et al., ‘Systematic review of the empirical evidence of study publication bias and outcome reporting bias’. PLoS ONE 2008; 3(8): e3081.

[27] Decullier E., Lhéritier V., Chapuis F., ‘Fate of biomedical research protocols and publication bias in France: retrospective cohort study’. BMJ 2005; 331: 19. Decullier E., Chapuis F., ‘Impact of funding on biomedical research: a retrospective cohort study’. BMC Public Health 2006; 6: 165.

[28] Cronin E., Sheldon T., ‘Factors influencing the publication of health research’. Int J Technol Assess 2004; 20: 351–5.

[29] Song F., Parekh S., Hooper L., Loke Y.K., Ryder J., Sutton A.J., et al., ‘Dissemination and publication of research findings: an updated review of related biases’. Health Technol Assess. Febr. 2010; 14(8): III, IX-XI, 1–193.