Veel van onze beslissingen worden gestuurd door verwachtingen over de toekomst. Of je nu beleidsmaker bent, op de beurs handelt, een product wilt lanceren of een carrièreswitch overweegt, je doet voorspellingen. Het probleem is: we zijn er niet erg goed in.

Philip Tetlock ontdekte na langlopend onderzoek dat er mensen zijn die het wel degelijk bij het juiste eind hebben. Het zijn geen experts, maar gewone mensen die opvallend vaak juiste voorspellingen doen: supervoorspellers.

==

In dit baanbrekende boek laten Tetlock en Gardner zien hoe iedereen van hen kan leren om een betere voorspeller te worden. Daarnaast geven ze uniek inzicht in hoe we verhalen vormen over lot en toeval, hoe makkelijk we informatie verkeerd interpreteren of zelfs negeren, en hoe we betere beslissingen kunnen nemen in tijden van onzekerheid.

Philip Tetlock en Dan Gardner

Supervoorspellers

Goed voorspellen is een manier van denken – en iedereen kan het leren

==

Uitgeverij Business Contact

Amsterdam/Antwerpen

Copyright © 2015 by Philip Tetlock Consulting, Inc.

and Connaught Street, Inc.

All rights reserved.

© 2015 Nederlandse vertaling Uitgeverij Business Contact

Vertaling Robert Neugarten

Oorspronkelijke titel Superforecasting

Oorspronkelijke uitgever Crown Publishers

Omslagontwerp Sander Pinkse Boekproducties

Omslagbeeld iStockphoto

E-book Perfect Service

==

ISBN 978 90 470 0654 1

NUR 740 / 770

==

Dit e-book werd gemaakt op basis van de eerste druk, 2015, ISBN 978 90 470 0653 4.

==

www.businesscontact.nl

Jenny, die voor altijd voortleeft in de harten van je moeder en vader, alsof het gisteren gebeurd is.

1
Een optimistische scepticus

We zijn allemaal voorspellers. Als we overwegen van baan te veranderen, te trouwen, een huis te kopen, te investeren, een product uit te rollen of met pensioen te gaan, nemen we onze beslissing op basis van verwachtingen over de toekomst. Die verwachtingen zijn voorspellingen. Vaak voorspellen we zelf. Maar als zich grootse gebeurtenissen voordoen – markten storten in, er komt oorlog, onze leiders sidderen – nemen we experts in de arm, mensen die het kunnen weten. Dan vertrouwen we op mensen als Tom Friedman.

Als je in het Witte Huis werkt, zie je hem in het Oval Office, waar hij met de president van gedachten wisselt over het Midden-Oosten. Als je de CEO van een bedrijf uit de Fortune 500 bent, tref je hem misschien als hij in een lounge in Davos met hedgefondsmiljardairs en Saoedische prinsen zit te babbelen. Als je het Witte Huis of chique Zwitserse hotels niet frequenteert, kun je net als miljoenen anderen zijn columns in The New York Times en zijn goed verkopende boeken lezen, waarin hij haarfijn uitlegt wat er aan de hand is, en waarom, en wat er hierna gaat gebeuren.1

Net als Tom Friedman voorspelt Bill Flack wereldgebeurtenissen. Maar naar zijn ideeën is veel minder vraag.

Jarenlang was Bill in dienst van het Amerikaanse ministerie van Landbouw in Arizona – ‘Ik werkte zowel met de pikhouweel als met spreadsheets’ –, maar nu woont hij in Kearney in zijn geboortestaat Nebraska. Hij groeide op in Madison, Nebraska, een agrarische gemeente waar zijn ouders de Madison Star-Mail uitgaven, een krant vol verhalen over plaatselijke sportwedstrijden en jaarmarkten. Hij deed het goed op de middelbare school en haalde aan de University of Nebraska zijn bachelor exacte wetenschappen. Daarna bezocht hij de University of Arizona. Hij wilde zijn master wiskunde halen, maar hij besefte dat hij daarvoor de aanleg miste – ‘Ik werd met mijn neus op mijn tekortkomingen gedrukt,’ zegt hij – en sjeesde. Toch was het geen verspilde tijd geweest. Dankzij een cursus ornithologie werd Bill een verwoed vogelaar. En aangezien Arizona een fantastische plek is om vogels te spotten deed hij in deeltijd veldwerk voor wetenschappers. Later ging hij voor Landbouw werken en bleef hij er hangen.

Bill is vijfenvijftig en gepensioneerd, al zegt hij dat hij een hem aangeboden baan zeker in overweging zou nemen. Hij heeft veel vrije tijd. Een gedeelte van die tijd besteedt hij aan voorspellen.

Bill heeft zo’n driehonderd vragen beantwoord, zoals: ‘Zal Rusland binnen drie maanden officieel Oekraïens grondgebied annexeren?’, en: ‘Zal zich het komende jaar een land terugtrekken uit de eurozone?’ Het zijn belangrijke, moeilijke vragen van het soort waar bedrijven, banken, ambassades en inlichtingendiensten voortdurend mee worstelen. ‘Zal Noord-Korea voor het einde van dit jaar een atoombom tot ontploffing brengen?’ ‘Hoeveel nieuwe landen zullen in de komende acht maanden melding maken van ebolagevallen?’ ‘Wordt India of Brazilië in de komende twee jaar een permanent lid van de Veiligheidsraad van de Verenigde Naties?’ Veel mensen zullen sommige vragen uitgesproken obscuur vinden. ‘Zal de NAVO in de komende negen maanden nieuwe landen uitnodigen voor het Membership Action Plan?’ ‘Zal de Koerdische Regionale Overheid dit jaar een referendum uitschrijven over nationale onafhankelijkheid?’ ‘Als in de komende twee jaar een niet-Chinees telecombedrijf een contract verovert om internetdiensten te leveren in de vrijhandelszone Sjanghai, krijgen Chinese burgers dan toegang tot Facebook en/of Twitter?’ Als Bill zo’n vraag voor het eerst onder ogen krijgt, heeft hij vaak geen flauw idee van het antwoord. Misschien denkt hij: wat is in vredesnaam de vrijhandelszone Sjanghai? Maar hij levert de vereiste inspanning. Hij zoekt naar feiten, weegt met elkaar strijdige argumenten tegen elkaar af en komt tot een antwoord.

Niemand baseert beslissingen op Bill Flacks voorspellingen. CNN vraagt hem niet ze toe te lichten. Hij is nog nooit gevraagd om met Tom Friedman zitting te nemen in een panel in Davos. En dat is jammer. Want Bill Flack is een verbluffende voorspeller. Dat weten we, omdat al zijn voorspellingen op een onafhankelijke, wetenschappelijke manier zijn opgeslagen en op juistheid getest. Zijn resultaten waren uitmuntend.

Bill is de enige niet. Duizenden anderen, allemaal vrijwilligers, beantwoorden dezelfde vragen. De meesten zijn minder goed dan Bill. Slechts ongeveer 2 procent haalt zijn niveau. Er zitten ingenieurs bij en advocaten, kunstenaars en wetenschappers, mannen van Wall Street en mannen van de straat, hoogleraren en studenten. We zullen er een flink aantal tegenkomen, onder wie een wiskundige, een filmmaker en verschillende pensioengerechtigden die graag pronken met hun onderbelichte talenten. Ik noem hen supervoorspellers, want dat zijn ze. Dat wordt door betrouwbaar bewijs geboekstaafd. Uitleggen wat hen zo goed maakt en hoe anderen kunnen leren te doen wat zij doen is mijn doel in dit boek.

Het is intrigerend om je af te vragen hoe de prestaties van onze ongelauwerde supervoorspellers zich verhouden tot die van knappe koppen als Tom Friedman. Die vraag blijft helaas onbeantwoord, omdat Friedmans voorspellingen nooit aan een strenge test zijn onderworpen. Natuurlijk hebben Friedmans fans en criticasters niettemin hun meningen: ‘Hij sloeg de spijker op de kop met de Arabische Lente’, of: ‘Hij had de invasie van Irak in 2003 compleet gemist’, of: ‘Dat had hij mooi gezien met de uitbreiding van de NAVO.’ Maar er bestaan geen harde feiten over Tom Friedmans prestaties, alleen meningen en meningen over meningen.2 Dat is de normale gang van zaken. Elke dag weer publiceren de media voorspellingen zonder ons te vertellen of zich af te vragen hoe goed de voorspellers zijn. Elke dag weer betalen bedrijven en overheden voor voorspellingen die accuraat zijn of waardeloos of iets er tussenin. En elke dag weer nemen we allemaal – staatshoofden, topmanagers, beleggers en kiezers – belangrijke beslissingen op basis van voorspellingen waarvan de kwaliteit volstrekt onduidelijk is. Managers bij het honkbal zouden er niet aan denken om een fortuin voor een speler te betalen zonder eerst zijn statistieken te bekijken. Zelfs de fans verwachten die cijfers te zien op het scorebord of hun televisiescherm. Maar met betrekking tot de voorspellers die ons helpen met beslissingen die veel belangrijker zijn dan een honkbalwedstrijd vinden we het geen enkel punt dat we onwetend zijn.3

In dat licht gezien is het niet onredelijk om te vertrouwen op de voorspellingen van Bill Flack. Waarschijnlijk is het niet eens onredelijk om te vertrouwen op de voorspellingen van veel lezers van dit boek, want voorspellen blijkt niet iets te zijn wat je in de vingers hebt of niet. Het is een talent dat je kunt cultiveren. Dit boek laat je zien hoe.

Die grap over die aap

Ik verklap meteen maar de clou van de mop: de gemiddelde expert deed het ongeveer net zo goed als een darts werpende chimpansee.

Je kent het verhaal vast al. Het is beroemd en in sommige kringen berucht. Het heeft The New York Times, The Wall Street Journal, The Financial Times, The Economist en veel andere belangrijke nieuwsmedia gehaald. Het gaat zo: een onderzoeker bracht een grote groep experts bij elkaar – academici en specialisten en zo – om duizenden voorspellingen te doen over de economie, de aandelenmarkt, verkiezingen, oorlogen en andere actuele zaken. De tijd verstreek, en toen de onderzoeker de resultaten bekeek, kwam hij tot de conclusie dat de gemiddelde expert niet beter had gepresteerd dan als hij gewoon had gegokt. Alleen is dat niet de clou, want ‘gewoon gokken’ is niet grappig. De clou bevat een chimpansee en darts, want chimpansees zijn wel grappig.

Ik ben die onderzoeker, en van die grap had ik enige tijd geen last. Mijn onderzoek was de meest uitgebreide studie naar het oordeel van experts in de wetenschappelijke literatuur. Het was een zware klus, die me zo’n twintig jaar kostte, van 1984 tot 2004, en de resultaten waren veel rijker en constructiever dan de clou lijkt te suggereren. De grap liet me koud omdat die mijn onderzoek bij mensen onder de aandacht bracht (ook wetenschappers zijn graag heel even beroemd). En de metafoor van de pijltjes gooiende chimpansee had ik zelf ook gebruikt, dus daar kon ik niet over klagen.

Een andere reden dat ik het niet zo erg vond: er zat een kern van waarheid in die grap. Sla een willekeurige krant open of kijk naar een televisieprogramma en je ziet experts voorspellen wat er gaat gebeuren. Sommigen zijn behoedzaam. De meesten zijn doortastend en blaken van het zelfvertrouwen. Er zijn er zelfs die zich afficheren als visionairs van olympische proporties, mensen die decennia ver in de toekomst kunnen kijken. Op een enkele uitzondering na staan ze niet voor de camera omdat ze bewezen hebben vaardige voorspellers te zijn. Hoe vaak ze gelijk hebben wordt hoogst zelden ter sprake gebracht. Oude voorspellingen zijn als oud nieuws – snel vergeten – en de experts hoeven wat ze zeiden dat er zou gebeuren nooit in overeenstemming te brengen met wat er daadwerkelijk is gebeurd. Het enige onmiskenbare talent dat al die pratende televisiehoofden hebben, is het vermogen om een overtuigend verhaal af te steken, en dat is genoeg. Veel van die mensen zijn rijk geworden door voorspellingen van onbewezen waarde te verkopen aan topmanagers, overheidsfunctionarissen en doodgewone mensen in wie het nooit zou opkomen om medicijnen te slikken waarvan de kwaliteit en veiligheid niet vaststaan, maar die doodleuk en met grote regelmaat betalen voor voorspellingen die net zo dubieus zijn als de drankjes van een marskramer. Deze mensen en hun cliënten kunnen wel een por in de ribben gebruiken. Ik genoot ervan dat mijn onderzoek werd gebruikt om hun die por te geven.

Maar ik zag de in mijn onderzoek vervatte les veranderen naarmate mijn werk bekender werd. Mijn onderzoek had aangetoond dat de gemiddelde expert het bij veel politieke en economische vragen die ik hem had voorgelegd amper beter had gedaan dan als hij zou hebben gegokt. Maar ‘veel’ is niet hetzelfde als ‘alle’. Het was het gemakkelijkst om boven het gokgemiddelde uit te stijgen bij vragen die betrekking hadden op de korte termijn, waarvoor men bijvoorbeeld maar één jaar vooruit hoefde te kijken; de nauwkeurigheid daalde naarmate de experts meer van de toekomst moesten overzien en benaderden op een termijn van drie à vijf jaar het niveau van de chimpansee en zijn pijltjes. Dat was een belangrijk onderzoeksresultaat, omdat het ons iets vertelde over de beperkingen van expertise in een complexe wereld, beperkingen waarmee zelfs supervoorspellers rekening moeten houden. Net als bij dat kinderspelletje waarbij een zinnetje in het oor van het ene kind wordt gefluisterd, die het dan doorfluistert aan het volgende kind en zo verder, waarna iedereen er aan het einde van opkijkt hoe ingrijpend het zinnetje is veranderd, werd dat resultaat door het regelmatige navertellen verwrongen en ging iedere subtiliteit verloren. De boodschap veranderde in ‘Alle voorspellingen zijn waardeloos’ en dat is nonsens. Sommige varianten waren nog simplistischer en onjuister, zoals ‘Experts weten niet meer dan chimpansees’. Mijn onderzoek werd een wapen in handen van nihilisten die de toekomst als inherent onbetrouwbaar zien en slecht geïnformeerde populisten die het woord ‘expert’ gewoontegetrouw laten voorafgaan door ‘zogenaamde’.

Toen ging de grap me vervelen. Ik had geen affiniteit met die extreme conclusies, die ook op geen enkele manier door mijn onderzoek werden ondersteund. En dat geldt vandaag de dag meer dan ooit.

Er is genoeg ruimte om allerlei redelijke standpunten in te nemen tussen de mensen die experts en hun voorspellingen verdedigen en degenen die hen willen ondermijnen. Die ondermijners hebben wel een punt. Er bevinden zich schimmige marskramers met dubieuze ideeën op de voorspellersmarktplaats. En onze voorspellende vermogens kennen beperkingen die misschien onoverkomelijk zijn. Onze behoefte om in de toekomst te kijken zal altijd groter zijn dan onze vermogens om dat te doen. Maar ondermijners gaan te ver als ze alle vormen van voorspellen als gekkenwerk afdoen. Ik ben van mening dat het wel degelijk mogelijk is om in de toekomst te kijken, in elk geval in bepaalde situaties en tot op zekere hoogte, en dat ieder intelligent, ruimdenkend en hardwerkend mens de vereiste vaardigheden kan opdoen.

Zie me als een optimistische scepticus.

De scepticus

Stel je om de ene helft van die kwalificatie – de scepticus – beter te begrijpen eens een jonge Tunesische man voor die een met groente en fruit beladen houten handkar over een stoffige weg duwt die hem naar de markt in het plaatsje Sidi Bouzid voert. Toen deze man drie jaar oud was, stierf zijn vader. Hij onderhoudt zijn gezin door geld te lenen om zijn kar te kunnen vullen in de hoop dat hij genoeg zal verkopen om zijn lening af te betalen en nog wat over te houden. Het is elke dag dezelfde sleur. Maar deze dag wordt de man aangesproken door de politie. Ze vertellen hem dat zijn weegschaal in beslag wordt genomen omdat hij de een of andere regel heeft overtreden. Hij weet dat dat een leugen is. Ze willen hem afpersen. Maar hij heeft geen geld. Een agente slaat hem in zijn gezicht en beledigt zijn dode vader. Ze nemen zijn weegschaal en kar mee. De man gaat klagen in het gemeentehuis en krijgt te horen dat de dienstdoende ambtenaar in bespreking is. De jongeman, vernederd, woedend en machteloos, vertrekt.

Hij keert terug met brandstof. Bij het gemeentehuis giet hij benzine over zich heen en steekt zichzelf met een lucifer in brand.

Alleen de afloop van dit verhaal is ongebruikelijk. Er zijn talloze arme straatverkopers in Tunesië en de rest van de Arabische wereld. Corruptie bij de politie tiert er welig en er worden dagelijks mensen vernederd, zoals de man uit het verhaal. Dergelijke verhalen interesseren alleen de politie en haar slachtoffers.

Maar dit geval van vernedering leidde ertoe dat Mohamed Bouazizi, zesentwintig jaar oud, zichzelf op 17 december 2010 in brand stak, en zijn zelfverbranding leidde tot demonstraties waar de politie met karakteristieke wreedheid tegen optrad. De demonstraties breidden zich uit. Om de woede wat te temperen besloot de Tunesische dictator, president Zine el-Abidine Ben Ali, Bouazizi in het ziekenhuis te bezoeken.

Bouazizi stierf op 4 januari 2011. De onrust nam toe. Op 14 januari vluchtte Ben Ali voor een luxueuze ballingschap naar Saoedi-Arabië en kwam er een einde aan zijn schurkenbewind, dat drieëntwintig jaar had geduurd.

De Arabische wereld keek verbijsterd toe. Toen braken er protesten uit in Egypte, Libië, Syrië, Jordanië, Koeweit en Bahrein. De Egyptische dictator Hosni Mubarak werd na drie decennia afgezet. Ook elders groeiden protesten uit tot opstanden en opstanden tot burgeroorlogen. Dit was de Arabische Lente, die begon toen een arme vent die in niets van talloze anderen afweek door de politie werd gepest, precies zoals dat daarvoor en ook daarna talloze malen is gebeurd zonder enig merkbaar rimpeleffect.

Het is eenvoudig om terug te kijken en een verhaallijn te schetsen, zoals ik net heb gedaan, en Mohamed Bouazizi in verband te brengen met alle gebeurtenissen die uit zijn eenzame daad van protest voortvloeiden. Net als veel andere experts uit de eliteklasse is Tom Friedman bedreven in dergelijke reconstructies, vooral als het om het Midden-Oosten gaat, een gebied dat hij van haver tot gort kent. We leerden hem immers kennen toen hij als correspondent in Libanon verbonden was aan The New York Times. Maar had Tom Friedman, als hij die ochtend aanwezig was geweest, in de toekomst kunnen kijken? Had hij de zelfverbranding, de sociale onrust, de omverwerping van het regime van de Tunesische dictator en alles wat erop volgde kunnen voorzien? Natuurlijk niet. Niemand had dat gekund. Misschien had Friedman met al zijn kennis van de regio gemijmerd dat de armoede- en werkloosheidscijfers hoog lagen, dat het aantal wanhopige jongeren groeiende was, dat niemand de corruptie een halt toeriep, dat mensen onverbiddelijk werden onderdrukt en dat Tunesië en verschillende andere Arabische landen veel weg hadden van vaatjes buskruit die vroeg of laat moesten ontploffen. Maar die conclusie had een waarnemer ook een jaar eerder kunnen trekken, of het jaar daarvoor. Al decennialang had je die conclusie kunnen trekken over Tunesië, Egypte en verschillende andere landen. Die landen waren wel vaatjes buskruit, maar tot ontploffing kwamen ze niet. Tot 17 december 2010, toen de politie die ene arme sloeber net iets te hevig tartte.

In 1972 schreef de Amerikaanse meteoroloog Edward Lorenz een paper met de intrigerende titel ‘Mogelijkheid: kan een vlinder in Brazilië met zijn vleugelbeweging een tornado in Texas veroorzaken?’ Een decennium eerder had Lorenz bij toeval ontdekt dat piepkleine variaties in de gegevens die men invoert bij computersimulaties van weerpatronen – zoals 0,506127 vervangen door 0,506 – op de lange termijn drastisch andere weersvoorspellingen kunnen opleveren. Dat inzicht lag ten grondslag aan de chaostheorie: in non-lineaire systemen zoals de atmosfeer kunnen zelfs de kleinste veranderingen in de oorspronkelijke omstandigheden enorm worden uitvergroot. Het is dus in principe mogelijk dat een vlinder in Brazilië met zijn wiekslag een tornado in Texas ontketent, al is het waarschijnlijker dat hele zwermen Braziliaanse vlinders hun hele leven lang koortsachtig flapperen, maar zelfs een paar kilometer verderop nog geen zuchtje wind veroorzaken. Uiteraard wilde Lorenz niet beweren dat de vlinder de tornado ‘veroorzaakt’ op dezelfde manier als ik de breuk van een wijnglas veroorzaak als ik er met een hamer op inbeuk. Hij bedoelde dat, als die ene vlinder niet op dat moment met zijn vleugeltjes had geflapperd, een onvoorstelbaar complex netwerk van atmosferische acties en reacties zich anders zou hebben voltrokken en de tornado zich niet zou hebben gevormd, precies zoals de Arabische Lente zich ook zomaar niet had kunnen voltrekken, in elk geval niet op dat moment en op die manier, als de politie Mohamed Bouazizi op die ochtend in 2010 gewoon zijn groente en fruit had laten verkopen.

Dankzij Lorenz verschoof de wetenschappelijke opinie in de richting van het denkbeeld dat voorspelbaarheid harde begrenzingen kent. Dat is een wezenlijke filosofische kwestie.4 Eeuwenlang hadden wetenschappers aangenomen dat toenemende kennis tot grotere voorspelbaarheid moest leiden omdat de werkelijkheid een klok was – een imposant grote en ingewikkelde klok, maar niettemin een klok – en dat wetenschappers naarmate ze meer te weten zouden komen over het binnenwerk van de klok en hoe de radertjes samenwerken, hoe de veren en gewichten functioneren, de werking ervan met deterministische vergelijkingen in kaart zouden kunnen brengen en zouden kunnen voorspellen wat de klok zou gaan doen. In 1814 bracht de Franse wiskundige en astronoom Pierre-Simon Laplace deze droom tot zijn logische conclusie:

==

We kunnen de huidige toestand van het universum zien als het gevolg van zijn verleden en de oorzaak van zijn toekomst. Als er een brein bestond dat op enig moment alle krachten kende die de natuur in beweging zetten, en de positie van alle onderdelen waaruit de natuur is samengesteld, en als dat brein ook nog groot genoeg was om die gegevens aan een analyse te onderwerpen, kon het de bewegingen van de grootste lichamen van het universum en ook die van het nietigste atoom in een enkele formule vangen; voor een dergelijk brein zou niets onzeker zijn. Zo’n brein zou de toekomst evenzeer als het verleden voor ogen hebben.

==

Laplace noemde zijn fictieve eenheid een ‘demon’. Als die demon alles wist over het heden, meende Laplace, kon hij alles over de toekomst voorspellen. Hij zou alwetend zijn.5

Lorenz zette die droom onder een ijskoude douche. Als de klok de perfectie van de laplaceaanse voorspelbaarheid vertegenwoordigt, is Lorenz’ wolk daarvan het tegenovergestelde. De natuurkunde die we op de middelbare school leerden, vertelt ons dat wolken zich vormen doordat waterdamp versmelt met stofdeeltjes. Dat klinkt simpel, maar de ontwikkeling van een bepaalde wolk – de vorm die hij aanneemt – hangt af van gecompliceerde interacties tussen de druppeltjes. Om die vormen van interactie te beschrijven gebruiken de makers van computermodellen vergelijkingen die in hoge mate gevoelig zijn voor piepkleine, vlindereffectachtige afwijkingen bij de dataverzameling. Dus zelfs als we leren dat alles over de manier waarop wolken zich vormen kenbaar is, zullen we niet exact kunnen voorspellen welke vorm een wolk aanneemt. We kunnen slechts afwachten en maar zien wat er gebeurt. Het is een heerlijke vorm van ironie dat de wetenschappers van onze tijd oneindig veel meer weten dan hun collega’s van een eeuw geleden en de beschikking hebben over ongekende vermogens om data door te rekenen, maar niettemin veel minder vertrouwen hebben in de mogelijkheid van volmaakte voorspelbaarheid.

Dat is een belangrijke reden voor de sceptische helft van de rol van de optimistische scepticus die ik graag vervul. We leven in een wereld waarin de daden van een man zonder enige macht een rimpeleffect hebben dat zich over de hele wereld uitstrekt en aan niemand onopgemerkt voorbijgaat. Een vrouw die in Kansas City woont, denkt misschien dat Tunesië een andere planeet is en dat haar leven geen enkele connectie met dat land heeft, maar als haar echtgenoot als navigator voor de luchtmacht werkte en Whiteman Air Force Base als thuisbasis had, zou ze wellicht tot haar verrassing constateren dat de daden van een onbekende Tunesiër tot protesten leidden, die tot rellen leidden, die tot de omverwerping van een dictator leidden, die tot protesten in Libië leidde, die tot een burgeroorlog leidden, die leidde tot de in 2012 uitgevoerde NAVO-interventie, die ertoe leidde dat haar man boven Tripoli op zijn hoede moest zijn voor luchtafweergeschut. Die connectie is simpel gelegd. Vaak zijn de connecties lastiger te vinden, maar ze zijn overal om ons heen, in zaken als de prijs die we betalen bij de benzinepomp of de banen die verdwijnen bij de fabriek om de hoek. In een wereld waarin een Braziliaanse vlinder het verschil kan maken tussen een doodgewone zonovergoten dag in Texas en een tornado die dorpen verwoest, zou het misplaatst zijn om te denken dat wie dan ook erg ver in de toekomst kan kijken.6

De optimist

Maar dat we de beperkingen van voorspelbaarheid erkennen, wil niet zeggen dat we alle vormen van voorspellen als waardeloos moeten afdoen.

We zoomen met de microscoop in op een dag in het leven van een vrouw die in een voorstad van Kansas City woont. Om halfzeven ’s ochtends doet ze papieren in haar aktetas, stapt in haar auto, rijdt de vaste route naar kantoor en parkeert in het centrum. Zoals elke doordeweekse ochtend wandelt ze langs de standbeelden van leeuwen en loopt dan het door Griekse architectuur geïnspireerde kantoorgebouw van de Kansas City Life Insurance Company binnen. Achter haar bureau werkt ze enige tijd aan haar spreadsheets, ze neemt om halfelf deel aan een telefonisch groepsgesprek, brengt enkele minuten door op Amazon en beantwoordt tot tien voor twaalf mailtjes. Dan wandelt ze naar een klein Italiaans restaurant om met haar zus te lunchen.

Het leven van deze vrouw wordt beïnvloed door talloze onvoorspelbare factoren, van het loterijbriefje in haar handtas tot de Arabische Lente die ervoor zorgt dat haar echtgenoot missies vliegt boven Libië en het feit dat de benzineprijs net met een paar cent is verhoogd vanwege een staatsgreep in een land waar ze nog nooit van heeft gehoord. Maar er is net zoveel, of meer, dat tamelijk voorspelbaar is. Waarom ging ze om halfzeven van huis? Omdat ze het spitsverkeer wilde ontlopen. Anders gezegd: ze voorspelde dat het later veel drukker op de weg zou zijn. Ze had het vrijwel zeker bij het rechte eind, want het spitsuur is bijzonder voorspelbaar. Tijdens het rijden anticipeerde ze voortdurend op het rijgedrag van andere weggebruikers: ze blijven staan voor een rood stoplicht; ze blijven in hun baan en geven hun richting aan als ze iets anders van plan zijn. Ze verwachtte dat de mensen met wie ze het telefoongesprek had zich aan hun afspraak zouden houden, en ook dat kwam uit. Ze had om twaalf uur met haar zus afgesproken, omdat dat de vermelde openingstijd van het restaurant was. Ook dat bleek betrouwbare informatie te zijn.

We nemen voortdurend dergelijke onbetekenende beslissingen, en anderen nemen soortgelijke beslissingen die van invloed zijn op ons leven. Toen de vrouw haar computer aanzette, verhoogde ze net als iedere andere loonslaaf het elektriciteitsverbruik van Kansas City. Samen zorgden ze voor een piek die elke werkdag rond die tijd waarneembaar is. Maar dat leverde geen problemen op, omdat de energiebedrijven op die pieken anticiperen en hun output navenant aanpassen. Toen de vrouw Amazon bezocht, liet de site bepaalde producten zien in de verwachting dat die haar zouden bevallen, een voorspelling die gebaseerd was op haar eerdere aankopen en zoekgedrag en dat van miljoenen anderen. Dergelijke voorspellende operaties komen we op internet voortdurend tegen – Google biedt op maat gesneden zoekresultaten aan door bovenaan te zetten wat jij het interessantst zult vinden –, maar dat gebeurt zo soepel dat we het meestal niet merken. En dan is er nog de werkplek van de vrouw. De Kansas City Life Insurance Company houdt zich bezig met voorspellingen op het gebied van arbeidsongeschiktheid en dood, en is daar erg goed in. Dat wil niet zeggen dat het bedrijf precies weet wanneer ik zal sterven, maar het heeft een verdraaid aardig beeld van hoe lang iemand met mijn profiel – mijn geslacht, inkomen en manier van leven – naar alle waarschijnlijkheid leeft. Kansas City Life bestaat sinds 1895. Zonder goede actuarissen was het bedrijf allang failliet gegaan.

Een groot gedeelte van onze werkelijkheid is dus wel degelijk voorspelbaar. Ik heb net opgezocht hoe laat morgen de zon opkomt en ondergaat in Kansas City, Missouri, en kreeg tot op de minuut nauwkeurige informatie. Dergelijke voorspellingen zijn betrouwbaar, of ze nu voor morgen zijn of overmorgen of over vijftig jaar. Hetzelfde geldt voor getijden, zonsverduisteringen en de maancyclus. Al die verschijnselen kunnen op grond van wetenschappelijke wetten met voldoende precisie worden voorspeld om zelfs de demon van Laplace tevreden te stellen.

Uiteraard kunnen al die oases van voorspelbaarheid zomaar abrupt verstoord worden. De kans is groot dat een goed restaurant op het aangegeven tijdstip zijn deuren opent, maar er kunnen allerlei redenen zijn waarom dat niet gebeurt, van een manager die zich verslaapt tot brand, faillissement, pandemieën, een kernoorlog of een uit de hand gelopen natuurkundig experiment dat per ongeluk een zwart gat doet ontstaan waarin ons zonnestelsel wordt opgezogen. En dat geldt voor alles. Zelfs de voorspellingen van de zonsopgang en -ondergang over vijftig jaar kunnen veranderen als er ergens in de komende vijftig jaar een meteoriet langskomt die de aarde uit zijn baan om de zon smijt. Er zijn geen absolute zekerheden in het leven, zelfs niet de dood en de belastingen, als we een andere waarde dan nul toekennen aan de waarschijnlijkheid van de ontwikkeling van technologieën die ons in staat stellen de inhoud van ons brein te uploaden in een cloudnetwerk – en aan het ontstaan van een toekomstige maatschappij waarin mensen zo rijk en vrijgevig zijn dat alle overheidsactiviteiten uit liefdadige schenkingen kunnen worden gefinancierd.

Maar lijkt de werkelijkheid nu meer op een klok of op een wolk? Kan de toekomst worden voorspeld of niet? Dat is een valse tegenstelling, en daarvan zullen we er nog veel meer tegenkomen. We leven in een wereld vol klokken en wolken en een behoorlijke hoeveelheid andere metaforen. Onvoorspelbaarheid en voorspelbaarheid leven ongemakkelijk met elkaar samen in de complex met elkaar vervlochten systemen die onze lichamen, onze samenlevingen en het heelal vormen. Hoe voorspelbaar iets is, hangt ervan af wat we proberen te voorspellen, hoe ver het zich in de toekomst bevindt en onder welke omstandigheden we de voorspelling doen.

Kijk maar naar het terrein van Edward Lorenz. Weersvoorspellingen zijn doorgaans redelijk betrouwbaar als ze een paar dagen vooruitkijken, maar op een termijn van drie, vier of vijf dagen worden ze al veel minder nauwkeurig. Als het meer dan een week wordt, kunnen we net zo goed een chimpansee met darts raadplegen. We kunnen dus niet zeggen dat het weer al dan niet te voorspellen is; hooguit kunnen we zeggen dat het weer tot op zekere hoogte en onder bepaalde omstandigheden te voorspellen is. We moeten heel voorzichtig zijn als we preciezer willen zijn. Denk maar aan iets schijnbaar simpels als de verhouding tussen tijd en voorspelbaarheid. In algemene zin is het zo dat we minder kunnen zien naarmate we verder in de toekomst proberen te kijken. Maar die regel kent flinke uitzonderingen. Het voortduren van een lange bull market op de effectenbeurs voorspellen kan vele jaren lang lucratief zijn, totdat het opeens je ondergang inleidt. Ook aan de voorspelling dat de dinosauriërs boven aan de voedselketen zouden blijven staan kon tientallen miljoenen jaren niemand zich een buil vallen totdat een asteroïde een natuurramp ontketende die ecologische mogelijkheden opende voor een klein zoogdier dat uiteindelijk uitgroeide tot een soort die probeert de toekomst te voorspellen. Afgezien van de wetten van de fysica bestaan er geen universele constanten, wat het lastig maakt om wat voorspelbaar is te onderscheiden van wat niet voorspelbaar is. Daar valt niets aan te doen.

Metereologen weten dat beter dan wie ook. Ze doen veel voorspellingen en controleren altijd hoe correct die waren; dat is de reden waarom we weten dat voorspellingen voor de komende twee dagen doorgaans kloppen en die voor over acht dagen meestal niet. Met behulp van hun analyses kunnen meteorologen beter begrijpen hoe het weer werkt en hun modellen verfijnen. Dan proberen ze het opnieuw. Voorspellen, meten, bijstellen. Herhalen. Zo voltrekt zich een nooit eindigend proces vol geleidelijke verbeteringen dat verklaart waarom weersvoorspellingen goed zijn en bovendien langzaam nog beter worden. Al vinden die verbeteringen hun begrenzing in het feit dat het weer een schoolvoorbeeld is van een non-lineair systeem. Naarmate de voorspeller verder vooruit probeert te kijken ontstaat er meer gelegenheid voor chaos om met zijn vlindervleugeltjes te klapwieken en alle verwachtingen te ontregelen. Een grote vooruitgang is de kracht van computers; de voortschrijdende verfijning van voorspelmodellen duwt die beperkingen iets verder de toekomst in, maar dergelijke stappen worden steeds moeilijker en de verbeteringen naderen het nulpunt. Hoe goed kunnen de voorspellingen worden? Dat weet niemand. Maar het is al een succes dat we de huidige beperkingen kennen.

Op allerlei andere terreinen waarop met voorspellingen veel te winnen valt, tasten de voorspellers in het duister. Ze hebben geen idee hoe goed hun voorspellingen zijn op de korte, middellange of lange termijn, en nog minder idee over hoe goed ze kunnen worden. In het beste geval hebben ze een vaag onderbuikgevoel. Dat is omdat het proces van voorspellen, meten en verfijnen alleen werkt voor hightech-vormen van voorspellingen, zoals het werk van macro-economen bij centrale banken, vakmensen op het gebied van marketing en financiën bij grote bedrijven of analisten van opiniepeilingen zoals Nate Silver.7 Veel vaker gebeurt er helemaal niets meer nadat voorspellingen zijn gedaan. De juistheid wordt zelden achteraf bepaald, en al helemaal niet met de voor bruikbare conclusies benodigde regelmaat en gestrengheid. De reden? Het is vooral een probleem aan de vraagzijde: de gebruikers van voorspellingen – overheden, bedrijven en wij, de mensen – vragen niet om bewijzen van correctheid. En dus wordt er niet gemeten. En wordt er niet verfijnd. En zonder verfijning is verbetering niet mogelijk. Stel je een wereld voor waarin de mensen dol zijn op rennen, maar geen idee hebben hoe snel de gemiddelde mens rent of hoe snel de beste renners kunnen rennen, omdat de renners nooit overeenstemming hebben bereikt over een aantal elementaire regels: dat je op het parcours moet blijven, dat je pas mag beginnen als het pistool wordt afgeschoten en dat je na een afgesproken afstand klaar bent. Er zijn geen onafhankelijke scheidsrechters en ook de tijd wordt niet bijgehouden. Hoe waarschijnlijk is het dat er in zo’n wereld in de rensport records worden gebroken? Vrij onwaarschijnlijk. En halen de beste atleten de hoogste snelheid die voor mensen mogelijk is? Ook dat is niet erg waarschijnlijk.

Bill Gates schreef: ‘Ik heb geconstateerd hoe belangrijk meting is voor het verbeteren van elke menselijke onderneming. Je kunt ongelooflijk veel vooruitgang boeken als je een helder doel stelt en een manier van meten vindt die vooruitgang in de richting van dat doel kan aansturen [...] Het lijkt misschien elementair, maar het is verbazend hoe vaak het niet gebeurt en hoe moeilijk het is om het goed te doen.’8 Hij heeft gelijk als het gaat om wat er nodig is om vooruitgang aan te sturen, en het is verbijsterend hoe zelden het bij voorspellen gebeurt. Zelfs de simpele eerste stap – het formuleren van een heldere doelstelling – is nooit gezet.

Je denkt misschien dat het doel van voorspellen is om exact te zien wat er in de toekomst zal gebeuren. Maar dat is vaak niet het doel, of in elk geval niet het enige doel. Soms dienen voorspellingen ter vermaak. Denk maar aan iemand als John McLaughlin, de presentator van The McLaughlin Group, die tegen zijn panelleden brult dat ze de waarschijnlijkheid van gebeurtenissen moeten voorspellen ‘op een schaal van nul tot tien, waarbij nul de totale onmogelijkheid vertegenwoordigt en tien de volledige metafysische zekerheid’. Soms worden voorspellingen gedaan om politieke agenda’s te ondersteunen of mensen tot actie aan te zetten, zoals activisten doen als ze waarschuwen voor dreigende gevaren die werkelijkheid worden als we niet ingrijpen. Er wordt ook voorspeld om indruk te maken; dat is wat banken doen als ze een beroemdheid inhuren om voor een publiek van welgestelde cliënten een mooi praatje af te steken over de wereldeconomie anno 2050. En soms moeten voorspellingen troostrijk zijn en willen de voorspellers hun gehoor verzekeren dat hun denkbeelden kloppen en dat de toekomst zich zal ontvouwen zoals ze hopen. Deze voorspellingen dienen vaak een specifiek doel of een ideologie. Ze zijn het cognitieve equivalent van een warm bad.

Deze wirwar van doelstellingen wordt zelden benoemd, wat het lastig maakt om meting en vooruitgang na te streven. Het is een onoverzichtelijke situatie, en er zit geen schot in.

Toch is die stagnatie een belangrijke factor waarom deze scepticus zijn optimisme heeft behouden. We weten dat bij allerlei zaken die de mens wil voorspellen – politiek, economie, financiën, zaken, technologie, het dagelijks leven – voorspelbaarheid tot op zekere hoogte en onder bepaalde omstandigheden bestaat. Maar er is ook veel dat we niet weten. Wetenschappers vinden niet weten opwindend. Dat zien ze als een mogelijkheid om te ontdekken; hoe meer er nog onbekend is, hoe groter die mogelijkheid. Dankzij het eerlijk gezegd verbijsterende gebrek aan gestrengheid op allerlei terreinen van voorspelling zijn de mogelijkheden enorm. Om die mogelijkheden te grijpen hoeven we slechts een heldere doelstelling te formuleren – nauwkeurigheid! – en de meting serieus ter hand te nemen.

Dat doe ik al een groot deel van mijn carrière. Het onderzoek dat tot de pijltjes werpende aap leidde was de eerste fase. De tweede fase startte in de zomer van 2011, toen mijn research- en levenspartner Barbara Mellers en ik het Good Judgment Project (GJP) begonnen en vrijwilligers uitnodigden zich aan te melden om de toekomst te voorspellen. Bill Flack reageerde, net als een paar duizend anderen in dat eerste jaar, en in de jaren daarna nog eens duizenden mensen. Zo ontstond een groep van 20 000 intellectueel nieuwsgierige leken die zich boog over de vraag of de protesten in Rusland zich zouden uitbreiden, of de goudprijs zou instorten, of de Nikkei zou sluiten boven 9500, of er oorlog zou uitbreken op het Koreaanse schiereiland, en over talloze andere vragen die betrekking hadden op complexe en lastige zaken die zich afspelen op het wereldtoneel. Door de experimentele omstandigheden te variëren konden we peilen welke factoren vooruitziendheid verhoogden, met hoeveel, binnen welke tijdsbeperkingen, en hoe goed de voorspellingen konden worden als we alle best practices opstapelden. Als ik het zo uitleg, klinkt het simpel. Dat was het niet. Het was een zwaar programma, dat de talenten en kwaliteiten vereiste van een multidisciplinair team dat gevestigd was aan de University of California in Berkeley en de University of Pennsylvania.

Hoe groot het ook was, het Good Judgment Project was nog maar een onderdeel van een grotere onderzoeksinspanning die werd gesponsord door IARPA, de Intelligence Advanced Research Projects Activity. Haak niet af vanwege de saaie naam. IARPA is een instantie binnen de inlichtingengemeenschap die rapporteert aan de directeur van National Intelligence en tot taak heeft gewaagd onderzoek te steunen dat het potentieel heeft om de Amerikaanse inlichtingendiensten beter te maken dan ze nu zijn. Een belangrijk onderdeel van wat die diensten doen, is wereldwijde politieke en economische trends voorspellen. Volgens een grove schatting zijn er in de Verenigde Staten 20 000 inlichtingenanalisten die zich bezighouden met alles van de kleinste raadsels tot grootse gebeurtenissen, zoals de waarschijnlijkheid van een razendsnel uitgevoerde Israëlische aanval op Iranese nucleaire faciliteiten en een mogelijk Grieks vertrek uit de eurozone.9 Hoe goed zijn al die voorspellingen? Die vraag is niet eenvoudig te beantwoorden, omdat de inlichtingengemeenschap net als veel andere producenten van voorspellingen nooit veel zin heeft gehad om geld uit te geven om het antwoord te vinden. Er zijn verschillende redenen voor die terughoudendheid, waarvan sommige respectabeler zijn dan andere. Daar komen we later op terug. Waar het nu om gaat is dat die voorspellingen van cruciaal belang zijn voor de nationale veiligheid, maar dat er niettemin weinig over de betrouwbaarheid ervan kan worden gezegd. Zelfs kan niet worden bepaald of ze redelijkerwijs beantwoorden aan de verwachtingen die je zou kunnen hebben van een operatie die miljarden kost en waarin 20 000 mensen werkzaam zijn. Om dat te veranderen organiseerde IARPA een voorspellingstoernooi waarin vijf door vooraanstaande onderzoekers geleide teams van wetenschappers het tegen elkaar opnamen om correcte antwoorden te geven op de lastige vragen waar inlichtingenanalisten dagelijks mee te maken krijgen. Het Good Judgment Project was een van de vijf teams. Elk team zou in feite zijn eigen researchproject zijn en mocht naar eigen inzichten de werkwijze improviseren die het nodig dacht te hebben, als het maar elke dag van september 2011 tot juni 2015 ’s ochtends om negen uur zijn antwoorden inleverde. Door alle teams op hetzelfde moment voorspellingen te laten doen over dezelfde vragen creëerde het toernooi een eerlijk speelveld en een goudmijn aan data over wat werkte, hoe goed, en wanneer. In de loop van vier jaar stelde IARPA bijna vijfhonderd vragen over wereldzaken. Er moest voor kortere perioden worden voorspeld dan in mijn eerdere research; het merendeel van de vragen ging over perioden van meer dan een maand en minder dan een jaar. We verzamelden in totaal een miljoen inschattingen van de toekomst.

In het eerste jaar deed GJP het 60 procent beter dan de controlegroep. In het tweede jaar waren we zelfs 78 procent beter dan de controlegroep. GJP klopte ook de concurrenten van de University of Michigan en MIT – met ruime marges, variërend van 30 tot 70 procent – en presteerde zelfs beter dan een team van beroepsmatige analisten dat geclassificeerde data tot zijn beschikking had. Na twee jaar deed GJP het zoveel beter dan de academische concurrentie dat IARPA besloot de andere teams te droppen.10

Ik kom later terug op de details, maar laten we even stilstaan bij twee belangrijke conclusies die het onderzoek opleverde. In de eerste plaats: vooruitziendheid bestaat echt. Sommige mensen – mensen als Bill Flack – bezitten die eigenschap. Ze zijn geen goeroes of orakels die tientallen jaren in de toekomst kunnen kijken, maar ze beschikken wel degelijk over de meetbare vaardigheid om drie maanden, zes maanden, een jaar of zelfs anderhalf jaar van tevoren te beoordelen hoe wereldbepalende gebeurtenissen zich zullen voltrekken. Een ander resultaat is dat we weten wat deze supervoorspellers zo goed maakt. Het gaat niet om wie ze zijn. Het gaat om wat ze doen. Vooruitziendheid is niet een mysterieuze, aangeboren gave, maar het product van bepaalde manieren van denken, van informatie verzamelen, van het updaten van denkbeelden. Deze methoden kunnen door ieder intelligent, weldenkend en vastberaden mens worden aangeleerd en gecultiveerd. En het is waarschijnlijk niet eens zo moeilijk om ermee te beginnen. Een onderzoeksresultaat dat me zeer verbaasde, was het effect van een tutorial waarin basisconcepten werden uiteengezet die we in dit boek zullen onderzoeken en die in de bijlage ‘Tien geboden’ worden samengevat. Die tutorial had je in tien minuten uit, en dan nam de nauwkeurigheid tijdens het hele jaar van het toernooi met zo’n 10 procent toe. 10 procent klinkt misschien bescheiden, maar die winst werd met minimale inspanning geboekt. En vergeet niet dat zelfs bescheiden verbeteringen in vooruitziendheid in de loop van de tijd lekker aantikken. Ik sprak over dit onderwerp met Aaron Brown, schrijver, veteraan van Wall Street en risk manager van AQR Capital Management, een hedgefonds dat meer dan 100 miljard aan activa beheert. ‘Het is moeilijk te zien, omdat het niet dramatisch is,’ zei hij, maar op lange termijn praat je dan over ‘het verschil tussen een consistente winnaar die lekker verdient of zo’n vent die altijd failliet gaat’.11 We ontmoeten straks een pokeraarster van wereldklasse die het roerend met Brown eens is. Het verschil tussen zwaargewichten en amateurs, zei ze, is dat een zwaargewicht het verschil weet tussen een gok met een slaagkans van 60 procent en een van 40 procent.

Blijft natuurlijk de vraag: als het mogelijk is om vooruitziendheid te verbeteren door meting en de voordelen die met die verbeterde vooruitziendheid behaald kunnen worden zo substantieel zijn, waarom is meting dan geen standaardprocedure? Het antwoord op die vraag ligt grotendeels in de psychologische eigenaardigheid die ons ervan overtuigt dat we dingen weten die we helemaal niet weten – of Tom Friedman bijvoorbeeld al dan niet een voorspeller is die het vaak bij het rechte eind heeft. Die psychologische eigenschap, die ik in hoofdstuk 2 bespreek, had eeuwenlang een fnuikende werking op de medische wetenschap. Toen artsen eindelijk accepteerden dat hun ervaringen en waarnemingen geen betrouwbaar middel waren om te bepalen of een behandeling succesvol is, gingen ze op wetenschappelijke grondslag testen en kon de medische wetenschap spectaculaire vooruitgang boeken. Dezelfde revolutie moet zich voltrekken op het gebied van voorspellingen.

Dat wordt niet gemakkelijk. In hoofdstuk 3 onderzoek ik wat ervoor nodig is om voorspellingen te testen met de gestrengheid die op medische behandelingen wordt toegepast. Het is een grotere uitdaging dan je zou denken. In de jaren tachtig ontwikkelde ik een methode en voerde vervolgens de grootste test van de nauwkeurigheid van politieke voorspellingen uit die tot op dat moment was gedaan. Een van de onderzoeksresultaten, die pas na jaren aan het licht kwamen,was die clou die me nog altijd een onprettig gevoel bezorgt. Een andere uit dat onderzoek voortvloeiende ontdekking kreeg veel minder aandacht, maar was in feite een stuk belangrijker: dat een van de groepen experts over een bescheiden, maar onmiskenbare mate van vooruitziendheid beschikte. Wat maakte het verschil tussen de experts met vooruitziendheid en het stel dat zo hopeloos presteerde dat ze het gemiddelde naar het niveau van een dartende chimpansee sleurden? Niet de een of andere mysterieuze gave of toegang tot informatie die anderen niet hadden, en ook niet bepaalde denkbeelden. Het deed er zelfs niet toe wát ze dachten; van belang was alleen hóé ze dachten.

Deels door dat inzicht geïnspireerd organiseerde IARPA het nog niet eerder vertoonde voorspellingstoernooi. Hoofdstuk 4 vertelt het verhaal van hoe dat gebeurde en beschrijft de ontdekking van de supervoorspellers. Waarom zijn zij zo goed? Die vraag komt in de hoofdstukken 5 tot en met 9 aan bod. Als je hen ontmoet, zal het je opvallen hoe slim ze zijn, en het is verleidelijk om te denken dat intelligentie de doorslag geeft. Maar dat is niet zo. Ze worden trouwens ook gekenmerkt door een opvallende beheersing van rekenkundige vaardigheden. Net als Bill Flack hebben ze vaak een wiskundige of andere exacte achtergrond. Is wiskunde dan het geheim? Nee. Zelfs supervoorspellers die gediplomeerde wiskundigen zijn gebruiken hun mathematische kennis zelden. Ze hebben ook de neiging het nieuws slaafs te volgen, altijd de laatste ontwikkelingen bij te houden en hun voorspellingen regelmatig te updaten. Je zou dus in de verleiding kunnen komen om hun succes toe te schrijven aan een exemplarisch arbeidsethos. Maar ook dat zou een vergissing zijn.

Supervoorspellers hebben bepaalde niveaus van intelligentie, rekenkunde en kennis van de wereld nodig, maar iedereen die serieuze boeken over psychologisch onderzoek leest, voldoet aan die voorwaarden. Welke eigenschap tilt voorspellen dan wel naar het niveau van supervoorspellen? Net als bij de experts die in mijn eerdere onderzoek van werkelijke vooruitziendheid blijk gaven, gaat het er vooral om hoe de voorspeller denkt. Daar kom ik later gedetailleerd op terug, maar in grote lijnen is het zo dat supervoorspellers een manier van denken hebben die ruimdenkend is, behoedzaam, nieuwsgierig en bovenal zelfkritisch. Ook focus is een vereiste. Het denkwerk dat tot een superieur beoordelingsvermogen leidt, komt niemand aanwaaien. Je moet je er werkelijk op toeleggen om consistent juiste voorspellingen te doen. Onze analyses hebben dan ook aangetoond dat de hang naar zelfverbetering de belangrijkste voorspellende factor voor topprestaties is.

In de laatste hoofdstukken hoop ik een schijnbare tegenstelling op te lossen tussen de eigenschappen die nodig zijn voor een goed beoordelingsvermogen en effectief leiderschap, te reageren op de twee naar mijn smaak grootste bezwaren die tegen mijn research kunnen worden ingebracht en af te sluiten – hoe passend voor een boek over voorspellen – met een overweging over wat hierna komt.

Een voorspelling over voorspellingen

Maar misschien vind je dit alles hopeloos achterhaald. We leven immers in een tijd van verbijsterend krachtige computers, ondoorgrondelijke algoritmes en Big Data. In de kern draait het soort voorspellingen dat ik bestudeer om subjectieve oordelen. Mensen die nadenken en beslissingen nemen, meer niet. Is de tijd niet gekomen om te stoppen met slordig giswerk?

In 1954 schreef de briljante psycholoog Paul Meehl een boekje dat voor nogal wat ophef zorgde.12 Hij keek naar twintig studies en toonde aan dat goed geïnformeerde experts die bepaalde uitkomsten voorspelden – of een student het goed zou doen, of vrijgelaten gedetineerden met een proeftijd terug zouden moeten naar de gevangenis – minder goede resultaten behaalden dan simpele algoritmes waarin objectieve indicatoren zoals toelatingstests en eerder vertoond gedrag waren verwerkt. Veel experts waren woedend over Meehls beweringen, maar later onderzoek – er zijn inmiddels meer dan tweehonderd studies – heeft aangetoond dat statistische algoritmes het in de meeste gevallen beter doen dan subjectieve beoordelingen, of op zijn minst net zo goed. Als we bedenken dat algoritmes in tegenstelling tot subjectieve oordelen snel en goedkoop zijn, is de conclusie onontkoombaar: gebruik vooral een algoritme als het voorhanden is.

Dit inzicht vormde nooit een bedreiging voor de leidende positie van subjectieve oordelen, omdat we maar zelden de beschikking hebben over een getest en betrouwbaar algoritme voor het onderhavige probleem. Het was voor de wiskunde simpelweg onpraktisch om de oude manier van denken te vervangen. Dat gold in 1954 en dat geldt nog steeds.

Maar bepaalde spectaculaire technologische ontwikkelingen wekken de suggestie dat we een historisch keerpunt zijn genaderd in de relatie tussen mens en machine. In 1997 versloeg IBM’s Deep Blue schaakkampioen Garri Kasparov. Er zijn inmiddels schaakprogramma’s op de markt die iedere mens kunnen verslaan. In 2011 versloeg Watson (ook van IBM) Ken Jennings en Brad Rutter, de kampioenen van de populaire Amerikaanse televisiequiz Jeopardy! Dat was vanuit het oogpunt van programmeren een veel moeilijkere opdracht, maar de mensen van Watson kregen het voor elkaar. Het is inmiddels niet meer onvoorstelbaar dat een supercomputer in een voorspellingstoernooi teams van zowel supervoorspellers als superexperts verslaat. Als dat gebeurt, zullen er nog altijd menselijke voorspellers zijn, maar die zullen we – net als de menselijke kandidaten bij Jeopardy! – alleen nog voor ons plezier bekijken.

Ik sprak met David Ferrucci, de hoofdtechnicus van Watson. Ik was er zeker van dat Watson met gemak een vraag over het heden of verleden zou kunnen oplossen in de trant van: ‘Welke twee Russische leiders hebben in de afgelopen tien jaar van baan geruild?’ Maar ik was nieuwsgierig naar zijn ideeën over hoelang Watson of een van zijn digitale afstammelingen nodig zou hebben voor een vraag als: ‘Zullen in de komende tien jaar twee Russische leiders van baan ruilen?’

In 1965 meende de uomo universale Herbert Simon dat we nog slechts twintig jaar verwijderd waren van een wereld waarin machines ‘al het werk kunnen doen dat de mens kan doen’. Dergelijke naïeve, optimistische dingen zei men destijds. Dat is een van de oorzaken waarom Ferrucci, die al dertig jaar actief is in het veld van de kunstmatige intelligentie, wat voorzichtiger is geworden.13 Ferrucci vertelde dat er enorme vooruitgang wordt geboekt. Met name het vermogen van computers om patronen te herkennen maakt een spectaculaire ontwikkeling door. En machinaal leren lijkt, in combinatie met de verbetering van de interactie tussen mens en machine die het leerproces voedt, de komst van nog fundamentelere stappen aan te kondigen. ‘Het wordt zo’n exponentiële curve,’ zegt Ferrucci. ‘We zitten nu nog onderaan.’

Maar er is een enorm verschil tussen ‘Welke twee Russische leiders ruilden van baan?’ en ‘Zullen opnieuw twee Russische leiders van baan ruilen?’ De eerste vraag gaat over een historisch feit dat de computer kan opzoeken. De tweede vraag vereist dat de computer een geïnformeerde inschatting maakt van de plannen van Vladimir Poetin, het karakter van Dimitri Medvedev en de dynamica van de Russische politiek om al die informatie vervolgens te integreren tot een oordeel. Mensen doen het voortdurend, maar dat wil niet zeggen dat het gemakkelijk is. Het toont aan hoe wonderlijk en imposant het menselijk brein is, want de uitgevoerde taak is loodzwaar. Zelfs nu computers met grote sprongen vooruitgang boeken, zijn ze nog ver verwijderd van het soort voorspellingen dat supervoorspellers doen. Ferrucci is er niet zeker van dat we ooit in het Smithsonian een mens onder glas zullen zien met een bordje SUBJECTIEF BEOORDELINGSVERMOGEN.

Machines worden dan wel beter in het ‘nabootsen van menselijke betekenis’ en dus ook in het voorspellen van menselijk gedrag, maar ‘er is een verschil tussen betekenis nabootsen en weergeven enerzijds en betekenis produceren anderzijds’, zei Ferrucci. Dat is een ruimte die altijd door menselijke oordelen zal worden ingenomen.

Op het gebied van voorspellen zullen we net als op allerlei andere terreinen blijven zien dat – tot de grote consternatie van kantoorpersoneel – het menselijke oordeel wordt vervangen, maar we zullen ook steeds meer vormen van synthese zien, zoals freestyle chess, een vorm van schaken waarbij mensen met computers in teamverband spelen en gebruikmaken van de onmiskenbare kwaliteiten van de computer, maar het oordeel van de machine zo nu en dan ook terzijde schuiven. Het resultaat is een mengvorm die (soms) zowel mens als machine kan verslaan. Om de tegenstelling tussen mens en machine te herkaderen: een team dat de krachten van Garri Kasparov en Deep Blue bundelt, zou wel eens sterker kunnen zijn dan benaderingen die alleen mensen of alleen machines inzetten.

Ferrucci denkt wel dat er een einde komt aan het goeroemodel dat veel beleidsdebatten zo puberaal maakt: ‘O ja, zegt Paul Krugman dat? Nou, dit argument van Niall Ferguson lijkt me veel beter. En ik ondergraaf jouw column van Tom Friedman met deze blog van Bret Stephens.’ Ferrucci ziet licht aan het einde van deze lange, donkere tunnel. Mensen zullen het steeds merkwaardiger gaan vinden ‘om te luisteren naar het advies van mensen wier denkbeelden puur op hun subjectieve oordeel zijn gebaseerd’. Menselijk denkwerk heeft te maken met allerlei psychologische valkuilen, een feit dat pas de laatste twintig jaar algemeen wordt erkend. ‘Wat ik zou willen is een menselijke expert die met een computer samenwerkt om de cognitieve beperkingen en vooroordelen van de mens te overstijgen.’14

Als Ferrucci gelijk heeft – en dat vermoed ik –, zullen we in de toekomst de voorspellingen van computers moeten samenvoegen met subjectieve menselijke oordelen. We moesten die twee kanten dus maar eens serieus gaan aanpakken.

==

==

==

1. Waarom ik Tom Friedman eruit pik als ik ook talloze andere beroemde experts had kunnen opvoeren? Die keuze werd bepaald met behulp van een simpele formule: (status van expert) x (moeilijkheid om zijn/haar voorspellingen vast te pinnen) x (relevantie van het werk van de expert voor de wereldpolitiek). De hoogste score wint. Friedman geniet veel aanzien, zijn beweringen over mogelijke toekomsten kunnen moeilijk worden vastgepind, en zijn werk heeft een hoge mate van relevantie voor geopolitieke voorspellingen. De keuze voor Friedman had niets te maken met bezwaren tegen zijn meningen. In het laatste hoofdstuk biecht ik zelfs een heimelijke bewondering op voor bepaalde aspecten van zijn werk. Want hoe wanhopig ik ook word van zijn vage voorspellingen, hij blijkt een fantastische bron voor voorspellingsvragen te zijn.

2. Nogmaals: ik beweer niet dat Friedman in dit opzicht uniek is. Vrijwel alle politiek experts ter wereld opereren onder dezelfde stilzwijgende basisregels. Ze doen talloze beweringen over wat er gaat gebeuren, maar verpakken die claims in zulke vage termen dat het onmogelijk is om ze te testen. Hoe moeten we intrigerende claims als ‘Uitbreiding van de NAVO zou een woeste reactie van de Russische beer kunnen uitlokken en eventueel zelfs tot een nieuwe Koude Oorlog leiden’, of: ‘De Arabische Lente zou wel eens een signaal kunnen zijn dat de dagen van autocratie zonder verantwoording in de Arabische wereld zijn geteld’ interpreteren? De sleuteltermen in deze semantische stoelendans, woorden als ‘zou’ en ‘kan’ en ‘eventueel’, zijn niet voorzien van tips over hun interpretatie. ‘Zou’ kan alles betekenen van een kans van 0,00000001 procent dat ‘een grote asteroïde in de komende honderd jaar onze planeet raakt’ tot de kans van 70 procent ‘dat Hillary Clinton in 2016 tot president zal worden verkozen’. Dit alles maakt het onmogelijk om in de loop van de tijd en over een aantal vragen nauwkeurigheid bij te houden. De experts verschaffen zich bovendien eindeloos veel flexibiliteit om hun gelijk te halen als iets gebeurt (‘Ik zei toch dat het kon’) en de schuldvraag te ontlopen als het niet gebeurt (‘Ik zei alleen dat het kon’). We zullen in dit boek talloze voorbeelden zien van dit soort taalkundige ondeugendheid.

3. Het is alsof we collectief hebben besloten dat een inschatting van de opstelling van de New York Yankees meer aandacht verdient dan een inschatting van de kans op genocide in Zuid-Soedan. Maar de analogie tussen honkbal en politiek is verre van volmaakt. Honkbal wordt onder vaste omstandigheden gespeeld. Politiek is een grillig spel waarvan de regels voortdurend worden verwrongen en bevochten. Dat maakt het bijhouden van de score van politieke voorspellingen een stuk lastiger dan het verzamelen van honkbalstatistieken. Maar ‘lastiger’ is niet ‘onmogelijk’. Het blijkt alleszins mogelijk te zijn. Er bestaat nog een ander bezwaar tegen deze analogie. Experts houden zich niet exclusief met voorspellingen bezig. Ze plaatsen gebeurtenissen in een historisch perspectief, geven verklaringen, verdedigen of bekritiseren beleid en stellen uitdagende vragen. Maar goed, ze doen ook allerlei impliciete en expliciete voorspellingen. Zo bevatten de historische analogieën die experts aandragen vaak impliciete voorspellingen. Dan wordt de in München bedreven aanpak van appeasement er weer bij gehaald als ondersteuning van de voorwaardelijke voorspelling ‘Als je land X te zacht aanpakt, komt het met strengere eisen’, of wordt de analogie van de Eerste Wereldoorlog ingezet om ‘Als je dreigt, laat je het conflict escaleren’ kracht bij te zetten. Ik durf te beweren dat het logisch onmogelijk is om politiek te bedrijven (wat experts regelmatig doen) zonder aannames te doen over of we beter of slechter af zouden zijn als we bepaalde beleidspaden al dan niet zouden kiezen. Een expert die niet op zijn minst impliciete voorspellingen doet, vervalt in zenachtige irrelevantie.

4. Zie James Gleick, Chaos: Making a New Science (New York: Viking, 1987); Donald N. McCloskey, ‘History, Differential Equations, and the Problem of Narration’, History and Theory 30 (1991): 21-36.

5. Pierre-Simon Laplace, A Philosophical Essay on Probabilities, Engelse vertaling van Essai philosophique sur les probabilités (1840); vert. Frederick Wilson Truscott en Frederick Lincoln Emory (New York: Dover Publications, 1951), p. 4.

6. Toch blijven historici die beter zouden moeten weten grootse uitspraken doen, zoals deze van Margaret MacMillan, hoogleraar aan Oxford, zoals geciteerd in Maureen Dowds column in The New York Times van 7 september 2014: ‘De eenentwintigste eeuw wordt een opeenvolging van groezelige, bijzonder gewelddadige oorlogen die zonder een duidelijke uitkomst maar doorgaan en doorgaan, en die alle burgers die de pech hebben op de verkeerde plek te wonen ernstig zullen beschadigen.’ Dat is een prima samenvatting van het recente verleden, maar een onbetrouwbare gids voor de wereld van 2083. Boeken zoals The Next 100 Years: A Forecast for the 21st Century worden nog altijd bestsellers. De schrijver van dat boek is overigens George Friedman, de CEO van Stratfor, een firma die welgestelde cliënten in de publieke en private sector van geopolitieke voorspellingen voorziet. Een luttele twee jaar na de publicatie zette de Arabische Lente het Midden-Oosten op zijn kop, maar daarover staat geen woord in Friedmans boek, wat bepaalde twijfels oproept over zijn betrouwbaarheid voor wat betreft de nog resterende 98 jaar. Friedman schreef in 1991 ook het boek The Coming War with Japan – we hebben het over een oorlog tussen de VS en Japan – waarvan de vooruitziendheid ook nog niet is komen vast te staan.

7. Zie voor eilandjes van professionalisme in een zee van wanprestaties de voorspellingsconcepten en -instrumenten die worden besproken in Nate Silver, The Signal and the Noise: Why So Many Predictions Fail – but Some Don’t (New York: Penguin Press, 2012); J. Scott Armstrong (red.), Principles of Forecasting: A Handbook for Researchers and Practitioners (Boston: Kluwer, 2001); en Bruce Bueno de Mesquita, The Predictioneer’s Game (New York: Random House, 2009). Het blijkt niet eenvoudig om deze eilandjes uit te breiden. Er is vaak weinig overdracht van statistische concepten uit de collegezaal, zoals regressie naar het midden, naar de problemen waarmee studenten in de praktijk te maken krijgen. Zie D. Kahneman en A. Tversky, ‘On the Study of Statistical Intuitions’, Cognition 11 (1982): 123-141. Dit vormt een grote uitdaging voor de inspanningen van het Good Judgment Project om mensen te trainen te denken als supervoorspellers.

8. ‘Bill Gates: My Plan to Fix the World’s Biggest Problems’, Wall Street Journal, 25 januari 2013, http://www.wsj.com/articles/SB100014241278873235398 04578261780648285770.

9. B. Fischhoff en C. Chauvin (red.), Intelligence Analysis: Behavioral and Social Scientific Foundations (Washington, DC: National Academies Press, 2011); Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council, Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences (Washington, DC: National Academies Press, 2011).

10. P.E. Tetlock, B. Mellers, N. Rohrbaugh en E. Chen, ‘Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate’, Current Directions in Psychological Science (2014): 290-295.

11. Aaron Brown in gesprek met de auteur, 30 april 2013.

12. Paul Meehl, Clinical Versus Statistical Prediction (Minneapolis: University of Minnesota Press, 1954).

13. Stephen Baker, Final Jeopardy (Boston: Houghton Mifflin Harcourt, 2011), p. 35.

14. David Ferrucci in gesprek met de auteur, 8 juli 2014.

2
Illusies van kennis

De huidarts vond de vlekjes op de hand van de patiënt verdacht en verwijderde een stukje huid. Een dermatopatholoog bevestigde dat het om basaalcelcarcinoom ging. De patiënt raakte niet in paniek. Hij was ook medicus. Hij wist dat deze vorm van kanker zich zelden verspreidde. Het carcinoom werd verwijderd en de patiënt maakte als voorzorgsmaatregel een afspraak bij een specialist met een voortreffelijke reputatie.

De specialist vond een knobbel in de rechteroksel of axilla van de patiënt. Hoelang zat die daar al? Dat wist de patiënt niet. De specialist zei dat de knobbel moest worden verwijderd. De patiënt ging akkoord. De specialist was immers een arts van naam. Als hij zei dat het ding eruit moest, wie zou hem dan tegenspreken? De ingreep werd gepland.

Toen de verdoving was uitgewerkt en de patiënt wakker werd, bemerkte hij tot zijn verbazing dat zijn hele borst in het verband zat. De specialist arriveerde. Hij keek bezorgd. ‘Ik moet je de waarheid vertellen,’ zei hij. ‘Je axilla zit vol kankerweefsel. Ik heb mijn best gedaan om alles weg te snijden en je pectoralis minor verwijderd, maar het is mogelijk dat ik je leven niet heb kunnen redden.’1 Die laatste zin was een bescheiden poging om de klap te verzachten. Het werd al snel duidelijk dat de patiënt niet lang meer te leven had.

‘Heel even leek de wereld stil te staan,’ schreef de patiënt later. ‘Na een korte periode van shock en verbazing draaide ik me zo ver mogelijk op mijn zij en begon schaamteloos te huilen. Van de rest van die dag herinner ik me niet veel.’ De volgende ochtend had hij zijn gedachten geordend. ‘Ik had een simpel plan bedacht voor hoe ik de tijd die me restte wilde besteden... Ik ondervond een merkwaardig, vredig gevoel toen mijn plan klaar was. Ik viel in slaap.’ In de dagen daarna kwamen allerlei bezoekers hem zo goed en zo kwaad als dat ging troosten. Hij vond het allemaal nogal pijnlijk. ‘Ze leken het gênanter te vinden dan ik,’ schreef hij.2 Hij zou sterven, dat was een feit. Een mens moest rustig blijven en doen wat hem te doen stond. Met janken loste je niets op.

Dit melancholieke moment deed zich voor in 1956, maar de patiënt, Archie Cochrane, stierf niet. Gelukkig maar, want hij werd een vereerd figuur in de medische wereld. De specialist had het verkeerd gezien. Cochrane had geen terminale kanker. Hij had zelfs helemaal geen kanker, zoals een patholoog ontdekte toen hij het tijdens de operatie verwijderde weefsel bestudeerde. Cochrane onderging dit uitstel net zo geschokt als zijn eerdere veroordeling. ‘Ze hadden me verteld dat het verslag van de patholoog nog niet binnen was,’ schreef hij vele jaren later. ‘Aan de woorden van de chirurg heb ik nooit getwijfeld.’3

Dat is het probleem. Cochrane twijfelde niet aan de specialist en de specialist twijfelde niet aan zijn eigen oordeel en de mannen hielden geen van beiden rekening met de mogelijkheid dat de diagnose verkeerd kon zijn. Ze dachten geen van beiden dat het misschien verstandig was om het verslag van de patholoog af te wachten alvorens te besluiten dat Archie Cochrane stervende was. Maar we moeten niet te hard over hen oordelen. Zo zitten mensen nu eenmaal in elkaar. We hebben allemaal wel eens te snel een oordeel gevormd of zijn te langzaam van mening veranderd. En als we niet kijken naar hoe we fouten maken, zullen we ze blijven maken. Een dergelijke vorm van stagnatie kan jaren voortbestaan. Of een heel leven lang. Of zelfs enkele eeuwen, zoals de lange, ellendige geschiedenis van de medische wetenschap aantoont.

Ruziënde blinde mannen

Dat die geschiedenis lang is, moge duidelijk zijn. We proberen zieke mensen al beter te maken zolang er zieke mensen zijn. Maar ellendig? Dat ligt zelfs voor mensen die de medische geschiedenis goed kennen wat minder voor de hand. Zoals de Britse arts en schrijver Druin Burch opmerkte: ‘De meeste boeken over de medische geschiedenis zijn bijzonder merkwaardig. Ze geven een heldere beschrijving van wat mensen dachten te doen zonder ooit te vermelden of ze gelijk hadden.’4 Hielpen de door de medici van het oude Egypte aangebrachte papjes van struisvogelei werkelijk tegen schedelfracturen? Wist de in Mesopotamië aangestelde Behoeder van het Koninklijke Rectum het koninklijke rectum daadwerkelijk te behoeden? En aderlaten, hoe zit het daarmee? Van de artsen van de oude Grieken tot de medische staf van George Washington hield iedereen stug vol dat het een weldadige en helende werking had, maar was dat echt zo? De standaardwerken houden zich veelal van den domme over deze vragen, maar als we de effectiviteit van historische behandelingen langs de meetlat van de moderne wetenschap leggen, wordt het deprimerend duidelijk dat de meeste ingrepen nutteloos waren, of erger. Tot relatief kort geleden – in historische termen – was een zieke niet zelden beter af als er geen arts beschikbaar was, omdat het natuurlijke verloop van de ziekte vaak minder gevaarlijk was dan wat een arts zijn patiënten kon aandoen. Behandelingen werden ondanks het verstrijken van de tijd zelden beter. Toen George Washington in 1799 ziek werd, voerden zijn hooggewaardeerde artsen de ene aderlating na de andere uit. Ze gaven hem kwik om diarree op te wekken, lieten hem braken en veroorzaakten bloedblaren door op de huid van de bejaarde man verhitte kopjes aan te brengen. Een arts in het Athene van Aristoteles, het Rome van Nero of het Parijs van de Middeleeuwen zou instemmend hebben staan knikken bij deze afschrikwekkende aanpak.

Washington stierf. Je zou denken dat dergelijke resultaten de artsen zouden aanzetten tot heroverweging van hun methoden. Maar eerlijk gezegd bewijst het feit dat Washington stierf niets over de gekozen behandelingen, behalve dat ze niet afdoende waren om zijn dood te voorkomen. Het is mogelijk dat de behandelingen hielpen – zij het niet genoeg om zijn leven te redden – en het zou kunnen dat ze niets uithaalden of Washingtons dood juist versnelden. Het is op grond van het enige wat we weten – dat hij stierf – onmogelijk te bepalen welke van die conclusies de juiste is. Zelfs op grond van talloze observaties is het soms moeilijk of onmogelijk om de waarheid boven tafel te krijgen. Er zijn vaak simpelweg te veel aspecten, te veel mogelijke verklaringen, te veel onbekende factoren. En als artsen eenmaal denken dat hun behandelingen werken – en dat denken ze, anders zouden ze die niet voorschrijven –, is de kans groot dat alle ambiguïteit geïnterpreteerd wordt ten faveure van de gelukkig stemmende conclusie dat de behandelingen effectief zijn. Er zijn overtuigende bewijzen en rigoureuze experimenten (rigoureuzer dan ‘Laten we maar eens kijken of de patiënt herstelt als we aderlaten’) voor nodig om vooroordelen te slechten, maar die bewijzen werden niet gezocht en de experimenten niet uitgevoerd.