RUIS

RUIS

Waarom we zo vaak verkeerde beslissingen nemen en hoe we dat kunnen voorkomen

Daniel Kahneman
Olivier Sibony
Cass R. Sunstein

Vertaald door
Lidwien Biekmann en Koos Mebius

Nieuw Amsterdam

Oorspronkelijke titel Noise. A Flaw in Human Judgment.

Little, Brown Spark, imprint of Little, Brown and Company, a division of Hachette Book Group, Inc., New York

© 2021 Daniel Kahneman, Olivier Sibony en Cass R. Sunstein

© 2021 Nederlandse vertaling Lidwien Biekmann en Koos Mebius /

Uitgeverij Nieuw Amsterdam

Alle rechten voorbehouden

Omslagontwerp Julian Humphries

Omslagbewerking bij Barbara

NUR 770

ISBN 978 90 468 2847 2

www.nieuwamsterdam.nl

Deze digitale editie is gemaakt naar de eerste druk, 2021, met

ISBN 978 90 468 2846 5

Voor Noga, Ori en Gili – DK

Voor Fantin en Lélia – OS

Voor Samantha – CRS

Inhoud

Inleiding: Twee soorten fouten

Deel I: Op zoek naar ruis

1 Misdaad en straf (met ruis)

2 Een systeem vol ruis

3 Eenmalige beslissingen

Deel II: Uw hoofd is een meetinstrument

4 Daar kun je verschillend over oordelen

5 Foutmeting

6 De analyse van ruis

7 Gelegenheidsruis

8 Groepen versterken de ruis

Deel III: Ruis bij voorspellende beoordelingen

9 Beoordelingen en modellen

10 Ruisloze regels

11 Objectieve onwetendheid

12 Het dal van het normale

Deel IV: Hoe ontstaat ruis?

13 Heuristiek, bias en ruis

14 Matchen

15 Schalen

16 Patronen

17 De bronnen van ruis

Deel V: Betere oordelen

18 Betere beoordelingen door betere beoordelaars

19 Bias wegnemen en beslissingshygiëne

20 Informatie stroomlijnen in de forensische wetenschap

21 Selectie en aggregatie bij voorspellingen

22 Richtlijnen in de geneeskunde

23 De schaal van prestatiescores

24 Structuur bij sollicitaties

25 Het mediating assessments protocol

Deel VI: Optimale ruis

26 De kosten van ruisreductie

27 Respect

28 Regels of normen?

Samenvatting en conclusie: Neem ruis serieus

Epiloog: Een wereld met minder ruis

Appendix A: Een ruisonderzoek uitvoeren

Appendix B: Een checklist voor een beslissingswaarnemer

Appendix C: Voorspellingen bijstellen

Dankwoord

Over de auteurs

Noten

Register

INLEIDING

Twee soorten fouten

Stel je voor: een groep vrienden gaat naar een speelhal om een schietspelletje te doen. Er zijn vier teams. Elk team bestaat uit vijf mensen en maakt van hetzelfde geweer gebruik; elk teamlid schiet één keer. Figuur 1 laat zien hoe de teams het ervan hebben afgebracht.

In een ideale wereld zou elk schot in de roos zijn.

FIGUUR 1: Vier teams

Voor team A is dat bijna het geval. De schoten van het team zitten allemaal rond de roos in een bijna perfect patroon.

In het resultaat van team B zit bias: de inslagen zitten op een systematische manier allemaal een stuk van de roos af. Zoals de figuur suggereert, kunnen we op basis van de consistentie van deze bias een voorspelling doen. Als een van de teamleden nog een keer zou schieten, komt het schot vast in hetzelfde gebied terecht als de eerste vijf schoten. De consistentie van de bias doet ook een causaal verband vermoeden: misschien was het vizier van het geweer niet goed afgesteld.

In het resultaat van team C zit ruis: de schoten zijn over een groot gebied terechtgekomen. Er is geen duidelijke bias aanwezig, want de inslagen zijn min of meer gelijkmatig rond de roos verspreid. Als een van de teamleden nog een keer zou schieten, is nauwelijks te voorspellen waar de kogel inslaat. Daarnaast komt er geen interessante hypothese bij ons op om het resultaat van team C te verklaren. Het enige wat we weten is dat de teamleden het niet zo goed hebben gedaan. Waar deze ruis vandaan komt weten we niet.

Team D heeft zowel last van bias als van ruis. Net als bij team B zijn de schoten systematisch een stuk van de roos af terechtgekomen en net als bij team C kennen ze een grote spreiding.

Maar dit boek gaat niet over schietspelletjes. Wij richten ons op menselijke fouten. Bias en ruis – systematische afwijking en willekeurige spreiding – zijn verschillende componenten van fouten. De schietschijven laten de verschillen hiertussen zien.¹

Dit schietspelletje is een metafoor voor wat er in het menselijke beoordelingsproces mis kan gaan, vooral bij de uiteenlopende beslissingen die mensen namens organisaties nemen. In dat soort situaties vinden we ook de twee soorten fouten uit figuur 1. Sommige oordelen kennen bias: ze zitten er systematisch naast. Andere oordelen kennen ruis: mensen van wie wordt verwacht dat ze het met elkaar eens zijn komen op verschillende plekken rond de ‘roos’ terecht. Helaas hebben veel organisaties last van zowel bias als ruis.

Figuur 2 illustreert een belangrijk verschil tussen bias en ruis. Er wordt in getoond wat u zou zien als u alleen maar de achterkant van de schietschijven te zien kreeg, dus zonder dat duidelijk was waar de roos precies zat.

Hieruit kunt u niet opmaken of team A dichter bij de roos zit of team B. Maar u ziet wel in één oogopslag dat er bij teams C en D sprake is van ruis, en bij teams A en B niet.

De algemene eigenschap van dit soort ruis is essentieel voor het doel van dit boek, want veel van onze conclusies baseren we op oordelen waarbij we niet weten hoe het werkelijke antwoord luidt of waar helemaal geen werkelijk antwoord voor bestaat. Als artsen bij een en dezelfde patiënt verschillende diagnoses stellen, kunnen we dit gebrek aan overeenstemming bestuderen zonder dat we weten wat de patiënt werkelijk mankeert. Als filmproducenten proberen in te schatten of een bepaalde film het goed zal doen, kunnen we de variabiliteit in hun antwoorden bestuderen zonder dat we weten hoeveel de film uiteindelijk heeft opgebracht of zelfs of hij daadwerkelijk is gemaakt. We hoeven niet te weten wie er gelijk heeft om te kunnen meten in welke mate de oordelen in een bepaald geval uiteenlopen. Voor het meten van ruis hoeven we alleen maar naar de achterkant van de schietschijf te kijken.

FIGUUR 2: Dit zien we op de achterkant van de schietschijven

Als we inzicht willen krijgen in fouten bij beoordelingen, moeten we inzicht krijgen in zowel bias als ruis. Soms is, zoals we zullen zien, ruis het grootste probleem. Maar in wat er publiekelijk wordt gezegd over menselijke fouten en over fouten in organisaties over de hele wereld, wordt er zelden over ruis gesproken. De hoofdrol is weggelegd voor bias. Ruis is een figurant, die zich meestal in de coulissen ophoudt. Het onderwerp bias is in duizenden wetenschappelijke artikelen en tientallen populaire boeken aan de orde gekomen, waarbij ruis zelden werd genoemd. In dit boek proberen we deze balans te herstellen.

Bij beslissingen die in de praktijk van het dagelijks leven worden genomen is de hoeveelheid ruis vaak schandalig hoog. We geven een paar voorbeelden van gebieden waarop en omstandigheden waarin schokkende hoeveelheden ruis voorkomen terwijl accuratesse er van het grootste belang is.

• De geneeskunde is onderhevig aan ruis. Verschillende artsen komen bij één en dezelfde patiënt tot verschillende oordelen over het al dan niet aanwezig zijn van huidkanker, borstkanker, een hartkwaal, tuberculose, longontsteking, depressie, en allerlei andere ziekten en kwalen. Vooral in de psychiatrie, waarin subjectieve oordelen uiteraard een grote rol spelen, komt veel ruis voor. Maar dat geldt opvallend genoeg ook voor gebieden waarin men het niet zou verwachten, zoals bij het beoordelen van röntgenfoto’s.

• De jeugdzorg is onderhevig aan ruis.² Casemanagers bij instanties voor kinderbescherming moeten zien in te schatten of kinderen gevaar lopen te worden mishandeld, en zo ja, of ze uit huis moeten worden geplaatst. Dat systeem is onderhevig aan ruis, want sommige managers zijn sneller tot uithuisplaatsing geneigd dan andere. Jaren later blijken veel kinderen die de pech hadden zo’n doortastende manager te treffen er slechter voor te staan dan anderen: ze zijn vaker met justitie in aanraking gekomen, zijn vaker tienermoeder geworden en hebben lagere salarissen.

• (Trend)voorspellingen zijn onderhevig aan ruis. Professionele analisten leveren uiterst uiteenlopende prognoses over de verwachte verkoopcijfers van een nieuw product, de verwachte groei van de werkloosheidscijfers, de kans op faillissement van in zwaar weer verkerende bedrijven, ja eigenlijk over alles waar ze iets over te melden hebben. Ze spreken niet alleen elkaar tegen, maar ook zichzelf. Toen dezelfde softwareontwikkelaars bijvoorbeeld op twee verschillende dagen werd gevraagd hoeveel tijd ze nodig dachten te hebben voor een en dezelfde taak, was het gemiddelde verschil tussen het aantal geschatte uren 71%.³

• Beslissingen in asielzaken zijn onderhevig aan ruis. Of een asielzoeker in de Verenigde Staten als zodanig wordt erkend hangt af van een soort loterij. Een onderzoek waarin asielzaken willekeurig aan verschillende rechters werden toegewezen liet zien dat de ene rechter 5% van de aanvragen toewees en de andere 88%. De titel van het onderzoek was dan ook veelzeggend: ‘De Vluchtelingenroulette’.⁴ (We zullen nog heel wat roulettes tegenkomen.)

• Beslissingen over het personeelsbeleid zijn onderhevig aan ruis. Mensen die met sollicitanten spreken beoordelen dezelfde mensen totaal verschillend. Prestatiebeoordelingen van dezelfde werknemers zijn ook zeer variabel en hangen meer af van degene die de beoordeling uitvoert dan van de te beoordelen prestatie.

• Beslissingen over borgtocht zijn onderhevig aan ruis. Of Amerikaanse verdachten op borgtocht vrijkomen of in afwachting van hun berechting vast blijven zitten, hangt grotendeels af van de rechter die de zaak toevallig behandelt. Sommige rechters zijn veel milder dan andere. Rechters verschillen ook aanzienlijk wat betreft hun inschatting van welke verdachten al dan niet vluchtgevaarlijk zijn of een grote kans op recidive hebben.

• De forensische wetenschap is onderhevig aan ruis. Het is er bij ons ingestampt dat identificatie aan de hand van vingerafdrukken onfeilbaar is. Maar experts die vingerafdrukken vergelijken zijn het er soms niet over eens of een vingerafdruk van een plaats delict te koppelen is aan een bepaalde verdachte. Ze zijn het niet alleen met elkaar oneens, maar ook met zichzelf: dezelfde expert neemt soms een andere beslissing als dezelfde afdruk bij een andere gelegenheid nogmaals moet worden beoordeeld. Een vergelijkbare variabiliteit is in andere wetenschappelijke disciplines waargenomen, zelfs bij DNA-analyses.

• Besluiten over patentaanvragen zijn onderhevig aan ruis. De auteurs van een toonaangevend onderzoek naar patentaanvragen constateren op dat terrein ook ruis: ‘Of het patentbureau een patent al dan niet goedkeurt hangt in significante mate af van welke beoordelaar de aanvraag toevallig heeft toegewezen gekregen.’⁵ Het moge duidelijk zijn dat deze variabiliteit uit het oogpunt van gelijke behandeling ongewenst is.

Al deze voorbeelden zijn nog maar het topje van de ijsberg. Overal waar mensen tot een oordeel moeten komen is de kans op ruis aanzienlijk. Om de kwaliteit van onze beoordeling te verbeteren moeten we zowel ruis als bias weg zien te werken.

Dit boek bestaat uit zes delen. In deel I onderzoeken we het verschil tussen ruis en bias en laten we zien dat zowel in publieke als private organisaties veel ruis aanwezig kan zijn, soms zelfs absurd veel. Om dit probleem enigszins inzichtelijk te maken beginnen we met beoordelingen in twee sectoren: het strafrecht (de publieke sector) en verzekeringen (de private sector). Op het eerste gezicht gaat het om twee totaal verschillende sectoren. Maar wat ruis betreft hebben ze veel gemeen. Om dat laatste over het voetlicht te brengen komen we met het concept van het ruisonderzoek, waarin wordt getracht te meten hoe groot het gebrek aan overeenstemming tussen professionals is als ze binnen een organisatie over één bepaald geval moeten oordelen.

In deel II onderzoeken we de aard van het menselijk beoordelingsvermogen en gaan we na hoe accuraatheid en fouten kunnen worden gemeten. Beoordelingen kunnen zowel door bias als ruis worden beïnvloed. We beschrijven een treffende overeenkomst in de rol van deze twee soorten fouten. Gelegenheidsruis is de variabiliteit in oordelen in dezelfde zaak door dezelfde persoon of groep bij verschillende gelegenheden. In groepsdiscussies hebben ogenschijnlijk irrelevante factoren, zoals wie als eerste het woord neemt of krijgt, een verrassende invloed op het ontstaan van gelegenheidsruis.

Deel III gaat dieper in op een beoordelingscategorie die uitgebreid is onderzocht: de voorspellende beoordeling. We kijken naar het belangrijkste voordeel van regels, formules en algoritmes ten opzichte van de mens bij het doen van voorspellingen: in tegenstelling tot wat men veelal aanneemt is dat niet het superieure inzicht van regels maar hun gebrek aan ruis. We bespreken de ultieme begrenzing van de kwaliteit van de voorspellende beoordeling – het objectieve feit dat de toekomst onbekend is – en hoe die beperking in combinatie met ruis grenzen stelt aan de kwaliteit van voorspellingen. Ten slotte gaan we in op een vraag die u zich op dat moment vast al hebt gesteld: als ruis zo alomtegenwoordig is, waarom hebt u die dan niet eerder opgemerkt?

In deel IV richten we onze blik op de psychologie van de mens. We leggen uit wat de belangrijkste oorzaken van ruis zijn. Dat zijn onder andere interpersoonlijke verschillen, waar diverse factoren aan ten grondslag kunnen liggen, zoals persoonlijkheid en cognitieve stijl, persoonlijke variaties in het toekennen van belang aan verschillende overwegingen, en de verschillende manieren waarop mensen met identieke scoringsschalen omgaan. We gaan na waarom mensen zich niet bewust zijn van ruis en waarom ze regelmatig gebeurtenissen en oordelen die ze met geen mogelijkheid hadden kunnen voorspellen, toch gewoon voor kennisgeving aannemen.

Deel V gaat in op de praktische vraag hoe u uw oordelen kunt verbeteren en fouten kunt voorkomen. (Lezers die voornamelijk geïnteresseerd zijn in praktische mogelijkheden om ruis te verminderen kunnen eventueel de discussie over de perikelen van voorspellingen en de psychologie van het beoordelen in de delen 3 en 4 overslaan en direct dit deel ter hand nemen.) We onderzoeken pogingen om ruis aan te pakken in de geneeskunde, in het zakenleven, in het onderwijs, bij de overheid en elders. We introduceren diverse ruisreducerende technieken die we samenvatten onder de noemer beslissingshygiëne. We bespreken vijf casestudy’s uit domeinen waarin sprake is van veel gedocumenteerde ruis en waarin mensen langdurig hebben geprobeerd die ruis te verminderen – het is zeer leerzaam om te zien hoe ze daar al dan niet succesvol in waren. Het gaat bijvoorbeeld om onbetrouwbare medische diagnoses, prestatiebeoordelingen, forensische bevindingen, beslissingen om mensen aan te nemen en voorspellingen in algemenere zin. We besluiten dit deel met de bespreking van een systeem dat we het mediating assessments protocol (MAP) noemen: een algemeen inzetbare benadering bij het afwegen van opties waarin verschillende basistechnieken van beslissingshygiëne zijn verenigd en die ten doel heeft ruisarmere en betrouwbaardere beoordelingen op te leveren.

Wat is het juiste ruisniveau? Dat is de vraag die in deel VI aan de orde komt. Wellicht anders dan uw intuïtie u influistert is dat niet nul. Op sommige terreinen is het gewoon niet haalbaar om ruis uit te bannen. Op andere gebieden is het veel te duur. Ook zouden pogingen ruis te reduceren bepaalde competitieve waarden te veel onder druk zetten. Zo zou het moreel van mensen kunnen worden ondermijnd en zouden ze het gevoel kunnen krijgen dat ze alleen nog maar radertjes in een machinerie zijn. Waar algoritmes een deel van het antwoord vormen, leveren die allerlei soorten bezwaren op; we behandelen er hier een paar van. Hoe het ook zij, het huidige ruisniveau is onacceptabel. We drukken zowel private als publieke organisaties op het hart ruisonderzoeken in te stellen en met nog meer inzet dan ooit tevoren er alles aan te doen de ruis te verminderen. Als ze daarin slagen, kunnen organisaties zeer veel onrechtvaardigheid wegnemen – en op allerlei gebieden kosten besparen.

Vanuit die opwekkende gedachte sluiten we elk hoofdstuk af met een paar korte stellingen, in de vorm van citaten. U kunt deze uitspraken letterlijk tot u nemen of ze aanpassen aan uw eigen interessegebieden, zoals de gezondheidszorg, de veiligheidsbranche, het onderwijs, de financiële wereld, de werkgelegenheid, entertainment, of een ander terrein. Het doorgronden van het ruisprobleem en het werken aan de oplossing ervan is ‘werk in uitvoering’, en een gezamenlijke inspanning. We zijn allemaal wel op de een of andere manier in de gelegenheid er een steentje aan bij te dragen. Dit boek is geschreven vanuit de hoop dat we die gelegenheid aangrijpen.

DEEL I

Op zoek naar ruis

Het is onaanvaardbaar als twee vergelijkbare mensen die voor dezelfde misdaad worden veroordeeld twee totaal verschillende straffen krijgen – bijvoorbeeld de een vijf jaar en de ander alleen een voorwaardelijke straf. En toch komt dat vaak voor. Het is absoluut een feit dat het justitiële systeem allerlei vormen van bias vertoont. In hoofdstuk 1 richten we ons echter op de ruis in dit systeem – en met name op wat er gebeurde toen een beroemde rechter aandacht vroeg voor dit, zoals hij zelf zei, ‘schandalige’ fenomeen en er een kruistocht tegen begon die de wereld een beetje (maar niet genoeg) veranderde. Wat wij beschrijven speelt in de Verenigde Staten, maar ongetwijfeld gaat het er in veel andere landen precies zo aan toe. Vermoedelijk is het ruisprobleem in sommige van die landen zelfs groter dan in de Verenigde Staten. Aan de hand van dit voorbeeld over de rechtspraak laten we onder meer zien dat ruis tot grote onrechtvaardigheid kan leiden.

De berechting van misdadigers mag dan een hoog drama-gehalte hebben, in hoofdstuk 2 richten we onze blik op de private sector, waar de belangen ook zeer groot kunnen zijn. Om dat te illustreren kijken we naar een grote verzekeringsmaatschappij. Daar zijn mensen werkzaam die de hoogte van de verzekeringspremie voor potentiële klanten moeten bepalen; anderen moeten beoordelen in hoeverre binnengekomen claims gerechtvaardigd zijn. Op het eerste gezicht lijken dit eenvoudige, bijna automatisch uit te voeren taken; u neemt waarschijnlijk aan dat verschillende professionals daarbij tot grofweg dezelfde besluiten komen. We hebben een zorgvuldig opgezet experiment uitgevoerd – een ruisonderzoek – om die aanname te testen. Ons verrasten de resultaten; bij de leiding van het bedrijf leidden ze echter tot verbazing, ja zelfs ontzetting. We kwamen erachter dat er verschrikkelijk veel ruis optrad, die het bedrijf grote sommen geld kostte. Dit voorbeeld laat zien dat ruis tot gigantische verliezen kan leiden.

In beide voorbeelden is naar een groot aantal mensen gekeken, die tot een groot aantal oordelen komen. Maar in gevallen waarin er veel op het spel staat gaat het vaak om ‘eenmalige’ beoordelingen in plaats van routinematige: hoe ga je om met een schijnbaar unieke zakelijke kans, moet je een geheel nieuw product wel of niet op de markt brengen, wat doe je als er een pandemie uitbreekt, moet je iemand wel of niet aannemen die niet aan het standaardprofiel voldoet? Kan ook in die gevallen ruis optreden? Men neemt graag aan dat het antwoord op die vraag ontkennend luidt. Ruis is immers ongewenste variabiliteit, en bij een eenmalige beslissing kan er van variabiliteit toch geen sprake zijn? Die vraag proberen we in hoofdstuk 3 te beantwoorden. Zelfs in een ogenschijnlijk unieke situatie vormt een oordeel altijd een keuze uit vele mogelijkheden. Ook daar is dus veel ruis aanwezig.

Het thema dat in deze drie hoofdstukken komt bovendrijven kan in één zin worden samengevat. Het is een van de hoofdthema’s van dit boek: bij elk oordeel is sprake van ruis – en meer dan u denkt. Laten we eens proberen hier wat meer zicht op te krijgen.

1

Misdaad en straf (met ruis)

Stel dat iemand schuldig is bevonden aan een bepaald strafbaar feit – winkeldiefstal, heroïnebezit, geweldpleging of een gewapende overval. Hoe zou het vonnis dan luiden?

Het antwoord mag natuurlijk niet afhangen van welke rechter de zaak toevallig behandelt, en ook niet van het weer of de prestaties van de plaatselijke sportclub een dag eerder. Het zou schandalig zijn als drie mensen die elk voor precies hetzelfde feit worden veroordeeld, totaal verschillende straffen krijgen: de één voorwaardelijk, de tweede twee jaar gevangenisstraf, en de derde tien jaar gevangenisstraf. En toch zijn er veel landen waar dat vroeger gebeurde – en nog steeds gebeurt.

Overal ter wereld hebben rechters altijd een grote vrijheid gehad om naar eigen inzicht vonnissen te vellen. In veel landen hebben deskundigen die rechterlijke beoordelingsvrijheid toegejuicht: ze vonden die zowel rechtvaardig als humaan. Een vonnis diende tot stand te komen op basis van een waaier aan factoren, waarbij niet alleen de misdaad maar ook de persoon van de verdachte moest worden betrokken, en de omstandigheden waarin hij of zij verkeerde. ‘Op het individu gericht maatwerk’ was het adagium. Beknotting van de rechterlijke vrijheid door strikte regels zou betekenen dat misdadigers inhumaan werden behandeld: ze zouden niet meer worden gezien als individuen, als mensen die het recht hebben op hun bijzondere omstandigheden te wijzen. Het hele idee van een ‘eerlijke rechtsgang’ leek voor velen synoniem met een onbeperkte rechterlijke beoordelingsvrijheid.

In de jaren zeventig kreeg het wijdverbreide enthousiasme voor deze beoordelingsvrijheid een behoorlijke deuk. De oorzaak: schokkende bewijzen van ruis. In 1973 trok een beroemde rechter, Marvin Frankel, hierover aan de bel. Voordat hij rechter werd maakte Frankel zich sterk voor de vrijheid van meningsuiting en hij was als bezield mensenrechtenadvocaat een van de oprichters van het Lawyers Committee for Human Rights (een organisatie die nu als Human Rights First bekendstaat).

Frankel kon zéér uitgesproken zijn. Over de ruis in het het strafrechtsysteem maakte hij zich bijzonder kwaad. Zijn boek Criminal Sentences: Law Without Order begint met een duidelijke omschrijving van het probleem:¹

De maximumstraf voor iemand die veroordeeld wordt voor een bankoverval is 25 jaar. In de praktijk kon dat variëren van 0 tot 25 jaar. En ik realiseerde me algauw dat het getal waarop het uitkwam minder afhing van de voorliggende zaak of de verdachte in kwestie dan van de rechter die het vonnis velde, dat wil zeggen van zijn of haar ideeën en vooroordelen. Eén en dezelfde verdachte in één en dezelfde zaak zou dus van verschillende rechters totaal verschillende straffen kunnen krijgen.

Frankel gaf hiervoor geen enkel statistisch bewijs. Maar hij kwam wel met een serie pregnante voorbeelden die lieten zien hoe sterk de bejegening van twee zeer vergelijkbare mensen uiteen kon lopen – zonder duidelijke reden. Twee mannen, beiden zonder strafblad, werden veroordeeld voor het verzilveren van een valse cheque ten bedrage van respectievelijk 58,40 dollar en 35,20 dollar. De eerste werd tot 15 jaar veroordeeld, de tweede tot 30 dagen. In vergelijkbare zaken van verduistering werd de ene man veroordeeld tot een gevangenisstraf van 117 dagen, de andere tot een van 20 jaar. Frankel wees op veel van dit soort zaken en sprak zijn afschuw uit over wat hij de ‘vrijwel grenzeloze en ongebreidelde macht’² van federale rechters noemde, die leidden tot ‘een dagelijks slagveld van willekeur’³, iets wat volgens hem volstrekt onacceptabel was in een ‘government of laws, not of men’.⁴

Frankel riep het Amerikaanse Congres op af te rekenen met deze ‘discriminatie’, zoals hij de willekeurige en daardoor wrede straftoebedeling omschreef. Met die term duidde hij vooral de ruis aan: de onverklaarbare variatie in strafmaat. Daarnaast maakte hij zich ook zorgen over de bias: de door raciale en sociaal-economische factoren ingegeven verschillen. Ter bestrijding van zowel bias als ruis diende elk onderscheid bij de behandeling van verdachten te worden uitgebannen, tenzij die kon worden ‘gerechtvaardigd door een relevante, voldoende objectief opgestelde en toegepaste beoordeling die garandeert dat de uitkomst een idiosyncratisch decreet van individuele ambtenaren, rechters of anderen ontstijgt’.⁵ (De term ‘idiosyncratisch decreet’ klinkt wat esoterisch; Frankel bedoelde er zoiets als ‘persoonlijk getint oordeel’ mee.) In praktische zin bepleitte Frankel een vermindering van ruis door een ‘gedetailleerde beschrijving of checklist van factoren met daarbij inbegrepen, indien mogelijk, enige vorm van getalsmatige of andere objectieve beoordeling’.⁶

Hij schreef dit in het begin van de jaren zeventig en pleitte niet concreet voor ‘het vervangen van mensen door machines’, zoals hij het noemde. Maar verrassend genoeg kwam zijn zienswijze wel in de buurt daarvan. Hij vond dat er voor een goed functionerend rechtsstelsel een ‘stelsel van objectieve richtlijnen’ nodig was ‘dat overal in de organisatie wordt toegepast en bindend is voor zowel rechters als alle andere betrokkenen.’ Hij noemde expliciet het gebruik van computers als ‘hulp bij een ordelijke gedachtevorming bij het komen tot een vonnis’.⁷ Hij beval ook de oprichting van een Commission on Sentencing aan, een orgaan dat zich diende te buigen over rechtsgelijkheid bij veroordelingen.⁸

Frankels boek werd een van de invloedrijkste boeken in de geschiedenis van het strafrecht – niet alleen in de Verenigde Staten, maar in de hele wereld. Zijn werk had echter wel iets informeels. Het was schokkend, maar ook subjectief. Om zijn punt nader te onderzoeken namen een aantal mensen onmiddellijk het stokje over en onderzochten het bestaan van ruis in de praktijk van de rechtspraak.

Een eerste, grootschalig onderzoek hiernaar werd in 1974 uitgevoerd onder leiding van rechter Frankel zelf. Aan vijftig rechters uit verschillende districten werd gevraagd een straf vast te stellen voor verdachten in hypothetische zaken waarin alle omstandigheden telkens identiek waren. Het bleek dat ‘het ontbreken van consensus’⁹ de norm was en het verschil in straffen ‘schokkend’.¹⁰ Een heroïnedealer kon afhankelijk van welke rechter uitspraak deed¹¹ voor één tot tien jaar in de gevangenis belanden. De straf voor een bankrover varieerde van vijf tot achttien jaar gevangenisstraf.¹² Het onderzoek liet zien dat de vonnissen in een afpersingszaak varieerden van maar liefst twintig jaar en een boete van 65.000 dollar tot slechts drie jaar en geen boete.¹³ En het meest opmerkelijke: in zestien van de twintig zaken was men het er zelfs niet over eens of er überhaupt een gevangenisstraf moest worden opgelegd.

Na dit onderzoek volgde een reeks andere onderzoeken, die allemaal vergelijkbare schokkende hoeveelheden ruis te zien gaven. In 1977 vroegen William Austin en Thomas Williams 47 rechters een oordeel te vellen in dezelfde vijf zaken; het ging om kleine vergrijpen.¹⁴ Alle beschrijvingen van de zaken bevatten een samenvatting van de informatie die rechters in concrete gevallen hadden gebruikt om tot een vonnis te komen, waaronder de tenlastelegging, de afgelegde verklaringen, eventuele eerdere veroordelingen en de sociale en persoonlijke achtergrond van de verdachte. De belangrijkste uitkomst was dat er sprake was van ‘substantiële ongelijkheid’. In de zaak van een inbraak, bijvoorbeeld, varieerden de aanbevolen vonnissen van vijf jaar gevangenisstraf tot slechts dertig dagen (plus 100 dollar boete). In een zaak van marihuanabezit vonden sommige rechters een gevangenisstraf passend; anderen hielden het bij een voorwaardelijke straf.

In een veel groter onderzoek uit 1981 kregen 208 federale rechters allemaal dezelfde zestien hypothetische zaken¹⁵ voorgelegd. De bevindingen waren schokkend:

In slechts drie van de zestien zaken was er unanimiteit wat betreft het opleggen van een gevangenisstraf. Zelfs als de meeste rechters het erover eens waren dat een gevangenisstraf gepast was, was er grote variatie in de duur daarvan. In een fraudezaak met als gemiddelde straf 8,5 jaar was de zwaarste straf levenslang. In een ander geval was de gemiddelde straf 1,1 jaar, maar de zwaarste vijftien jaar.

Hoe onthullend deze bevindingen ook mogen zijn, de onderzoeken, waarin sprake is van strak opgezette experimenten, onderschatten waarschijnlijk nog hoeveel ruis er in de ‘echte’ rechtspraak aanwezig is. Rechters krijgen in de praktijk veel meer informatie te verstouwen dan de deelnemers aan de zorgvuldig opgestelde beschrijvingen in deze experimenten. Sommige nadere informatie is uiteraard relevant, maar er is ook veel bewijs dat irrelevante informatie, in de vorm van onbeduidende en ogenschijnlijk willekeurige factoren, voor enorme verschillen in de vonnissen kan zorgen. Rechters blijken bijvoorbeeld aan het begin van de dag of vlak na een lunchpauze eerder geneigd tot voorwaardelijke vrijlating te beslissen dan vlak voor een lunchpauze. Honger maakt rechters blijkbaar strenger.¹⁶

Een onderzoek naar duizenden beslissingen in zaken van minderjarige verdachten liet zien dat de rechters na een verlies van hun plaatselijke footballteam in het weekend, de maandag erop strenger waren. (Een effect dat, zij het in mindere mate, de rest van de week bleef bestaan).¹⁷ Zwarte verdachten hadden hier disproportioneel onder te lijden. In een ander onderzoek werden 1,5 miljoen rechterlijke oordelen uit drie decennia bestudeerd, en ook daaruit kwam naar voren dat rechters strenger waren op dagen nadat het plaatselijk footballteam had verloren dan op dagen na winst van dat team.¹⁸

Een onderzoek naar 6 miljoen uitspraken van rechters in Frankrijk over een periode van twaalf jaar leverde op dat verdachten op hun verjaardag milder werden bejegend.¹⁹ (Het gaat hier om de verjaardag van de verdachte; we vermoeden dat rechters op hun eigen verjaardag ook milder gestemd zijn, maar voor zover we weten is die hypothese nooit getoetst.) Zelfs iets irrelevants als de buitentemperatuur kan rechters beïnvloeden.²⁰ Bestudering van 207.000 in de loop van vier jaar genomen beslissingen in asielzaken liet een significant effect zien van de dagelijkse variatie in temperatuur: als het warm weer is, is de kans dat mensen asiel krijgen kleiner. Wordt u in uw land op politieke gronden vervolgd en wilt u elders asiel aanvragen, dan mag u hopen of zelfs bidden dat de hoorzitting op een koude dag plaatsvindt.

Verminderen van ruis in rechterlijke uitspraken

In de jaren zeventig kwamen de inzichten van rechter Frankel en de empirische bewijzen ter ondersteuning ervan ter ore van Edward M. Kennedy, de broer van de vermoorde president John F. Kennedy, en een van de invloedrijkste leden van de Amerikaanse Senaat. Kennedy was geschokt en ontzet. Al in 1975 kwam hij met plannen om de rechtspraak te hervormen, maar die leverden niets op. Toch liet Kennedy zich niet ontmoedigen. Met de bewijzen in de hand bleef hij jaar in, jaar uit aandringen op nieuwe wetgeving op dit gebied. In 1984 werden zijn inspanningen beloond. Als reactie op de bewijzen van ongerechtvaardigde verschillen in vonnissen, nam het Congres de Sentencing Reform Act (SRA) van 1984 aan.

De nieuwe wet beoogde de ruis in het systeem te verminderen door het verminderen van ‘de onbeperkte beoordelingsvrijheid die de wet verleent aan de rechters en voorwaardelijke-invrijheidsstellingautoriteiten die verantwoordelijk zijn voor het vellen en uitvoeren van vonnissen’.²¹ Het Congres noemde hierbij speciaal de ‘ongerechtvaardigd grote’ verschillen in vonnissen, met name in de regio New York, waar de gevangenisstraffen voor volkomen vergelijkbare zaken uiteen konden lopen van drie tot wel twintig jaar.²² De wet riep de United States Sentencing Commission in het leven, zoals rechter Frankel had geadviseerd, met één duidelijke hoofdtaak: het uitvaardigen van Sentencing Guidelines, vonnisrichtlijnen dus, die verplicht zouden moeten worden en die grenzen moesten stellen aan de variabiliteit in strafmaat.

In het jaar erna stelde de commissie die richtlijnen op; ze waren overwegend gebaseerd op de gemiddelde straffen voor vergelijkbare feiten die uit een analyse van 10.000 zaken naar voren waren gekomen. Stephen Breyer, rechter bij het Hooggerechtshof, hield zich hier uitgebreid mee bezig en verdedigde het gebruik van historische gegevens²³ door te wijzen op de hardnekkige meningsverschillen in de commissie: ‘Was het niet beter geweest als de commissie gewoon rationeel te werk was gegaan in plaats van uit te gaan van hoe men vroeger oordeelde? Het antwoord luidt: nee, dat was onmogelijk. Het was onmogelijk omdat er altijd weer goede argumenten te vinden zijn die in een andere richting wijzen. […] Probeer alle mogelijke misdaden maar eens te rangschikken in volgorde van strafbaarheid. […] Vraag dan uw vrienden om hetzelfde te doen. Komen die lijsten overeen? Absoluut niet, dat kan ik u verzekeren.’

De richtlijnen schrijven voor dat rechters op basis van twee factoren een vonnis dienen te vellen: de misdaad en het criminele verleden van de verdachte. De misdaad krijgt, naargelang de ernst, een ‘zwaartecijfer’ tussen 1 en 43. Het criminele verleden van de verdachte bestaat uit het aantal eerdere veroordelingen en de zwaarte van de gepleegde misdrijven. Voor de combinatie van de misdaad en het criminele verleden bieden de richtlijnen dan een relatief smalle strafmarge, waarbij de hoogste straf niet meer dan zes maanden of 25% (indien dat meer is) langer mag zijn dan de laagste. Rechters mogen hier van afwijken als ze verzwarende of verzachtende omstandigheden menen te zien, maar die afwijkingen moeten dan wel bij een beroepsinstantie worden verantwoord.²⁴

Het moge duidelijk zijn dat de richtlijnen ondanks hun verplichte karakter niet in beton zijn gegoten. Ze gaan bij lange na niet zover als Frankel had gewild. Ze bieden rechters behoorlijk wat vrijheid. Toch leverden verschillende onderzoeken, waarbij verschillend te werk werd gegaan en die verschillende periodes onder de loep namen, dezelfde conclusie op: de richtlijnen verminderden de ruis. Of wat technischer gesproken: ze ‘reduceerden de netto variatie in vonnissen die kan worden toegeschreven aan de door de identiteit van de rechter in kwestie gevormde toevalsfactor’.²⁵

Het meest uitgebreide onderzoek naar de effecten ervan werd door de commissie zelf uitgevoerd.²⁶ Ze vergeleek vonnissen voor bankovervallen, cocaïnehandel, heroïnehandel en bankfraude in 1985, voordat de richtlijnen golden, met die tussen 19 januari 1989 en 30 september 1990. De vergelijking vond plaats op basis van de volgens de richtlijnen relevante factoren. Voor alle misdaden was de variatie in strafmaat tussen rechters in de tweede periode kleiner.

Volgens een ander onderzoek²⁷ was het verwachte verschil in strafmaat tussen rechters in 1986-1987 17%, ofwel 4,9 maand. Tussen 1988 en 1993 daalde dat tot 11%, ofwel 3,9 maand. In een onafhankelijk onderzoek dat verschillende periodes besloeg, werd een vergelijkbare vermindering in ‘interrechterlijke variatie’ gevonden, de term die daarin werd gebruikt voor het verschil in gemiddelde strafmaat tussen rechters die een vergelijkbare hoeveelheid zaken afhandelden.²⁸

Ondanks deze resultaten leverden de richtlijnen een stortvloed aan kritiek op. Sommige mensen, onder wie veel rechters, vonden bepaalde strafmaten te zwaar – maar dat ging in feite over bias, en niet over ruis. Een voor ons onderwerp veel interessanter bezwaar dat door veel rechters werd opgeworpen, was dat de richtlijnen zeer onrechtvaardig konden uitpakken, doordat rechters geen rekening meer konden houden met de bijzonderheden van een concrete zaak. Besluiten werden mechanischer genomen; dat was de prijs van het terugbrengen van ruis en dat vond men onacceptabel. Kate Stith, een aan Yale verbonden rechtsgeleerde, en federaal rechter José Cabranes schreven: ‘Er is geen behoefte aan blind oordelen, maar aan inzicht en rechtvaardigheid’ en dat ‘is alleen mogelijk bij een oordeel waarbij de complexiteit van het individuele geval wordt meegewogen’.²⁹

Dit bezwaar leidde tot hevige aanvallen op de richtlijnen, sommige daarvan op juridische gronden, andere vanuit politieke overtuigingen. Ze hadden geen enkel effect totdat de richtlijnen in 2005 door het Hooggerechtshof werden verworpen³⁰ vanwege technische redenen die niets te maken hadden met de ontstane discussie. Daarna hadden de richtlijnen nog slechts de status van een ‘advies’. Het is veelzeggend dat de federale rechters daar veel tevredener mee waren. 75% van hen gaf de voorkeur aan de adviserende functie ervan, terwijl maar 3% het verplichte karakter prefereerde.³¹

Wat zijn de effecten geweest van het afschaffen van de verplichte status? Crystal Yang, hoogleraar rechtsgeleerdheid aan Harvard, heeft die vraag onderzocht, niet met een experiment of een enquête, maar met een enorme dataset concrete vonnissen van bijna 400.000 veroordeelden. Haar belangrijkste conclusie is dat de interrechterlijke variatie, op verschillende wijzen gemeten, na 2005 significant is toegenomen. Toen de richtlijnen nog verplicht waren kregen verdachten die door relatief strenge rechters waren veroordeeld een 2,8 maanden langere straf. Na de afschaffing van het verplichte karakter, werd dat verschil tweemaal zo groot. Bijna als een echo van rechter Frankel veertig jaar eerder schrijft Yang dat haar bevindingen laten zien dat ‘de rechtvaardigheid in het geding is, aangezien de persoon van de rechter die een zaak toegewezen krijgt significant bijdraagt aan de variëteit in de behandeling van vergelijkbare misdadigers die voor dezelfde misdaden worden veroordeeld’.³²

Toen de richtlijnen alleen maar een advies bleven, werd de kans groter dat rechters volgens hun eigen waarden en normen te werk gingen. Verplichte richtlijnen verminderen zowel bias als ruis. Na de beslissing van het Hooggerechtshof was er een significante toename in verschillen tussen vonnissen voor Afro-Amerikaanse en witte verdachten als het om dezelfde misdaden ging. Tegelijkertijd bleken vrouwelijke rechters meer geneigd dan hun mannelijke collega’s hun toegenomen beoordelingsvrijheid in te zetten om tot mildere straffen te komen. Hetzelfde geldt voor rechters die door een Democratische president zijn benoemd.

Drie jaar na Frankels dood in 2002 leidde het kortwieken van de richtlijnen tot de terugkeer naar een toestand die steeds meer op zijn nachtmerrie begon te lijken: recht zonder orde.

Het verhaal van de strijd van rechter Frankel voor strafmaatrichtlijnen laat enkele aspecten zien van het onderwerp van dit boek.

Eén: oordelen is lastig, want de wereld is complex en zit vol onzekerheid. Dit geldt overduidelijk voor de rechtspraak, maar ook voor veel andere gevallen waarin er sprake is van professionele oordeelsvorming. We hebben het dan over beoordelingen door bijvoorbeeld artsen, verplegend personeel, juristen, technici, docenten, architecten, leidinggevenden in de filmindustrie, hoofden personeelszaken, uitgevers, leidinggevenden bij bedrijven, sportcoaches, enzovoort. Verschillen van inzicht zijn onvermijdelijk als er een oordeel wordt geveld.

Twee: de mate van die verschillen is veel groter dan we denken. Weinig mensen zullen bezwaar hebben tegen het principe van beoordelingsvrijheid in de rechtspraak, maar vrijwel iedereen keurt de mate van ongelijkheid af die er het gevolg van is. Ruis in beoordelingen die idealiter identiek zouden moeten uitpakken – de zogenaamde systeemruis – leidt tot grote onrechtvaardigheid, geldverspilling en allerlei soorten fouten.

Drie: ruis kan wel degelijk worden verminderd. De aanpak die Frankel voorstond en die later door de Sentencing Commission werd ingevoerd – regels en richtlijnen – vormt een van de mogelijkheden om ruis met succes aan te pakken. Andere benaderingen zijn beter geschikt voor andere soorten beoordelingen. Sommige manieren om ruis tegen te gaan zorgen tegelijkertijd voor minder bias.

Vier: pogingen om ruis te verminderen leveren vaak bezwaren op en zorgen voor allerlei problemen. Die moeten ook worden aangepakt om te voorkomen dat de strijd tegen ruis mislukt.

Over ruis in vonnissen

‘Experimenten laten grote verschillen zien tussen rechters in de vonnissen in identieke zaken. Dat kan niet eerlijk zijn. De straf die een verdachte opgelegd krijgt, mag niet afhangen van de rechter die de zaak toevallig toegewezen krijgt.’

‘De straf mag niet afhangen van het humeur van de rechters die zich over de zaak buigen, noch van de buitentemperatuur.’

‘Eén manier om dit aan te pakken is het werken met richtlijnen. Maar daar houden veel mensen niet van omdat ze de beoordelingsvrijheid beperken die noodzakelijk kan zijn om rechtvaardigheid en maatwerk te garanderen. En die willen we wel behouden. Want elke zaak is uniek, toch?’

2

Een systeem vol ruis

Onze eigen kennismaking met ruis, waardoor we geïnteresseerd raakten in dit onderwerp, was bij lange na niet zo dramatisch als wat er in het strafrechtsysteem mis kan gaan. Eigenlijk kregen we er bij toeval mee te maken. Het ging om een verzekeringsmaatschappij die het adviesbureau had ingeschakeld waar twee van ons aan waren verbonden.

We zijn ons ervan bewust dat de meeste mensen bij het onderwerp verzekeringen een geeuw waarschijnlijk niet kunnen onderdrukken. Maar wat we ontdekten laat heel fraai zien hoe groot het ruisprobleem kan zijn in een commerciële onderneming die veel geld kan verliezen door aan ruis onderhevige beslissingen te nemen; bovendien wordt duidelijk waardoor dat probleem vaak onopgemerkt blijft en wat eraan kan worden gedaan.

Werknemers van verzekeringsmaatschappijen moeten vaak beslissingen nemen die grote financiële gevolgen kunnen hebben. De leiding van de maatschappij in kwestie probeerde erachter te komen of een poging de consistentie van die beoordelingen te verhogen – en de ruis te verminderen – kans van slagen had. Iedereen was het erover eens dat die consistentie wenselijk is. Iedereen was het er ook over eens dat de beoordelingen nooit voor honderd procent consistent konden zijn: ze hebben immers een informeel karakter en zijn deels subjectief. Een klein beetje ruis is onvermijdelijk.

Over de grootte van het probleem was men het echter niet eens: de leidinggevenden meenden dat ruis in hun onderneming geen belangrijke rol speelde. Maar ze waren zo verstandig om in te stemmen met een simpel experiment dat een en ander aan het licht zou kunnen brengen. Inmiddels noemen we zo’n experiment een ruisonderzoek. De uitkomst leverde niet alleen verbaasde gezichten op, maar bleek ook een perfecte illustratie van het ruisprobleem.

Een loterij die ruis oplevert

In elk bedrijf van enige omvang lopen veel professionals rond die oordelen mogen vellen waar bepaalde consequenties voor dat bedrijf aan zijn verbonden. De verzekeringsmaatschappij waar we het over hebben heeft bijvoorbeeld veel zogenaamde acceptanten in dienst, die offertes opstellen voor de dekking van financiële risico’s. Te denken valt aan een verzekering van een bank tegen verliezen door fraude of oplichting. Er werken ook veel schade-experts, die de kosten van mogelijke claims proberen in te schatten en daadwerkelijk ingediende claims afhandelen.

Op elk groot kantoor van de maatschappij werken een aantal professionele acceptanten. Telkens als er een offerte moet worden gemaakt, wordt er gekeken wie van hen beschikbaar is. Het toeval bepaalt dus welke acceptant de offerte gaat opstellen.

Het concrete bedrag dat daaruit rolt heeft behoorlijke consequenties voor de maatschappij. Een hoge premie is gunstig als de offerte wordt geaccepteerd, maar betekent ook dat de klant naar de concurrent kan stappen. Een lage premie vergroot de kans op acceptatie, maar kan betekenen dat de maatschappij erbij inschiet in het geval van schade, mocht die optreden. Elk risico kent een ideale prijs, die noch te hoog noch te laag is, en er bestaat een gerede kans dat het gemiddelde oordeel van een grote groep professionals behoorlijk in de buurt van die theoretische prijs uitkomt. Is het bedrag hoger of lager dan dat ideale getal, dan kost dat geld – en daar zit de pijn van de variabiliteit van door ruis beïnvloede beoordelingen.

Het werk van schade-experts is ook van groot belang voor de financiële gezondheid van het bedrijf. Stel dat er een claim wordt ingediend namens een werknemer (de ‘eisende partij’) die door een ongeval in een fabriek zijn rechterhand niet meer kan gebruiken. De claim wordt dan in behandeling genomen door de schade-expert die toevallig beschikbaar is – net zoals dat bij het opstellen van een offerte door de acceptant gaat. De expert verzamelt alle relevante gegevens en maakt een schatting van het schadebedrag dat er voor de verzekeringsmaatschappij mee gemoeid zal zijn. Dezelfde expert treedt dan in onderhandeling met de tussenpersoon van de eisende partij, om er enerzijds voor te zorgen dat diegene krijgt wat hem of haar in de polis is beloofd, en anderzijds te voorkomen dat de maatschappij te veel geld uitkeert.

De hoogte van de oorspronkelijke schatting van de expert is belangrijk omdat deze een impliciet doel oplevert dat de expert bij toekomstige onderhandelingen met de eiser moet zien te bereiken. De verzekeringsmaatschappij is daarnaast ook wettelijk verplicht de voorspelde kosten van elke claim in reserve te houden (d.w.z. dat er genoeg geld in kas moet zijn om het bedrag uit te keren). Ook hier is er vanuit het perspectief van het bedrijf sprake van een theoretische ideale waarde. Dat men er samen uitkomt is niet gegeven, want de eiser heeft een advocaat die naar de rechter kan stappen als het aanbod niet bevalt. Daar staat tegenover dat een te ruime reserve de expert te veel ruimte biedt om op al te frivole eisen in te gaan. Het oorspronkelijke oordeel van de expert heeft behoorlijke consequenties voor de maatschappij – en nog meer voor de eisende partij.

Dat we hier het woord loterij hebben gebruikt laat zien hoe groot de rol is van het toeval in de keuze van een bepaalde acceptant of schadeexpert. Normaal gesproken wordt er in het bedrijf altijd maar één professional op een zaak gezet, waardoor het onmogelijk is om erachter te komen wat er zou zijn gebeurd als dat een collega was geweest.

Loten is soms nodig en een loting hoeft niet oneerlijk te zijn. Acceptabele lotingen worden ingezet voor het verdelen van gewilde zaken, zoals collegevakken op sommige universiteiten, of zaken die juist niet gewild zijn, zoals de militaire dienstplicht. Ze dienen een bepaald doel. Maar de beoordelingsloterijen waar we het hier over hebben verdelen niets. Ze leveren alleen maar onzekerheid op. Stelt u zich een verzekeringsmaatschappij voor waarbij de acceptanten ruisloos te werk gaan en steeds optimale premies vaststellen, waarna er een toevalsgenerator in werking treedt die een wijziging aanbrengt in het bedrag dat de klant te zien krijgt. Zo’n loterij heeft duidelijk geen enkele zin. En datzelfde geldt voor een systeem waarin de uitkomst afhangt van de concrete persoon die geheel toevallig wordt aangewezen om een professioneel oordeel te vellen.

Ruisonderzoek legt systeemruis bloot

De loterij die bepaalt welke rechter een strafzaak behandelt of welke schutter namens een team op een doel schiet creëert variabiliteit, maar die variabiliteit blijft onzichtbaar. Met een ruisonderzoek – zoiets als wat we zagen bij federale rechters met betrekking tot de strafmaat – kan de ruis zichtbaar worden gemaakt. In zo’n onderzoek wordt dezelfde zaak door een aantal verschillende personen behandeld, waarmee de variabiliteit in hun benadering aan het licht komt.

De oordelen van acceptanten en schade-experts lenen zich bijzonder goed voor deze exercitie, omdat ze zijn gebaseerd op schriftelijke informatie. Ter voorbereiding op het ruisonderzoek stelden leidinggevenden van de verzekeringsmaatschappij gedetailleerde beschrijvingen op van vijf representatieve zaken voor beide groepen (acceptanten en schadeexperts). Elke werknemer werd verzocht twee of drie zaken af te handelen, waarbij niet werd verteld dat het de bedoeling van het onderzoek was om de variabiliteit in hun oordelen na te gaan.¹

Voordat u nu verder leest, is het aardig als u zelf de volgende vraag eens probeert te beantwoorden: als u in een goedgeorganiseerd bedrijf twee willekeurige professionele acceptanten en schade-experts zou kiezen, in welke mate zouden dan naar uw idee hun schattingen in één en dezelfde zaak uiteenlopen? Wat zou het verschil tussen de twee schattingen zijn, uitgedrukt in een percentage van hun gemiddelde?

We stelden deze vraag aan een groot aantal leidinggevenden van het bedrijf, en in de jaren erna hebben we schattingen van veel verschillende mensen uit verschillende beroepsgroepen weten te krijgen. Verrassend genoeg is één antwoord duidelijk populairder dan alle andere. Volgens de meeste leidinggevenden van de verzekeringsmaatschappij was het 10% of minder. Toen we 828 bestuursvoorzitters en senior executives uit verschillende bedrijfstakken vroegen hoeveel variatie ze in vergelijkbare oordelen van deskundigen verwachtten, vormde ‘10%’ de mediaan van alle antwoorden, en ook het meestgenoemde antwoord (15% stond op de tweede plaats). Een verschil van 10% zou bijvoorbeeld betekenen dat de ene acceptant 9500 dollar als premie zou voorstellen, en de andere 10.500 dollar. Niet bepaald een verwaarloosbaar verschil, maar wel een bedrag dat een organisatie zich waarschijnlijk nog wel kan veroorloven.

Ons ruisonderzoek leverde veel grotere verschillen op. Wij kwamen uit op een verschilmediaan van 55%, ongeveer vijf keer zo groot als de meeste mensen verwachtten, onder wie de leidinggevenden van het bedrijf. Dit houdt bijvoorbeeld in dat als de ene acceptant een premie op 9500 dollar stelt, de andere niet op 10.500 dollar uitkomt, maar op 16.700 dollar. Voor schade-experts was de verschilmediaan 43%. En we hebben het dus over de medianen! In de helft van de vergeleken gevallen was het verschil tussen de twee beoordelingen zelfs nog groter.

De leidinggevenden aan wie we de resultaten van het ruisonderzoek terugkoppelden zagen snel in dat deze enorme hoeveelheid ruis een kostbaar probleem vormde. Een van hen schatte dat de jaarlijkse kosten van ruis bij het opstellen van de offertes – van te goedkope polissen dus – honderden miljoenen dollar bedroegen.

Niemand kon precies aangeven hoe groot de ‘fout’ hier was (of hoeveel bias er was), omdat niemand wist waar de ideale waarde in elke zaak lag. Maar ook al was de roos van de schietschijf niet zichtbaar: de spreiding op de achterkant was prima te meten en die legde een gigantisch probleem bloot. De gegevens lieten zien dat het geldbedrag dat aan een klant wordt gevraagd voor een ongemakkelijk groot deel afhangt van de loterij waarin de betreffende werknemer wordt uitgekozen. Het zal, om het zacht uit te drukken, de klanten niet erg bevallen dat ze zonder er toestemming voor te hebben gegeven, in zo’n loterij meespelen. Algemener gezegd, mensen die met grote organisaties te maken krijgen verwachten een systeem dat op een betrouwbare manier met consistente oordelen komt. Wat ze niet verwachten is systeemruis.

Ongewenste variabiliteit versus gewenste diversiteit

Een kernwoord in deze definitie van systeemruis is ongewenst, en we willen er hier onmiddellijk op wijzen dat variabiliteit in oordelen niet altijd ongewenst is.

Zo is er ook nog zoiets als voorkeur of smaak. Als tien verschillende filmrecensenten dezelfde film bekijken, als tien verschillende wijnproevers dezelfde wijn beoordelen, of als tien verschillende mensen dezelfde roman lezen, verwachten we niet dat ze allemaal dezelfde mening hebben. Een verschil van smaak wordt als iets positiefs gezien; men vindt het zelfs normaal. Niemand wil in een wereld leven waarin iedereen precies dezelfde voorkeuren en afkeren heeft. (Nou ja, bijna niemand.) Maar de keerzijde is dat smaakverschillen mede verantwoordelijk kunnen zijn voor fouten als een persoonlijke smaak wordt verward met een professioneel oordeel. Als een filmproducent het besluit neemt een ongebruikelijk project door te zetten (over bijvoorbeeld de opkomst en ondergang van de kiesschijftelefoon), omdat hij of zij het script persoonlijk erg ziet zitten, kan dit een groot fiasco worden als niemand anders het leuk vindt.

Variabiliteit in oordelen wordt ook verwacht en positief ontvangen in een competitieve situatie waarin de beste beoordelingen worden beloond. Als verschillende bedrijven (of verschillende teams binnen één bedrijf) innovatieve oplossingen proberen aan te dragen voor een bepaald probleem met hun product, hebben we liever niet dat ze allemaal voor dezelfde aanpak kiezen. Dat geldt ook als verschillende onderzoeksteams een wetenschappelijk probleem proberen op te lossen, zoals de ontwikkeling van een vaccin: we juichen het toe als ze het allemaal vanuit een andere invalshoek benaderen. Zelfs trendvoorspellers gedragen zich soms als spelers in een prestatiegerichte omgeving. De analist die een correcte voorspelling deed voor een recessie die niemand anders zag aankomen, zal daarmee naam maken, terwijl zijn collega die nooit van de consensus afwijkt een grijze muis blijft. In dat soort settings is variabiliteit in ideeën en oordelen ook welkom, omdat variatie daarbij niet meer dan een eerste stap is. In een tweede fase gaan deze oordelen de strijd met elkaar aan en komt het beste bovendrijven. In een markt is, net als in de natuur, pas selectie mogelijk als er eerst variatie is.

Bij smaakverschillen en in competitieve omgevingen komen er allerlei interessante oordeelsproblemen naar voren. Maar wij richten ons hier op beoordelingen waarin variabiliteit ongewenst is. Systeemruis is een probleem van ‘systemen’, en daarbij gaat het om organisaties en niet om markten. Als beurshandelaren de waarde van bepaalde aandelen verschillend inschatten, maken sommigen winst en anderen niet. Meningsverschillen creëren markten. Maar als een van die handelaren willekeurig was uitgekozen om die inschatting te maken, en we vervolgens ontdekken dat andere handelaren van hetzelfde bedrijf met heel andere inschattingen aan komen zetten, dan is er systeemruis in dat bedrijf aanwezig en heeft het een probleem.

Een fraaie illustratie hiervan zagen we toen we onze bevindingen voorlegden aan het hogere management van een grote vermogensbeheerder, wat voor hen aanleiding was om zelf een verkennend ruisonderzoek in te stellen. Ze vroegen 42 ervaren investeerders van de firma de reële waarde van een aandelenpakket in te schatten (de prijs die hen noch tot kopen, noch tot verkopen zou aanzetten), gebaseerd op één A4’tje met een beschrijving van het bedrijf, met versimpelde winst- en verliesgegevens, balanswaarden en cashflowgegevens over de afgelopen drie jaar en een voorspelling voor de komende twee jaar. De ruismediaan, op dezelfde manier gemeten als bij de verzekeringsmaatschappij, was 41%. Dergelijke grote verschillen tussen investeerders die van dezelfde waardeschattingmethodes gebruikmaken: dat klinkt niet goed.

Overal waar een beoordelaar willekeurig wordt gekozen uit een groep voor de betreffende taak geschikte individuen, zoals gebeurt bij een vermogensbeheerder, in het strafrechtsysteem en bij de verzekeringsmaatschappij waar we het hierboven over hadden, vormt ruis een probleem. Dat is in veel organisaties het geval: meestal is het een toewijzingsproces op basis van toeval dat bepaalt welke arts u in een ziekenhuis krijgt, welke rechter uw zaak behandelt, welke patentexpert uw aanvraag behandelt, welke werknemer van de klantenservice uw klacht behandelt, enzovoort. Ongewenste variabiliteit in deze oordelen kan ernstige gevolgen hebben, zoals financieel verlies en een onrechtvaardige behandeling.

Een veelvoorkomend misverstand over ongewenste variabiliteit in beoordelingen is dat deze wordt gecompenseerd doordat willekeurige fouten ‘elkaar opheffen’. Het klopt dat positieve en negatieve fouten in een beoordeling van dezelfde zaak elkaar opheffen en we komen nog uitgebreid te spreken over hoe dit kan worden ingezet om ruis te bestrijden. Maar in systemen met ruis is er geen sprake van meerdere beoordelingen in dezelfde zaak. Ze leveren beoordelingen met ruis op in verschillende zaken. Als de ene verzekeringspolis te duur is en de andere te goedkoop, mag de prijs gemiddeld in orde lijken, toch heeft de verzekeringsmaatschappij dan twee kostbare fouten gemaakt. Als twee misdadigers die elk vijf jaar gevangenisstraf zouden moeten krijgen tot respectievelijk drie en zeven jaar worden veroordeeld, is er niet gemiddeld recht gedaan. In systemen met ruis heffen fouten elkaar niet op. Ze stapelen zich op.

De illusie van overeenstemming

Een grote literatuurstudie van een paar decennia terug wees al op ruis in professionele beoordelingen. We kenden deze studie, dus het resultaat van het ruisonderzoek bij de verzekeringsmaatschappij verbaasde ons niet. Wat ons wel verbaasde was de reactie van de leidinggevenden aan wie we onze bevindingen terugkoppelden: niemand in het bedrijf had verwacht dat we zo’n hoeveelheid ruis zouden vinden. Niemand zette vraagtekens bij de validiteit van het onderzoek en niemand beweerde dat de hoeveelheid gevonden ruis acceptabel was. Toch leek het alsof de ruis en de daarmee gepaard gaande kosten een nieuw probleem vormde in het bedrijf. Het was net zoiets als lekkage in de kelder. Men deed er niets aan – niet omdat men het acceptabel vond, maar omdat men het niet in de gaten had.

Hoe was dat mogelijk? Hoe konden professionals in dezelfde rol en op hetzelfde kantoor zo verschillend te werk gaan zonder dat ze het in de gaten hadden? Hoe was het mogelijk dat leidinggevenden iets waarvan ze op zich heel goed begrepen dat het een grote bedreiging vormde voor de prestaties en de reputatie van hun bedrijf simpelweg niet hadden gezien? We ontdekten dat het probleem van systeemruis in organisaties vaak niet wordt opgemerkt en dat de wijdverbreide ‘blindheid’ ervoor minstens zo interessant is als het verschijnsel zelf. De ruisonderzoeken leken erop te wijzen dat gerespecteerde professionals – plus de organisaties die ze in dienst hebben – een illusie van overeenstemming in stand houden, terwijl er wat hun dagelijkse beoordelingen betreft vaak helemaal geen overeenstemming is.

Probeer om dit te begrijpen eens in de schoenen te gaan staan van een acceptant op een normale werkdag. U hebt ruim vijf jaar ervaring, u weet dat uw collega’s u respecteren en u bent op uw beurt ook bijzonder over uw collega’s te spreken. U weet dat u uw vak verstaat. U heb de complexe risico’s van een financiële firma uitgebreid geanalyseerd en bent uitgekomen op een premie van 200.000 dollar. Het probleem is complex, maar verschilt niet veel van de problemen waar u zich op andere werkdagen over moet buigen.

Maar stelt u zich nu voor dat u te horen krijgt dat uw collega’s op het kantoor dezelfde informatie hebben gekregen en dezelfde risico-analyse hebben uitgevoerd. Zou u kunnen geloven dat de helft van hen, of zelfs nog meer, een premie hebben vastgesteld die ofwel hoger is dan 255.000 dollar ofwel lager 145.000? Vast niet. We vermoeden dan ook dat de acceptanten die over het ruisonderzoek hebben gehoord en wilden aannemen dat het valide was, nooit werkelijk hebben geloofd dat de conclusies ervan ook voor henzelf golden.

De meesten van ons geloven er vrijwel altijd onvoorwaardelijk in dat de wereld ons voorkomt zoals ze werkelijk is. Het is dan maar een klein stapje naar het idee dat ‘andere mensen de wereld net zo zien als ik’. Dit idee, dat wel het naïef realisme wordt genoemd, is essentieel voor het werkelijkheidsgevoel dat we met andere mensen menen te delen. We zetten er zelden vraagtekens bij.² We houden het doorgaans bij één interpretatie van de wereld om ons heen, en normaal gesproken doen we weinig moeite om er aannemelijke alternatieven voor te verzinnen. Eén interpretatie volstaat, en die ervaren we als de waarheid. In ons dagelijks leven zijn we niet bezig met alternatieve manieren om te zien wat we al zien.

In het geval van professionele oordeelsvorming wordt het idee dat anderen de wereld ongeveer net zo zien als wij, dagelijks op allerlei manieren bevestigd. Zo delen we een gemeenschappelijke taal met onze collega’s, en ook een stelsel van algemene regels over waar we bij het nemen van een besluit allemaal op moeten letten. Als er oordelen tot stand zijn gekomen waarbij deze regels niet zijn gevolgd, vinden we dat absurd – geruststellend genoeg net als onze collega’s. En als we al eens met collega’s van mening verschillen, zien we dat als een fout in hún beoordelingsvermogen. We zijn nauwelijks in de gelegenheid om in te zien dat de gezamenlijk als correct ervaren regels eigenlijk vaag zijn: wel bruikbaar om bepaalde mogelijkheden uit te sluiten maar niet afdoende om in een concreet geval tot een gedeelde en eenduidige respons te komen. We kunnen prima samenwerken met collega’s zonder ooit te merken dat ze de wereld níét net zo zien als wij.

Een door ons geïnterviewde acceptant beschreef hoe ze een ouwe rot in het vak was geworden: ‘Toen ik net begon, besprak ik wel driekwart van alle zaken met mijn supervisor […] na een paar jaar was dat niet meer nodig – ik word nu als een expert beschouwd. […] Door de jaren heen kreeg ik steeds meer vertrouwen in mijn eigen oordeel.’ Net als zovelen van ons had deze vrouw steeds meer vertrouwen in haar beslissingen gekregen door het simpele feit dat ze ze had genomen.

De psychologie van dit proces is bekend. Iemands zelfvertrouwen neemt toe door de subjectieve ervaring van het steeds sneller en makkelijker kunnen oordelen, deels doordat de beslissingen lijken op die in vergelijkbare zaken uit het verleden. In de loop der tijd leerde deze acceptant om het eens te zijn met haar vroegere zelf, waardoor haar vertrouwen in haar eigen oordelen toenam. Ze wekte niet de indruk dat ze – na de periode waarin ze het vak moest leren – had geleerd om haar werk met anderen af te stemmen en om na te gaan in hoeverre ze anders te werk ging dan haar collega’s; ze leek zelfs geen poging te hebben gedaan om te voorkomen dat haar benadering uit de pas ging lopen met die van haar collega’s.

In het geval van de verzekeringsmaatschappij was er een ruisonderzoek voor nodig om de illusie van overeenstemming in rook op te laten gaan. Hoe kon het dat de leiding van de verzekeringsmaatschappij niet in de gaten had dat deze ruis bestond? Er zijn hier verschillende antwoorden mogelijk, maar wat in veel gevallen een grote rol speelt is dat het gewoon niet prettig is om van mening te verschillen. De meeste organisaties prefereren consensus en harmonie boven meningsverschillen en conflict. De geldende procedures lijken er vaak speciaal op te zijn gericht om verschillen van mening te minimaliseren en om ze, mochten ze toch optreden, glad te strijken.

Nathan Kuncel, hoogleraar psychologie aan de University of Minnesota en toonaangevend onderzoeker op het gebied van het voorspellen van prestaties, vertelde ons een verhaal dat dit probleem illustreert. Kuncel hielp het aanmeldingsbureau van een school bij het analyseren van hun beslissingsproces. In dat proces moest iemand de aanmeldingsformulieren lezen en er een score aan geven, waarna de formulieren met score en al naar een tweede persoon ging, die er ook een score aan gaf. Kuncel zei toen – om redenen die in dit boek duidelijk worden – dat het beter zou zijn de score van de eerste beoordelaar af te dekken, om te voorkomen dat de tweede beoordelaar erdoor werd beïnvloed. Het antwoord van de school luidde: ‘Dat deden we vroeger ook, maar dat leverde zoveel meningsverschillen op dat we op het huidige systeem zijn overgestapt.’ Dit is niet de enige organisatie waarin conflictvermijding minstens even belangrijk is als het nemen van de juiste beslissing.

Laten we eens kijken naar een ander mechanisme waar veel bedrijven hun toevlucht toe nemen: de evaluatie van een verkeerd uitgepakte beoordeling. Dergelijke evaluaties zijn nuttig omdat ze leerzaam zijn. Maar als er echt een grote fout is gemaakt, in de zin dat een oordeel enorm afweek van de professionele norm, zal het niet moeilijk zijn de vinger op de zere plek te leggen. Experts zullen snel concluderen dat de beoordeling bij lange na niet in de buurt van de consensus kwam. (Ze kunnen de zaak ook afdoen als een zeldzame uitzondering.) Een slecht oordeel is veel makkelijker te benoemen dan een goed oordeel. Het van de daken schreeuwen van gigantische missers en het uitrangeren van een slechte collega helpt professionals niet om zich ervan bewust te worden hoezeer ze van mening verschillen bij het maken van voor iedereen ogenschijnlijk acceptabele inschattingen. Integendeel, de snelle consensus over een slecht oordeel kan de illusie van overeenstemming zelfs versterken! De eigenlijke les, dat systeemruis overal aanwezig is, wordt in dat geval nooit geleerd.

We hopen dat u het met ons eens begint te worden dat systeemruis een ernstig probleem is. Het is geen verrassing dat systeemruis bestaat. Ruis is een consequentie van de informele aard van oordeelsvorming. Desondanks is het steeds opnieuw zo, en dat zullen we ook in dit boek zien, dat de hoeveelheid ruis die wordt aangetroffen als een organisatie er serieus onderzoek naar doet, vrijwel altijd een grote schok veroorzaakt. Onze conclusie is simpel: bij elk oordeel is sprake van ruis – en meer dan u denkt.

Over systeemruis bij de verzekeringsmaatschappij

‘We vertrouwen op de kwaliteit van professionele beoordelingen door acceptanten, schade-experts en anderen. Een zaak komt bij een van de experts terecht, waarbij we er ten onrechte van uitgaan dat een andere expert tot hetzelfde oordeel zou komen.’

‘De systeemruis is vijfmaal zo groot als we hadden gedacht – of als we ons kunnen veroorloven. Zonder ruisonderzoek zouden we ons dat nooit hebben gerealiseerd. Het ruisonderzoek heeft de illusie van overeenstemming met de grond gelijkgemaakt.’

‘Systeemruis is een groot probleem: de kosten lopen voor ons in de honderden miljoenen.’

‘Bij elk oordeel is sprake van ruis – en meer dan we denken.’