Longread - Uit onbetrouwbare bron

Op Google, Facebook en Twitter verschijnen steeds vaker nepberichten en documenten die zijn vervalst. Vooral nu steeds meer mensen Facebook als hun belangrijkste nieuwsbron zien, is sprake van een zorgwekkende ontwikkeling waarbij misinformatie is verpakt als feit. Waarbij websites de indruk wekken objectief te zijn, maar die tot doel hebben de bezoeker op het verkeerde been te zetten. Steeds vaker worden in berichten onbetrouwbare data, halve waarheden en leugens gebruikt. Maar hoe maak je het onderscheid tussen feit en fictie? Wat is waar en wat is niet waar? Welke bron is te vertrouwen en welke niet? Wanneer is sprake van kennis en wanneer is sprake van een mening? Wie is nog te vertrouwen als zelfs kranten, wetenschappers en de overheid het wel eens mis hebben of nepnieuws de wereld in slingeren of zonder controle overnemen ?

Misleidende informatie

Na zijn bestseller Een opgeruimde geest heeft de Amerikaanse psycholoog en neurowetenschapper Daniel Levitin met Uit onbetrouwbare bron de basis gelegd voor wat opnieuw een bestseller zou kunnen worden. In zijn nieuwste boek, met als ondertitel heeft 'De veldgids om leugens, manipulaties en misvattingen te doorzien', leert Levitin ons misleidende informatie te herkennen door te onthullen hoe soms opzettelijk misbruik wordt gemaakt van statistiek, psychologie en logica. Dit boek laat je zien hoe gemakkelijk het is om, soms op een geraffineerde manier, zaken mooier voor te stellen dan ze zijn of zelfs ronduit te liegen. In drie delen geeft Levitin in een heldere en toegankelijke schrijfstijl de lezer inzicht hoe we leugenaars kunnen ontmaskeren en hoe we voorkomen dat we onszelf misleiden door te snel iets als 'feit' te accepteren. Het is een zeer indrukwekkend en actueel boek. Het eerste deel gaat er over hoe je 'getallen' moet beoordelen. Het tweede deel gaat over hoe je 'woorden' moet beoordelen. En het derde deel gaat over hoe je de 'wereld' moet beoordelen.

Aannemelijkheidstest

Kritisch denken is volgens Levitin niet dat we alles afwijzen. Het betekent dat we proberen onderscheid te maken tussen beweringen met en beweringen zonder bewijzen. Logisch en zorgvuldig nadenken is daarvoor een vereiste. We zullen moeten erkennen dat er een hiërarchie is in de kwaliteit van bronnen, dat we onderscheid kunnen maken tussen pseudofeiten en feiten en dat we moeten opletten hoe vooroordelen de informatie die we aangeboden krijgen kunnen vervormen waardoor we onjuiste conclusies trekken. Statistieken zijn geen feiten, zegt Levitin. Statistieken zijn interpretaties van de werkelijkheid. Door de manier waarop getallen worden verzameld, hoe ze worden geïnterpreteerd en hoe ze grafisch worden vormgegeven, kan de lezer al meteen op het verkeerde been worden gezet. De eerste les die Levitin ons leert om niet te snel de aannemelijkheid van getallen te accepteren. Onderzoek de getallen eerst met een snelle aannemelijkheidstest. Een mooi voorbeeld dat Levitin noemt is de uitspraak dat in de vijfendertig jaar dat Californië de marihuanawetten niet meer worden gehandhaafd, het aantal marihuanarokers elk jaar is verdubbeld. Deze bewering is, zo toont hij aan, niet alleen niet aannemelijk, maar ook onmogelijk. Probeer het zelf maar eens uit. Als je het getal elk jaar verdubbelt, kom je uit op meer dan 17 miljard mensen. Meer dan de hele wereldbevolking.

Beoordelingsfouten

Tal van redeneringsfouten zijn volgens Levitin te ontdekken als we even een stap terugdoen en proberen logisch na te denken. Als we dat doen dan zien we tal van fouten die worden gemaakt. Zoals het niet maken van onderscheid tussen procenten en procentpunten. Vaak worden ook fouten gemaakt door niet dezelfde uitgangswaarde, dezelfde basis te nemen voor een berekening. Ook wordt soms geen onderscheid gemaakt tussen een gemiddelde, de mediaan en de modus. Vooral oppervlakkige lezers die niet al te veel weten van kritisch denken, worden door statistieken en grafieken vaak misleid. Zo zeggen (landelijke) gemiddelden vaak niks over de situatie in een bepaalde gemeente of wijk. En wanneer gemiddelden worden gebruikt voor verschillende populaties kan je ook worden misleid. Zo komt het gemiddelde kind meestal niet uit het gemiddelde gezin. Het is vooral het goed lezende eerste deel dat de statistisch ongeletterde een goede basis geeft in wat je minimaal moet weten over statistiek om ecologische fouten en overgeneralisaties te kunnen herkennen. Het gaat over de veranderende baseline, het beoordelen van steekproeven, bedrieglijke assen, misleidende grafieken en illustraties, betrouwbaarheidsintervallen, meetfouten en soorten van kansberekening.

Vaccinatie en autisme

Het boek is opmerkelijk actueel. Net nu opnieuw in Nederland een discussie is losgebarsten over het nut van het wel of niet inenten van kinderen van 0 tot 19 jaar tegen infectieziekten. Hoewel de deelname aan het vaccinatieprogramma in Nederland nog steeds erg hoog is (92 tot 99 procent, afhankelijk van het vaccin), is de deelname van pasgeborenen voor het tweede jaar op rij met 0,5 procent gedaald. Een van de oorzaken van de daling is dat ouders via internet allerlei verhalen en de wildste geruchten lezen over negatieve gevolgen van inenting. Sommigen denken dat ze met de prik tegen bof, mazelen en rodehond (BMR) onnatuurlijk gif in hun kind spuiten. Anderen hebben gehoord dat je van een dergelijk vaccin autisme kan krijgen. De hele controverse over autisme door inenting tegen bof, mazelen en rodehond, is volgens Levitin aangezwengeld door Andrew Wakefield. Wakefield schreef in 1998 een artikel waarin hij beweerde dat er een verband bestaat. Het maakte evenwel gebruik van vervalste data. Maar pas na zes jaar werd het artikel herroepen en zijn medische bevoegdheid ingetrokken. Wakefield was een chirurg en geen deskundige op het gebied van epidemiologie, toxicologie, genetica, neurologie of een andere specialisatie die hem tot deskundige op het gebied van autisme maakte. Het hele verhaal van autisme en vaccinatie kent volgens Levitin vier valkuilen die te maken hebben met (niet) kritisch denken. Zo worden er ten eerste denkbeeldige correlaties gelegd en worden alternatieve verklaringen genegeerd. Ten tweede worden, wanneer een chirurg een uitspraak doet, consumenten verleid door associatie: als een arts het zegt, dan zal het wel kloppen. Ten derde blijven mensen in een eenmaal gepubliceerd verband geloven, ook nadat jaren later bleek dat het bewijs ongeldig was (belief perseverance). En ten vierde wordt er een verkeerde gevolgtrekking getrokken: als het aantal gevallen van autisme is toegenomen na het invoeren van het vaccinatieprogramma, dan moet het autisme wel door het vaccinatieprogramma zijn veroorzaakt.

Drie soorten kansberekening

Klassieke kansberekening, zegt Levitin, is gebaseerd op het idee van symmetrie en gelijke kansen. Zo heeft een dobbelsteen zes kanten, een munt twee kanten en een roulette in de VS achtendertig vakjes en in Europa zevenendertig vakjes. Hierdoor is elke kans even waarschijnlijk. Een tweede soort kansberekening gebruiken we als we in het dagelijks leven willen weten hoe groot een kans is dat bepaalde dingen gebeuren. Zoals de kans dat een bepaald medicijn zal werken voor een bepaalde patiënt. Of wanneer consumenten de voorkeur zullen geven aan het ene bier boven het andere. In dit geval moeten we de parameters schatten. Om een dergelijke waarschijnlijkheid of kans vast te stellen doen we waarnemingen of onderzoek waarbij we het resultaat gaan tellen. Dit wordt frequentistische kansberekening genoemd. Er is echter nog een derde soort, de Bayesiaanse kansberekening, zo zegt Levitin. Dit type kansberekening drukt een mening uit of een bepaalde mate van geloof ten aanzien van de kans dat een bepaalde gebeurtenis zal voordoen. Het stelt ons in staat objectieve kansen te combineren met persoonlijke, subjectieve waarnemingen.

Voorwaardelijke kans

Bij het beoordelen van statistische informatie word je vaak misleid doordat naar de hele groep willekeurige mensen wordt gekeken, terwijl je eigenlijk naar een subgroep zou moeten kijken. Hoe groot is de kans dat je longontsteking hebt? Niet zo groot. Maar als we meer over jou en je situatie weten, kan de kans groter of kleiner worden. Dit wordt 'voorwaardelijke kans' genoemd. Het negeren van de afhankelijkheid van een gebeurtenis (het negeren van onafhankelijkheid) kan in de juridische of medische wereld ernstige gevolgen hebben. Als voorbeeld noemt Levitin het voorbeeld van Sally Clark, een vrouw uit Essex die terechtstond voor moord op haar tweede kind. Haar eerste kind was overleden en toegeschreven aan wiegendood. De aanklagers beweerden dat de kans dat iemand twee kinderen krijgt die aan wiegendood overlijden zo klein is dat ze haar tweede kind wel moet hebben vermoord. Op basis van een statistische berekening van een kinderarts die geen deskundige was op het gebied van statistiek of epidemiologie en die de kans dat een wiegendood twee keer in hetzelfde gezin voorkomt als 1:73 miljoen betitelde, werd de vrouw veroordeeld. Andere omgevingsfactoren werden genegeerd. Uiteindelijk vond haar man in het ziekenhuisarchief bewijs dat de dood van de baby een microbiologische oorzaak had. De vrouw werd vrijgesproken, maar pas nadat ze drie jaar in de gevangenis had gezeten.

Visualiseren van voorwaardelijke kansen

De meeste mensen vinden het moeilijk om kansen en statistieken te doorgronden en de subtiele patronen in complexe cijfertabellen te ontdekken. Ons brein is er ook niet voor toegerust. Niet alleen patiënten, maar ook artsen, advocaten en rechters nemen door een verkeerde toepassing van de voorwaardelijke kansberekening ernstige fouten. Mensen zijn naar de gevangenis gestuurd terwijl ze onschuldig waren. Patiënten en artsen namen verkeerde beslissingen om te opereren. Alleen door bij voorwaardelijke kansen de getallen op een rijtje te zetten in een kruistabel, is het volgens Levitin mogelijk om een berekening en een goede schatting te maken. En je op deze wijze in staat te stellen de verschillende onderdelen van een probleem te kwantificeren en je te helpen rationelere op bewijzen gefundeerde beslissingen te nemen. Levitin laat in verschillende voorbeelden zien hoe dit werkt. Een afschuwelijk voorbeeld gaat over een chirurg die negentig vrouwen overhaalde om hun gezonde borsten te laten verwijderen als ze tot een risicogroep behoorden. Hij had namelijk opgemerkt dat 93 procent van de gevallen van borstkanker voorkwam bij vrouwen die tot de risicogroep behoorden. In zijn berekening was de chirurg evenwel vergeten dat er ook vrouwen zijn, zelfs een veel grotere groep, die tot de risicogroep behoren en geen borstkanker krijgen. Neem je ook deze groep in de beschouwingen mee, dan is de kans dat een vrouw kanker heeft, gegeven het feit dat ze tot de risicogroep behoort, niet 93 procent, maar 13 procent. Wat een verschil!

Verkeerde toepassing

Niet alleen in ziekenhuizen en door medische wetenschappers wordt de voorwaardelijke kansrekening verkeerd toegepast. Ook in veel rechtszaken draait het volgens Levitin om een verkeerde toepassing. Zo kan een forensische expert correct berekenen dat de kans dat het gevonden bloed op een plaats delict bij toeval overeenkomt met de bloedgroep van de verdachte slechts 1 procent is. Dit is volgens Levitin echter absoluut niet hetzelfde als zeggen dat de kans dat de verdachte onschuldig is 1 procent is. De forensische expert vertelt ons wat de kans is dat het bloed overeenkomt gegeven het feit dat de verdachte onschuldig is. Of in gewone mensentaal: de kans dat we een match vinden als de verdachte in feite onschuldig is. Veel onschuldige burgers zij als gevolg van dit misverstand naar de gevangenis gestuurd. Opnieuw is het boek van Levitin weer opvallend actueel. Juist op moment dat ik deze recensie schrijf komt het boek Onschuldig vast van Ton Derksen, emeritus hoogleraar wetenschapsfilosofie uit. Derksen, expert op het gebied van waarschijnlijkheidstheorie, komt in het boek tot de conclusie dat bij veelplegers het percentage foute veroordelingen tussen de 4 en 7 procent is. Bij grootplegers (moord, verkrachting) ligt het percentage tussen de 7 en 15 procent. En onder levenslang gestraften is het foutpercentage minimaal 11 procent, maar kan mogelijk ook 17 procent zijn. Een van de fouten die tot onterechte veroordelingen leidt, is volgens Derksen het verkeerd begrijpen van waarschijnlijkheids-verhoudingen.

Kritisch denken

Een van de angsten die de moderne mens moet zien te overwinnen, is de angst voor getallen en het onbekende. Het is deze angst die veel mensen weerhoudt statistieken te analyseren, hen weerhoudt om zorgvuldig naar cijfers in een grafiek te kijken, naar de labels van assen en het verhaal dat ze vertellen. Mensen die zich in de luren laten leggen hebben meestal weinig inzicht in kansberekening, oorzaak en gevolg en de rol van willekeur bij het ontvouwen van gebeurtenissen. Het is niets anders dan een slordige manier van denken en het verkeerd interpreteren van aanwijzingen. Logisch, kritisch denken, het stellen van vragen, het zoeken naar verbanden die op het eerste oog verborgen zijn, dat zal wel eens een van de belangrijkste vaardigheden in het digitale tijdperk dienen te worden. Hoe beoordeel je een bron? Wat is een mening, een veronderstelling, een feit? Hoe herken je argumenten? Wat zijn onjuiste bekenden? Hoe kan ik onbekende onbekenden op het spoor komen? Wanneer is een onderzoek betrouwbaar? Wat is een feitelijke onderbouwing? Wanneer is iets aannemelijk, waarschijnlijk of redelijk? Op welke manier kan ik door middel van deductie, inductie en abductie de werkelijkheid leren kennen? Met Uit onbetrouwbare bron heeft Levitin opnieuw een helder en toegankelijk boek geschreven. Een boek dat je aan het denken zet om foute redeneringen op te sporen en ons te leren wat we niet weten.

Dave van Ooijen studeerde tussen 1979 en 1985 sociologie en politicologie aan de Universiteit van Amsterdam. Hij studeerde twee keer 'cum laude' af; bij de vakgroep Toegepaste Sociologie en de vakgroep Internationale Betrekkingen. Van 1979 tot 2014 was hij werkzaam bij Vereniging Milieudefensie, de gemeente Amsterdam, Nicis Institute en Platform31. Vanaf maart  2014 is hij raadslid/fractievoorzitter voor de PvdA in de gemeente Castricum. Sinds 1 juli 2017 is hij strategisch adviseur bij de gemeente Den Haag op het gebied van sociale zaken en werkgelegenheid. Zijn blogs, artikelen en recensies verschijnen (op persoonlijke titel) onder meer op zijn website.