Weapons of Math Destruction - De valse beloften van algoritmes

In haar reeds een paar jaar geleden uitgegeven, maar nog steeds bijzonder actuele boek Weapons of Math Destruction geeft Cathy O’Neil aan wat er precies mis is met het eigentijdse gegoochel met algoritmes. Zij verwijst onder meer naar het treurige verhaal van een 31-jarige lerares aan een school in Washington DC. De lerares was geliefd bij ouders, kinderen en schoolleiding. ‘Het is een genot om een klaslokaal binnen te lopen waarin goed onderwijs, gemotiveerde leerlingen en een positieve leeromgeving zo effectief worden gecombineerd,’ schreef haar meerdere bij haar evaluatie in mei 2011. Twee maanden later werd ze echter ontslagen. De reden voor deze onverwachte wending: een complex wiskundig model dat meet wat het aandeel van een leerkracht is in de testresultaten van de kinderen had uitgewezen dat de lerares zwaar onvoldoende scoorde. Wat heet, op de scorelijst figureerde zij bij de slechtste 2 procent van alle leerkrachten. Die ranglijst en het daaraan ten grondslag liggende wiskundige model was door de regering-Obama bedacht om het onderwijs met behulp van big data te verbeteren. Als leerlingen niet voldoende voortgang lieten zien, moesten de docenten weg. Honderden leerkrachten zijn op deze manier ontslagen. Op vragen van de lerares over het model en de aard van de gehanteerde algoritmes, werd door de betreffende instanties afwijzend gereageerd. ‘Dat wil je niet weten’, zei men, ‘dat is wiskunde’. Het voorval trok de aandacht van de auteur die het er niet bij liet zitten. Uiteindelijk liep ook zij stuk in haar pogingen om meer openheid te krijgen. De denktank die verantwoordelijk was voor het model beschikte over een licentieovereenkomst waarin stond dat niemand die code mag inzien.

Het bovenstaande en vele andere voorbeelden hebben de auteur doen inzien dat er iets fundamenteel fout is met de manier waarop wij onze levens door geheimzinnige algoritmes laten bepalen. Aanvankelijk was zij zich niet bewust van de negatieve impact van wiskundige modellen. Als medewerker bij een prominent beleggingsfonds beschouwde zij het spelen met data als een sexy en opwindende bezigheid. Totdat de financiële crash van 2008 uitbrak. Die liet zien dat de wiskundige modellen minder onschuldig waren dan zij eruitzagen. Sterker nog, zij bleken in staat te zijn om de levens van miljoenen mensen te verwoesten. Vanaf dat moment veranderde de auteur van een wiskundige nerd in een ‘data-scepticus’. Zij richt haar pijlen vooral op wiskundige modellen die niet alleen een steeds grotere impact krijgen op de financiële wereld, maar ook op het leven van gewone mensen – met name de zwakkeren in de maatschappij. ‘Wiskundevernietigingsmiddelen’ noemt ze die geheime modellen. Het gaat om algoritmes waarmee je kunt berekenen of iemand een goede werknemer, een eerzaam burger of een potentiële belastingontduiker zal zijn Het zijn modellen die bijna niemand kent en waartegen al helemaal niemand iets durft te ondernemen. Ze zijn immers gebaseerd op ‘objectieve’ feiten en wiskunde, die maar door weinigen worden begrepen. Mensen worden aangespoord om blind op wiskunde te vertrouwen. Maar daar gaat het mis. Bedrijven en instanties maken immers makkelijk misbruik van dat vertrouwen. Algoritmes worden gepresenteerd als een eigentijds soort magie. Maar in werkelijkheid zijn ze vanuit bepaalde vooronderstellingen en met specifieke doelen voor ogen door mensen bedacht. Bovendien leidt het bezit en gebruik van data tot en nieuw soort, geheimzinnige macht. Tot welke uitwassen dit kan leiden, hebben de perikelen rond Facebook aangetoond.

Het klinkt wellicht wat ingewikkeld en zwaar, maar dat is slechts schijn. De auteur slaagt erin om de werking en effecten van algoritmes op heldere manier te beschrijven. Bovendien is het boek vlot geschreven en zijn de gehanteerde voorbeelden zo aansprekend, dat je het in een adem uitleest. Een minpunt, dat je wel vaker bij kritische beschouwingen over technologie tegenkomt: het boek is sterker in het analyseren van wat er fout is dan in het bieden van adequate oplossingen. Veel verder dan een grotere bewustwording van het probleem en een hippocratische eed voor programmeurs komt de auteur niet. Ook is het boek vooral gefocust op de situatie in de Verenigde Staten. Wat bij mij de vraag opriep of wij in Europa beter bewapend zijn tegen de vernietigende werking van algoritmes.