Meten is weten, hoor je vaak zeggen en dat is niet aan dovemans oren besteed. Hoe goed het met ons gaat, hoe slecht het met ons gaat, hoe goed onze ziekenhuizen en scholen zijn, hoe onze kinderen het op school doen, hoe veilig of onveilig het op straat is en hoe gelukkig we zijn, alles wordt uitgedrukt in cijfers die worden vertaald in kekke statistieken en staaf- en taartdiagrammen.
Daar heeft VU-docent accounting Berend van der Kolk grote moeite mee. “Meten is geen neutrale manier om informatie te vergaren, je verandert er de werkelijkheid mee en hoe we die ervaren”, zegt hij. “Als je bijvoorbeeld de productiviteit van je werknemers gaat meten, verander je ook hun gedrag, hoe ze naar kwaliteit kijken, wat ze belangrijk vinden en wat niet. En je verbergt er een stuk werkelijkheid mee, dingen die niet gemakkelijk zijn te kwantificeren. Hoe meet je bijvoorbeeld kwaliteit of geluk? Onderzoekers vragen mensen dat met een cijfer uit te drukken. “Dan geef je bijvoorbeeld een zeven. Maar wat betekent dat? En betekent een zeven voor jou wel hetzelfde als voor mij?”
‘Hoe meet je bijvoorbeeld kwaliteit of geluk?’
Van der Kolk schreef daarom het boek De meetmaatschappij waarin hij veel voorbeelden geeft van wat er mis kan gaan door ons meetfetisjisme. Bijvoorbeeld een ziekenhuis dat complexe medische ingrepen vermijdt omdat die een negatieve invloed hebben op de gemeten patiënttevredenheid, universiteiten die hun medewerkers onder druk zetten om hoog op de internationale ranglijsten te komen, waardoor ze overwerkt raken, slordig worden of zelfs gaan frauderen.
Kostenefficiënt werken
Meten maakt dus meer kapot dan je lief is. Van der Kolk spreekt in zijn boek zelfs van ‘weapons of math destruction’, in navolging van algoritme-expert Cathy O’Neil. Beoordelingen op basis van metingen kwamen in de jaren tachtig in zwang, toen de wijsheid ging gelden dat publieke organisaties zich aan het bedrijfsleven moesten spiegelen. New Public Management heette dat. Het ging erom kostenefficiënt te werken. Dus in ziekenhuizen bepaalden niet langer medische experts maar financiële experts welke ingreep een patiënt nodig had. Gemeenteambtenaren werden beoordeeld op het aantal mensen dat ze hielpen, dus de moeilijke gevallen werden doorgeschoven, universiteiten worden gefinancierd aan de hand van het aantal uitgereikte diploma’s en doctoraten: de beruchte perverse prikkel.
‘Mensen gaan zich gedragen naar de controledrift van hun leidinggevenden’
“Managers hopen problemen te bestrijden door te gaan meten, maar daarmee creëren ze weer nieuwe problemen”, aldus Van der Kolk. “Mensen gaan zich gedragen naar de controledrift van hun leidinggevenden, en daar kunnen rare dingen van komen. Universiteiten zien nu bijvoorbeeld in dat er veel problemen ontstaan doordat onderzoekers voornamelijk worden afgerekend op het aantal wetenschappelijke publicaties in zogeheten A-tijdschriften. Maar dat los je niet alleen op door een paar extra indicatoren toe te voegen. Stel dat men besluit dat maatschappelijke impact een belangrijke meetfactor wordt. Dan moet je dat kwantificeren, bijvoorbeeld door naar het aantal tv-optredens van een medewerker te kijken. Dan gaat iedereen proberen om drie keer per maand op televisie te komen. Maar willen we wel dat iedereen zich dáár dan ineens op stort?”
‘Is een opleiding goed als je er makkelijk een baan mee krijgt?’
“Of neem de kwaliteit van universitaire opleidingen. Als je dat gaat beoordelen op basis van de kansen van studenten op de arbeidsmarkt, dan is een opleiding ‘goed’ als je er makkelijk een baan mee krijgt. Maar dan verlies je uit het oog dat de universiteit ook een plek is waar we met z’n allen samenwerken aan de verdieping van kennis in dienst van de samenleving. Dat is misschien niet makkelijk meetbaar, maar daarom zeker niet minder belangrijk.”
Retorische truc
Meten is niet alleen maar negatief, natuurlijk. Van der Kolk haalt de Zweedse arts en statisticus Hans Rosling aan: “Die zei dat we de wereld niet kunnen begrijpen zonder cijfers, maar dat we die ook niet kunnen begrijpen met cijfers alleen. Zelf hou ik me natuurlijk ook bezig met kwantitatieve metingen. Statistiek is een handig hulpmiddel. Alleen moet je je daar voortdurend bewust van zijn, dat het een hulpmiddel is, met beperkingen. Daarom bestaat mijn onderzoek naar prestatiemeting voor pakweg de helft ook uit kwalitatief onderzoek waarin ik in gesprek ga met medewerkers en afdelingshoofden.”
‘Statistiek is een handig hulpmiddel mét beperkingen’
Cijfers en statistieken zijn dus nuttig, maar ze worden volgens Van der Kolk ook soms ingezet als retorische truc. “Je kunt jezelf er makkelijk mee neerzetten als autoriteit op allerlei gebied. In de debat strooi je met wat statistieken en als de ander daar dan niet net zoiets tegenover zet, ben jij de heerser van het debat. Maar vaak ontdek je, als je op de cijfers inzoomt, dat er een heleboel niet bekend is. Dat de boel veel complexer is en dat schijnbaar schone statistieken op een moerassige werkelijkheid zijn gebaseerd.”
Niet alleen voor leidinggevenden
“Neem criminaliteitscijfers, wat zeggen die nou precies? Zijn ze gebaseerd op het aantal ontdekte gevallen, en wat dan met de misdaden en misdrijven waar geen aangifte van wordt gedaan? Cijfers suggereren een stelligheid die er vaak niet is. Cijfers zijn krachtig, mensen halen vaak hun gelijk met “harde cijfers”, en blazen er dan hun tegenstander in een discussie zo mee weg, maar ze ontnemen ons vaak het zicht op allerlei andere zaken. Je brengt er één aspect mee voor het voetlicht en maakt allerlei andere zaken, die ook belangrijk zijn, onzichtbaar.”
‘Cijfers suggereren een stelligheid die er vaak niet is’
Zijn boek is in de eerste instantie bedoeld voor leidinggevenden die iets met cijfers doen, vertelt Van der Kolk. “Maar het thema is veel breder, het is ook relevant in de sport, psychologie, of de IT-wereld, dus daarom heb ik geprobeerd het heel toegankelijk op te schrijven, voor een breed publiek. Ik hoop dat mijn boek helpt wat kritischer te kijken naar cijfers en statistieken die worden gepresenteerd in artikelen, reviews en nieuwssites, door politici en op de werkvloer.”
Meer info over Van der Kolks boek op De meetmaatschappij