Op de weten­schap­pe­lijke zuster­web­stek Keizers & Kleren staat nu een tweede non-peer review.
Het artikel Verschillen in straftoemeting in soortgelijke zaken, van drie medewerkers van de afdeling criminologie van de Universiteit Leiden, is het lijdend voorwerp. Het verscheen in het weekblad Nederlands JuristenBlad dat een reputatie te verliezen heeft. Voor publicatie was het artikel gepeerreviewed voor het NJB. Bovendien hebben voor een later nummer van dat tijdschrift twee rechters en de directeur en een onderzoeker van het WODC -het Wetenschappelijk Onderzoek- en Documentatiecentrum van het ministerie van Veiligheid en Justitie- een kritische blik op het artikel geworpen. Hun kritiek die het NJB publiceerde in nummer 17, was niet mals maar miste toch nog heel belangrijke punten.
Anders dan deze reviewers heb ik ook kritisch gekeken naar de theorie waarnaar de auteurs oppervlakkig verwijzen en die door hen wordt aangeduid als "een gezaghebbende sociaalwetenschappelijke benadering". Zodoende heeft het paradigma van de hedendaagse criminologie -"daders zijn slachtoffers"- de aandacht gekregen die het verdient. Zie daarvoor met name de laatste paragraaf van de bespreking: Twee focal concerns theorieën.
De non-peer review telt circa 7000 worden. Daarom hier een korte samenvatting en iets over hoe de Nederlandse politiek omgaat met de sociale wetenschap.

»

Samenvatting
Ik heb het niet gecheckt, maar ik ben er vrij zeker van dat de peer-reviewers nog iets hebben nagelaten dat ik voor de non-peer review wel heb gedaan: de observatielijst, die de basis vormde voor de dataverzameling, bij de auteurs opvragen en bekijken.
Dat scheelde een slok op een borrel.
Zonder die erbij te pakken was het niet zo gemakkelijk geweest om het grootste manco van dit onderzoek aan te wijzen.
Studenten van de eigen criminologie afdeling moesten op 541 zittingen van de politierechter deze lijsten invullen. Door bij de bestudering van het artikel steeds te vergelijken met de observatielijst, kon worden vastgesteld dat deze manier van dataverzameling middels "gestructureerde en gestandaardiseerde observatielijsten" een volslagen fiasco is geweest. Dat is op zich jammer en pijnlijk, maar het feit dat dit onder de mat is geveegd, is onacceptabel.

Het meest schokkende voorbeeld van dat mislukken heeft betrekking op het aspect van dit onderzoek dat de grootste aandacht gekregen

helemaal geen vraag naar het uiterlijk, maar de studenten moesten noteren of de verdachte allochtoon of autochtoon was

heeft in de media en in het kielzog daarvan ook in de Tweede Kamer: het onder­zoek zou hebben aangetoond dat een buitenlands voorkomen ver­dachten zou opzadelen met een grotere kans om een zwaardere straf opgelegd te krijgen. Aan het berichtje op de web­stek van de Leidse Uni­versiteit was de volgende kop meegegeven: Verdachten met ‘buitenlands uiterlijk’ krijgen zwaardere straffen.
De aanhalingstekens bleken een heel speciale betekenis te hebben.
De observatielijst bevatte helemaal geen vraag naar het uiterlijk, maar de studenten moesten noteren of de verdachte allochtoon of autochtoon was: er is overlap maar dat is toch echt een ander onderscheid. De arme studenten werden nogal op het verkeerde been gezet.
Een groot aantal andere vragen van de observatielijst is niet of niet goed ingevuld, zo valt af te leiden uit het verslag.
Niettegenstaande hun beweringen over "realistisch beeld van rechtszittingen" baseren de auteurs zich, afgezien van een enkel detail, louter op aantallen, op numerieke waarden, die ook zonder -waarschijnlijk beter zelfs- directe observaties hadden kunnen worden vastgesteld. Evengoed reppen Wermink, De Keijser en Schuyt zowel in de inleiding als aan het slot van het artikel van de speciale bijdrage die ze hebben geleverd door zich te verdiepen in "wat zich afspeelt op de zitting". Dit is daarmee een van de beschamendste aspecten van het artikel.

Er zijn grote vraagtekens te plaatsen bij de keuze van de gehanteerde statistische methodiek, bij de wijze waarop deze is ingezet

Dat statistiek zo'n slechte naam heeft, is mede te danken aan onderzoeken zoals deze

en bij de grote kans op verkeerd interpreteren vanwege het weergeven van de resultaten in zogenaamde odds-ratio's. De critici van het WODC wezen ook al op dit laatste. Wermink cs geven in hun repliek in hetzelfde nummer van het NJB toe dat ".. de omvang van de door ons geconstateerde effecten dus overdreven [wordt] voorgesteld" maar voeren het gebruik van die zelfde logistische regressie analyse doodleuk aan als excuus. Die spuugt nu eenmaal odds en geen kansen uit.
Dat statistiek zo'n slechte naam heeft, is mede te danken aan onderzoeken zoals deze.

Verschillende aspecten van de omgang met de statistiek kun je beoordelen zonder enige kennis van statistiek zelf.
Ik geef een -zeker niet willekeurig- voorbeeld daarvan. De onderzoekers wilden vaststellen of de hoogte van de straf die door de politierechter werd opgelegd, beïnvloed was door drie zaken:

de onderzoekers keken uitsluitend naar de vraag: is er wel of niet gevangenis­straf opgelegd

of de verdachte man of vrouw was, of de verdachte Nederlands sprak en/of er Nederlands uitzag en of de verdachte wel of niet spijt betuigde tijdens de zitting. De onderzoekers hebben echter niet gekeken naar de hoogte van de geldboete of naar de duur van de voorwaardelijke of onvoor­waar­de­lijke gevangenis­straf, maar uitsluitend naar de vraag: is er wel of niet gevangenisstraf opgelegd.
Geen enkele vorm van statistiek is opgewassen tegen zo'n benaderingswijze.
En let op: de auteurs weten precies waar ze mee bezig zijn. Dit schrijven ze zelf:

Bij het bepalen van een straf bij daders die de Nederlandse taal niet beheersen, kunnen daarnaast praktische bezwaren een rol spelen. Indien verdachten de Nederlandse taal niet beheersen, zal een rechter wellicht geen taakstraf willen opleggen vanwege de problemen die bij de tenuitvoerlegging daarvan kunnen ontstaan door het niet beheersen van het Nederlands. Bij de tenuitvoerlegging van taakstraffen is namelijk niet voorzien in tolken. Bij het grotendeels wegvallen van deze strafoptie zou de rechter eerder geneigd kunnen zijn om een gevangenisstraf op te leggen.

Nergens geven ze er echter blijk van dat ze geprobeerd hebben vast te stellen in hoeverre dit een rol heeft gespeeld.
De bizarre opmerking over de tolken laat ik verder voor zichzelf spreken.

Politiek
De Universiteit Leiden is begonnen met het geven van een verkeerde voorstelling van zaken over dit slecht gelukte onderzoek via de eigen webstek. Evengoed hebben de media en de politici ook een eigen verantwoordelijkheid om zich daardoor niet op het verkeerde been te laten zetten.
Het lijkt wel alsof men werkelijk helemaal niet in de gaten heeft dat die websteks van universiteiten niets met wetenschap van doen hebben, maar doodgewoon PR-organen zijn. Hier kwam eerder al eens een illustratie langs van dit verschijnsel, afkomstig van de UvA. Via de afdeling voorlichting van die universiteit meldde Meindert Fennema trots dat een historische roman van zijn hand, die op de webstek van de universiteit trouwens vrolijk genoemd staat als onderdeel van zijn wetenschappelijke werk, mogelijk verfilmd gaat worden.

Op basis van krantenberichten over het onderzoek stelden kamerleden van drie verschillende politieke partijen vragen aan minister Opstelten: PvdA, GroenLinks en VVD.

De heer Recourt voegde aan zijn vragen over het onderzoek gelijk nog maar iets heel anders toe: "In hoeverre wordt tijdens de werving en selectie van rechters er rekening mee gehouden dat de rechterlijke macht ook rechters met een allochtone achtergrond nodig heeft?" Het verbaast niet echt voor iemand van de PvdA.

Maar ook Van der Steur van de VVD liet zich niet onbetuigd. Dit was zijn tweede vraag:

Herkent u zich in de resultaten van het onderzoek dat uiterlijke kenmerken van verdachten een rol spelen bij de veroordeling en de strafoplegging door rechters en in het bijzonder dat verdachten met buitenlands uiterlijk die de Nederlandse taal slecht machtig zijn een grotere kans hebben op (langere) gevangenisstraf?

Dat 'langere' tussen haakjes had hij er gewoon zelf bij verzonnen: er was immers door de onderzoekers helemaal geen aandacht besteed aan de omvang van de straffen, er was alleen gekeken naar de soort straf. Ook in het sensatiebeluste -of moet dat tegenwoordig populistisch heten?- bericht van de universiteit werd daarover niets gezegd.

De miskleun van Van der Steur heeft meerdere redenen denk ik.
Op de eerste plaats geeft hij bij voorbaat te veel krediet aan sociale wetenschappers. Meer in het bijzonder lijkt hij niet te beseffen dat de insteek 'daders zijn slachtoffers' aan de universiteiten (nog) sterker leeft dan bij rechters.
Ik vermoed dat een andere factor nog zwaarder opspeelt: ook hij is bevangen door de discriminatie-hysterie: hij doet mee met de wedstrijd "wie toont zich het meest verontwaardigd over discriminatie?" Dat zouden verstandige politici niet moeten doen.
Ik vraag me ineens af: zou iemand als Van der Steur eigenlijk weten dat het horizontaliseren van het discriminatieverbod in de grondwet uit de koker van de Communistische Partij Nederland komt?