Is de antispieksoftware die de VU gebruikt racistisch? Volgens het tussenoordeel van het College van de Rechten van de Mens heeft student Robin Pocornie voldoende bewijs aangedragen voor een vermoeden van discriminatie.
Volgens Pocornie werd ze tijdens haar tentamens benadeeld door antispieksoftware Proctorio, waarvan de VU gebruikmaakt. De software zou haar minder goed herkennen omdat ze zwart is. Na meerdere stappen te hebben ondernomen diende ze in juli een klacht in bij het College van de Rechten van de Mens.
Afgelopen dinsdag stelde het College vast dat Pocornie voldoende feiten heeft aangevoerd waaruit ‘een vermoeden kan worden afgeleid’ dat de VU met de inzet van Proctorio-software indirect onderscheid heeft gemaakt op grond van ras. Het College haalde ook wetenschappelijk onderzoek aan dat aantoont dat gezichtsdetectiesoftware over het algemeen slechter presteert op personen met een donkere huidskleur. De VU daarentegen leverde volgens het College te weinig controleerbare gegevens aan waaruit blijkt dat de software niet discrimineerde. De universiteit krijgt tien weken de tijd om met ‘technisch controleerbaar bewijs’ het tegendeel te bewijzen.
Blij
‘Ik ben heel blij dat de wet aan mijn kant staat’, zegt Pocornie in een persbericht van het Racism and Technology Center, dat haar in de zaak bijstaat. ‘Dit soort discriminatie is moeilijk zichtbaar te maken en het College heeft dat goed begrepen. Ik kijk vol vertrouwen uit naar het definitieve oordeel. Verder ben ik benieuwd naar de reactie van al die andere universiteiten en hogescholen die deze software ook hebben gebruikt, ook zij hebben immers studenten van kleur in de collegebanken.’
Primeur
De uitspraak van het College is een primeur: niet eerder sprak het zich uit over algoritmische discriminatie. ‘Het is de eerste keer dat aangegeven wordt dat technologie racistisch kan zijn’, aldus Naomi Appelman in het persbericht. De voorzitter van het Racism and Technology Center hoopt dat de uitspraak ‘een les is voor organisaties die gezichtsdetectie of -herkenning in (willen) zetten in hun bedrijfsprocessen’. Volgens Appelman kun je dat als organisatie alleen doen als je zelf zeker weet dat je geen mensen discrimineert. ‘Garanties van de leverancier van de technologie zijn daarbij niet genoeg.’
Lees ook ons verslag van de zitting bij het College van de Rechten van de Mens.