.jpg)
De VU stond gistermiddag tegenover masterstudent Robin Pocornie bij het College voor de Rechten van de Mens. Zij diende een klacht in tegen de VU nadat antispieksoftware Proctorio haar niet herkende – volgens Pocornie vanwege haar donkere huidskleur.
Pas nadat ze een felle lamp op haar gezicht richtte, kon Pocornie inloggen voor haar tentamen – zo’n acht minuten te laat. Sinds die eerste keer twee jaar geleden heeft ze vaker problemen gehad met inloggen. De publieke excuses van de VU waar ze op hoopte blijven uit, en VU stopte pas met grootschalig gebruik van de software op het moment dat covid fysieke tentamens weer toeliet, in het voorjaar van 2022.
Om dat te weten te komen, hebben we met 18 andere universiteits- en hogeschoolmedia de krachten gebundeld en een enquête gemaakt die op elke instelling wordt verspreid. Zo krijgen we niet alleen een beeld over het hoger onderwijs, maar kunnen we de resultaten per instelling vergelijken.
Help je mee? Invullen duurt hooguit 10 minuten. (Je antwoorden worden anoniem verwerkt.)
De enquête voor studenten is hier te vinden, die voor medewerkers hier.
Ook is onduidelijk waar ze binnen de VU met haar klacht terecht kan. Ze wordt van de ombudsman naar een diversiteitsmedewerker gestuurd en vervolgens weer teruggestuurd. Pocornie besluit daarop het Racism and Technology Center in te schakelen en dient een klacht in bij het College voor de Rechten van de Mens.
Ondertussen laat de VU Proctorio zelf met een audit van adviesbureau Babl onderzoeken of het systeem discriminatie in de hand werkt. Volgens een statement van de VU blijkt uit deze audit dat er geen sprake is van discriminatie.
Witte studenten ook problemen
Dat herhaalt de VU-vertegenwoordiging – VU-jurist Fransje Donner, advocaat Iris Hoen en coördinator van centrale ondersteuning digitaal toetsen aan de VU Sean Senecal – op woensdag 12 oktober nog eens in een zittingszaal die de Collegevoorzitter omschrijft als een “volle bak”. Het is de eerste klacht over gezichtsherkenning die het College krijgt, en er is – ook via een live verbinding – veel aandacht voor. Pocornie heeft vrienden en familie achter zich zitten, naast haar staat de lamp die “als een zoeklicht” in haar gezicht scheen tijdens haar tentamen.
‘De datasets waarop ze hun algoritme baseren zijn onvoldoende divers’
Hans de Zwart, die samen met Naomi Appelman Pocornie bijstaat vanuit het Racism and Technology Center, zegt dat van gezichtsdetectiesoftware bekend is dat die mensen met een donkere huidskleur minder goed herkent omdat de datasets waarop de algoritme gebaseerd zijn, onvoldoende divers zijn en omdat mensen met meer melanine in hun huid minder licht reflecteren – Proctorio heeft dat zelfs eigenhandig toegegeven. Maar de melding ‘room too dark’ die Pocornie kreeg, kan het systeem ook geven aan studenten met een lichte huidskleur die veel tegenlicht hebben, stelt advocaat van de VU-zijde Hoen. “Witte studenten hadden misschien ook wel problemen met inloggen, maar zij dachten misschien niet meteen aan hun huidskleur als reden daarvoor.”
Auditresultaten niet in te zien
Moet de VU wel werken met software als die niet goed werkt, wil de voorzitter van het College weten. “Dat de software niet zou werken wordt nu als feit gepresenteerd, maar de VU heeft dat niet bevestigd gezien in de onafhankelijke audit”, zegt advocaat Hoen. “Onafhankelijk?” lacht Appelman schamper. “Nou ja, uitgevoerd door een derde partij”, zegt Hoen. De resultaten van de audit kan de VU echter (nog) niet inzien, ze moet het vooralsnog doen met een algemene, door Proctorio zelf getrokken conclusie.
Had de VU dat onderzoek niet zelf kunnen uitvoeren, wil De Zwart weten. En waarom is zo’n onderzoek niet gedaan vóórdat de software in gebruik werd genomen, vraagt Appelman. “De bewijslast ligt nu bij Robin, dat is heel vervelend. Achteraf moet je dan als individu gaan bewijzen dat de software discriminerend werkt.” VU-jurist Donner wijst daarbij op tijdsdruk. “Het was een noodsituatie met covid. Er was geen sprake van een aanbesteding met eisen.” Hoen: “Bij de inkoop heeft Proctorio gezegd dat de datasets divers genoeg zijn, maar er is geen openbare audit waarin we dat zelf konden bekijken.” “Dan moet je die software dus niet gebruiken”, vindt Appelman.
Pocornie neemt geen genoegen met het argument van noodzaak, bij vakken van haar andere vergelijkbare masterstudie werd proctoring niet gebruikt – Appelman vraagt zich dan ook af waarom dat nodig was voor Pocornies master aan de VU met maar 70 studenten.
Onzichtbaar vlaggetje
VU-jurist Donner benadrukt dat alleen het inloggen gedigitaliseerd is. Tijdens het tentamen wordt eens in de zoveel tijd een foto gemaakt. Detecteert de camera daar iets wat niet klopt, zoals dat een student uit beeld is verdwenen, dan krijgt de student een (voor henzelf onzichtbaar) vlaggetje. Een surveillant kijkt dan wat er aan de hand is en kan de vlag wegwerken. Pocornie had dus niet het hele tentamen met die lamp in haar gezicht hoeven zitten, zegt advocaat Hoen.
‘Hoe kan ik daarop vertrouwen als het systeem me al vanaf het begin niet herkent als persoon?’
“Hoe kan ik daarop vertrouwen als het systeem me al vanaf het begin niet herkent als persoon?” vraagt Pocornie. “Is er ook gekeken naar de studenten die geen vlaggetjes hebben gekregen, en wie dat zijn?” vraagt De Zwart. “Die data worden na zes maanden vernietigd”, zegt Hoen. “Als je die beelden had willen zien, had Pocornie niet twee jaar later pas haar klacht moeten indienen.”
Van kastje naar muur
Maar Pocornie probeerde kort na haar inlogproblemen al hulp te zoeken binnen de VU. Waar ze terecht kon was echter onduidelijk. Appelman: “Er wordt nu een beeld geschetst van luiheid en nalatigheid, maar je moet van goeden huize komen wil je met succes een klacht indienen bij de VU.”
‘Je moet van goeden huize komen wil je met succes een klacht indienen bij de VU’
Pocornie zou doorgestuurd zijn naar een ombudsman en een diversiteitsmedewerker. “Maar die verwerken helemaal geen klachten. Dus eigenlijk zeggen ze daarmee: ga maar lekker praten over je gevoelens”, zegt Appelman. “Ik wil geen karikatuur gaan maken van hoe de processen bij de VU verlopen”, zegt Hoen. “Er is een wezenlijk verschil of je klaagt over iets wat jou persoonlijk treft, of over software die door de universiteit wordt gebruikt. Daar is een klachtencommissie voor.” Maar die commissie was volgens Appelman onvindbaar.
Stress
Welke nadelen heeft Pocornie nou eigenlijk ondervonden aan deze situatie, wil de College-voorzitter weten. Er is wat onenigheid over hoeveel tijd Pocornie verloren is op haar tentamens. “Maar de stress die zo’n situatie oplevert zie je niet alleen terug in data”, zegt Appelman. Pocornie: “De VU beschrijft zichzelf als sociaal veilige en inclusieve universiteit, maar dit hele traject is daar geen bewijs van. Ze zijn alleen gericht op het onderzoek, er is mij niet één keer gevraagd of ik oké ben. Dat is geen inclusieve manier van omgaan met studenten.”
‘Er is mij niet één keer gevraagd of ik oké ben’
“Het laatste dat de VU wil, is software gebruiken die niet geschikt is voor een deel van de studenten. Als dat leidt tot zorgen onder hen, vinden we dat heel vervelend”, zegt Hoen daarop. “Als studenten zich zo voelen als Pocornie, heeft de VU eigenlijk al verloren”, vult VU-jurist Donner aan. Wanneer een College-lid de VU-delegatie vraagt of ze nu dan niet meer werken met Proctorio, zeggen ze dit nog in te zetten voor toekomstige studenten die voornamelijk vanuit de ABC-eilanden en Suriname inloggen.
Over twee weken meer
“Daar maak ik me wel zorgen om”, zegt Pocornie wanneer ze na afloop van de zitting buiten staat uit te blazen. Er zijn volgens Pocornie prima alternatieven voor dat soort intaketentamens. “En als we het over zoiets hebben als internetsnelheid – wat Proctorio ook meet – hebben die studenten daar dan wel een eerlijke kans ten opzichte van de witte studenten die hier op locatie een tentamen kunnen maken? Voor mij gaat er niks meer veranderen, ik haal hier niks uit voor mijn opleiding of carrière. Het kost veel energie om dit te doen, ik ben na twee jaar echt moe. Maar we doen dit in de hoop op verandering.”
‘Ik ben na twee jaar echt moe. Maar we doen dit in de hoop op verandering’
Of Pocornie uitkijkt naar de resultaten van de audit wil ze niet zeggen. Over een week of twee komt het College voor de Rechten van de Mens met bericht over het verdere verloop van de zaak.