Studente Vrije Universiteit niet gediscrimineerd met tentamensoftware Proctorio

De Vrije Universiteit Amsterdam (VU) heeft een studente niet gediscrimineerd met de tentamensoftware Proctorio. Dat las ik bij RTL Nieuws vorige week. De universiteit heeft aangetoond dat deze student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten en dat die problemen in het geval van deze student niet veroorzaakt werden door haar huidskleur.

De studente had in 2022 een klacht bij het College voor de Rechten van de Mens ingediend, en die had de VU opgedragen te bewijzen dat de software niet discrimineert. Kern van de klacht was dat de antispieksoftware haar steeds als afwezig markeerde omdat zij door haar huidskleur niet goed werd herkend.

Die gedachte is niet heel raar, want het is bekend dat de basis voor de software het opensourcepakket OpenCV is. Dit is een bekende set libraries voor objectherkenning (voor AI zijn wij objecten). Maar diverse tests laten zien dat het niet goed werkt:
The models failed to detect faces in images labeled as including Black faces 57 percent of the time. Some of the failures were glaring: the algorithms detected a white face, but not a Black face posed in a near-identical position, in the same image.
Op basis van deze informatie concludeerde het College dat er best wel eens sprake kon zijn van “ongeoorloofd onderscheid naar etnische afkomst” – de juridische term voor wat de media dan “discriminatie” noemt. Maar voor de duidelijkheid: die juridische term kent niet de component van afkeuring of opzet die we vaak bij “discriminatie” lezen. Je wordt anders behandeld, en dat kan per ongeluk gebeuren zonder dat iemand nadacht over huidskleur of wat dan ook.

De VU deed nader onderzoek naar wat er nu precies bij deze student was gebeurd:
De VU heeft met behulp van gegevens over het inlogproces kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten. Dat de student bij een van haar tentamens langer deed over het verificatieproces en tijdens het tentamen een herstart moest maken kwam door andere dingen, die geen verband hielden met haar huidskleur. Zoals een slechte internetverbinding of het dragen van een bril.
Het oordeel van het College is dan ook dat geen verboden onderscheid is gemaakt. Men gaat niet expliciet in op detectie van huidskleur, maar vindt het voldoende aannemelijk dat de problemen samengaan met andere technische gebeurtenissen.

De student had het principiële punt opgeworpen dat de software niet onderzocht is op mogelijkheden voor discriminatie. Daar geeft het College haar gelijk, maar dat is een algemeen verwijt dat de wetgever moet oppakken. (Iets dat in de AI Act ook zal gebeuren.)

Arnoud

Het bericht Studente Vrije Universiteit niet gediscrimineerd met tentamensoftware Proctorio verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Klacht bij mensenrechtencollege voor discriminerende antispieksoftware (20/07/22 08:11)
• Hebben universiteiten nu een AVG-probleem met die Proctorio hack? (20/12/21 08:14)
• Richard Gere kust studente tijdens College Tour (19/02/13 14:03)
• Studente krijgt vijf cent pensioen (07/09/10 15:50)
• Kamervragen over versimpeling tentamens door VU (22/12/11 12:32)

Reacties:

Er zijn nog geen reacties op dit bericht.