Het systeem doet precies wat het wordt opgedragen

De toeslagenaffaire laat zien hoe verkeerd gebruik van data en slechte beslissingen resulteren in een ware ravage. Als we echt willen dat dit nooit meer gebeurt, is er meer nodig dan symbolische verantwoordelijkheid terwijl de schuld wordt afgeschoven op \'het systeem\'.

Big Bang systeem“We hebben te maken met een falend systeem dat institutioneel racisme in de hand werkt, en dus moet het op de schop.” “Gedupeerden die wilden weten wat er nu eigenlijk mis ging, kregen van het systeem zwartgelakte dossiers.” “Het aftreden van het politiek verantwoordelijke kabinet heeft vooral symbolische waarde, want de politici zelf konden er niks aan doen.” “Het systeem is stuk, maar de mensen werken nog prima.” Sterker nog, als we zouden kijken naar mensen die dingen verkeerd doen, dan missen we het grotere plaatje waarin het systeem mensen beweegt dingen verkeerd te doen, volgens De Correspondent.

Het systeem als abstractie, dat met een ‘big bang’ uit het niets is ontstaan en vervolgens met kunstmatige intelligentie vanzelf dingen is gaan doen, zonder mensen die dat zo bedoeld hadden. Dat is natuurlijk flauwekul. Het systeem is niet stuk, het doet precies wat het door mensen wordt opgedragen. Mensen zijn de scheppers van systemen. Institutioneel racisme is geen foutje in een algoritme, maar een diepgeworteld maatschappelijk probleem.

Het systeem is niet stuk, het doet precies wat het door mensen wordt opgedragen. Mensen zijn de scheppers van systemen.

Het verhaal van dataZoals in de toeslagenaffaire naar systemen gekeken wordt, zo kijken we ook al jaren naar data. Als objectief en neutraal, zonder voorgeschiedenis. Cijfers en statistieken die zonder context compact kunnen worden meegenomen in politieke beslissingen. Maar al die cijfers en patronen vertellen verhalen, soms van ernstige problemen waar we in onze samenleving mee te maken hebben. Stop je die data zonder enige duiding van die gegevens in een systeem, dan is een logisch gevolg dat die problemen alleen maar ernstiger worden. Denk bijvoorbeeld aan cijfers over de participatie en waardering van vrouwen op de arbeidsmarkt, waarbij genegeerd wordt dat vrouwen te maken krijgen met zwangerschapsdiscriminatie. Of criminaliteitscijfers waarin migrantengroepen oververtegenwoordigd zijn, zonder het te hebben over etnisch profileren.

In de toeslagenaffaire begon de ellende bij het negeren van de context van data. En zo werd een gebeurtenis uit het verleden, waarbij Oost-Europese bendes fraude pleegden met toeslagen, leidend voor beslissingen in de toekomst. Met als resultaat dat Nederlanders met een dubbele nationaliteit sneller werden verdacht van fraude. Die aannames kwamen terecht in processen. En zo werden dicriminerende normen verder geinstitutionaliseerd en onrechtmatige beslissingen met een stappenplan gestandaardiseerd. Het algoritme dat daar vervolgens mee aan de slag ging, deed precies wat het moest doen: discrimineren.

De toeslageaffaire staat niet op zichzelfData wordt gebruikt om mensen te profileren en daar een risicoscore aan de koppelen. Het is dan ook een slechte inschatting om te denken dat de toeslagenaffaire op zichzelf staat. Er is nota bene een Systeem Risico Indicatie (Syri) ontwikkeld om met algoritmen op onverdachte burgers te jagen die in een verdacht profiel passen. Syri werd gebruikt door gemeenten en bevatte data van het UWV, de SVB, de IND, de inspectie SZW en natuurlijk de Belastingdienst. Met het koppelen van al die data ontstaat een alwetende overheid die alles van een burger te weten kan komen, nog voordat een burger er ook maar enig benul van heeft ergens van beschuldigd te worden. Syri werd vorig jaar door de Rechtbank Den Haag afgeschoten, want in strijd met het Europees Verdrag voor de Rechten van de Mens.

Zo ontstaat er een Kafkaëske overheid die stelt: “U wordt ergens van verdacht, we weten niet waarom, maar het is nu eenmaal zo”.

De Kafkaëske overheidDe beslissing of iemand recht heeft op bijstand, een werkeloosheidsuitkering of een toeslag, raakt een mens enorm. Die sociale voorzieningen zijn er voor mensen die vaak nergens anders terecht kunnen. Dat soort levensbepalende beslissingen mogen niet geautomatiseerd genomen of gestuurd worden. Het moet kristalhelder, uitlegbaar en controleerbaar zijn waarom de overheid vindt dat een burger ergens wel of geen recht op heeft. De overheid maakt gebruik van algoritmen die zo ingewikkeld worden dat de gebruikers ervan niet eens meer begrijpen hoe een uitkomst tot stand is gekomen, laat staan dat ze die aan de slachtoffers van de algoritmen kunnen uitleggen. Zo ontstaat er een Kafkaëske overheid die stelt: “U wordt ergens van verdacht, we weten niet waarom, maar het is nu eenmaal zo”.

Met symbolische verantwoordelijkheid komen we er nietAls politici echt het systeem dat ze zelf gecreëerd hebben willen veranderen, dan is dit het moment om niet alleen symbolisch verantwoordelijkheid te nemen, maar nu ook kritisch naar eigen beleid en wetgeving te kijken. Er is heldere wetgeving nodig om de wildgroei aan profilering op discriminerende kenmerken tegen te gaan. Ook is het gebruik van (zelflerende) algoritmen simpelweg geen goed idee. Bijvoorbeeld als het gaat om sociale voorzieningen, biometrische surveillance of het voorspellen van crimineel gedrag. Als de verantwoordelijken dat nu weer nalaten, is het een kwestie van tijd voordat het systeem opnieuw faalt, door precies te doen wat het wordt opgedragen.

Gerelateerde berichten:

• Nieuw luchtverkeersleidingssysteem op eenzame hoogte (02/10/13 20:45)
• Één visa-systeem voor Peru Colombia en Ecuador (24/04/13 09:25)
• Brussel wil btw-stelsel vernieuwen (01/12/10 14:08)
• Augmented reality laat je om de hoek kijken (27/10/09 10:16)
• Obama laakt Europese aanpak financiële systeem (28/09/11 19:27)

Reacties:

Er zijn nog geen reacties op dit bericht.