Politie stopt met gewraakt algoritme dat ‘voorspelt’ wie in de toekomst geweld gebruikt

De politie stopt ‘per direct’ met het algoritme waarmee ze voorspelt of iemand in de toekomst geweld gaat gebruiken, las ik bij FTM. Dit is de uitkomst van een eerdere publicatie over het Risicotaxatie Instrument Geweld (RTI-G), het zoveelste voorbeeld dat laat zien hoe inherent dubieus het is om voorspellende uitspraken over menselijk gedrag te doen op basis van datasets.

“AI snake oil”, noemt professor Arvind Narayanan van Princeton het. Uitspraken over gedrag of verwachtingen omtrent personen, aangekleed met “Artificial Intelligence” versieringen en zogenaamd perfect werkend. Haarlemmer AIoli, zou ik het haast noemen. Het komt er altijd op neer dat men een niet direct verifieerbare uitspraak doet op basis van een brokje data en een black box model, die dan heel precies klinkt en daarom vaak wordt overgenomen.

Bij een spamfilter dat een verkeerde classificatie maakt, of een AI-biometrie die je niet binnenlaat, krijg je vrij direct feedback dat het niet werkt. Een algoritme dat voorspelt of iemand gaat recidiveren of geweld gebruiken is een heel stuk lastiger – net zoals met alle juridische afwegingen, van het automatisch afwegen van een bezwaar in het bestuursrecht tot een strafvonnis genereren.

Natuurlijk handelde de politie niet blind op de uitkomst van het RTI-G, maar ‘het risicoprofiel dient te worden gezien als aanwijzing dat een strafbaar feit gepleegd gaat worden.’ En daar wordt dan wél op geageerd: een van de mensen die met FTM sprak, kreeg een schriftelijk bevel een half jaar lang op ieder gewenst moment mee te werken aan fouillering en doorzoeking van de auto. Het Hof Den Haag floot de politie terug:
De rechtspraak gaat uit van een concrete aanleiding dan wel feitelijke omstandigheden kort voorafgaand aan dan wel ten tijde van de inzet van de bevoegdheden op basis van deze artikelen. Daarvan is geen sprake als [geïntimeerde] alleen op basis van zijn aanwijzing als veiligheidsrisicosubject aan een fouillering of doorzoeking van zijn auto wordt onderworpen.
Desondanks blijft de vraag gerechtvaardigd: hoe kwam dat systeem dan tot haar conclusies? Op basis van welke gegevens en algoritmes kon men deze uitspraak doen en hoe is dat te rechtvaardigen? Ik zet het even op een rijtje uit het FTM artikel:

Iemands verleden in de politiesystemen, bijvoorbeeld betrokkenheid (dader, getuige, aangever) bij geweldsdelicten, eventuele aangetroffen wapens en de optelsom van andere delicten wegen ook mee.

Hoe groter het aantal registraties van (vermoedelijke) delicten bij de politie, gewogen naar de vermoedelijke samenhang met geweld.

Geslacht en leeftijd; mannen meer dan vrouwen en mensen die jong een eerste delict pleegden meer dan latere plegers.

Etniciteit, wat er in 2017 uitgehaald is omdat het ‘een beperkt maar toch nadelig effect op de interne beeldvorming [gaf] voor een individu.’ Een Antilliaanse achtergrond telde daarbij zwaarder mee dan een Marokkaanse of Somalische.

Afgaande op het meegepubliceerde screenshot gaat het hier om een `klassiek’ beslissysteem, namelijk een veredelde Excelsheet die aan elke factor punten geeft en een totaalsom maakt:Hoogleraar digitale surveillance Marc Schuilenburg is vernietigend: de resultaten zijn ‘uit de lucht gegrepen’, er is geen enkele validatie laat staan een feedbacksysteem om fouten te corrigeren.
Volgens hem is Nederland een ‘voorzorgsmaatschappij’ geworden. ‘In de politiek en de samenleving gaat het om het voorkomen van potentiële risico’s,’ aldus Schuilenburg. ‘Vroeger was er eerst een verdenking en dan pas surveillance. Nu is er eerst surveillance en dan pas een verdenking.’
Het ergerlijke voor mij is vooral dat de uitkomsten van die surveillance worden aangekleed met een sausje van juistheid: kijk maar, het getal rechtsonder is 970 dus dit klopt echt, en ik zie ook vijf donkerrode vlakken dus het is ernstig ook. (Dit staat bekend als “precision bias” in het vakgebied.) Maar garbage in, garbage out: hoe weet je of het klopt?

En nee, het is nu te makkelijk om te zeggen “door gewoon die mensen te fouilleren en te zien of ze wapens hebben”. Even los van wat de wet daar dus over zegt, als je handelt vanuit een foute aanname dan komt daar nooit een goed resultaat uit. Ja, misschien vind je een wapen en misschien zelfs vaker bij Antilliaanse verdachten dan bij Nederlandse boerenzonen. Maar bewijst dat dat je startpunt klopte?

Arnoud

 

Het bericht Politie stopt met gewraakt algoritme dat ‘voorspelt’ wie in de toekomst geweld gebruikt verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Politievakbond ziet geweld wéér stijgen (24/08/11 11:54)
• Geweld tegen agent aangepakt (20/01/10 10:52)
• Themazitting geweld tegen politie (20/01/11 17:14)
• Dit algoritme prikt zo door je pokerface heen (16/11/15 15:22)
• T-Mobile deelde herleidbare locatiegegevens met CBS voor bouwen van algoritme (16/03/21 08:15)

Reacties:

Er zijn nog geen reacties op dit bericht.