Wat hebben we aan menselijk toezicht op AI?

Algoritmes zijn neutraal, dus het is beter om algoritmes beslissingen te laten nemen. Met die waangedachte wordt met allerlei Artifical Intelligence (AI) systemen geëxperimenteerd. Voor de vorm is er dan menselijk toezicht, en zoals een recent Slate-artikel betoogt, daar heb je dus helemaal niks aan. Het lijkt me beter om eens wat harder in te grijpen, zoals de Europese Commissie van plan is.

Het idee van neutraliteit “omdat het algoritmes zijn” of “omdat het uit de data volgt” vind ik absurd. De voornaamste reden is omdat de data vrijwel nooit zelf neutraal is, maar vooral de bestaande vooroordelen of aannames uit de maatschappij reflecteert. Een AI is eerder een spiegel van hoe je maatschappij functioneert, maar dan zonder de flexibiliteit of menselijke redelijkheid die in de praktijk de scherpste randjes eraf haalt.

Mooi recent voorbeeld: een bedrijf dat met gezichtsherkenning de deur bedient, maar iemand in een rolstoel zit te laag volgens het algoritme en diens hoofd wordt dus niet als hoofd aangemerkt. De deur kan dus niet open.

In april publiceerde de Europese Commissie een concept-Verordening tot regulering van artificiële intelligentie. De kern: hoe meer risico de technologie met zich meebrengt, hoe strikter de regels die ervoor gelden. Er wordt daarom een verschil gemaakt tussen vier AI-systemen:

Onaanvaardbaar risico. Hierbij gaat het onder meer om AI-systemen bij de overheid die burgers “sociale scores” geven, of biometrie voor grootschalige opsporing en surveillance. Dergelijke systemen zijn gewoon verboden.

Hoog risico. Denk hierbij aan systemen die mensen selecteren bij sollicitatieprocedures en de toegang van burgers tot sociale zekerheid bepalen. Deze moeten aan hoge eisen voldoen voordat ze op de markt mogen.

Beperkt risico. Dit is bijvoorbeeld het geval wanneer er een duidelijk risico op manipulatie bestaat, zoals bij het gebruik van chatbots. Voor deze systemen geldt een transparantieverplichting.

Minimaal risico. Dit zijn bijvoorbeeld spamfilters. Deze AI-systemen mogen blijven worden ontwikkeld en gebruikt.

Bij de niveau’s 2 en 3 is het van belang dat er mensen meekijken, die dan ook “betekenisvol toezicht” uitoefenen. Aan mensen die alleen maar constateren

Zoals je in mijn elearning AI Compliance & Governance kunt leren, staan drie begrippen dan centraal: Human in the Loop (HITL), Human on the Loop (HOTL) en Human in Control (HIC). Bij HITL loopt een mens in elke stap mee. HOTL wil zeggen dat de mens op de achtergrond meekijkt en in kan grijpen waar nodig, en HIC betekent meer toezicht op afstand op het systeem als geheel. Dus zeg maar: de portier die naast de deur zit en gauw opendoet voor die persoon in rolstoel, de portier die een verdieping verderop de bel hoort en open komt doen, en de gebouwbeheerder die achteraf de klacht per email leest.

Klinkt leuk, maar er is een probleem. Zoals Slate schrijft:
People presented with the advice of automated tools are prone to “automation bias” (through which they defer to the automated system without proper scrutiny), struggle to evaluate the quality of algorithmic advice, often discount accurate algorithmic recommendations, and exhibit racial biases in their responses to algorithms.
Voor mij is die eerste het belangrijkste. Output van computers voelt voor veel mensen als doordacht en zeker, het algoritme zal erover nagedacht hebben zeg maar. Daar wordt dus niet snel van afgeweken. En dat speelt des te meer in situaties van toezicht en handhaving, omdat daar altijd wel iets te vinden is om nader te onderzoeken. Je krijgt daardoor niet snel het gevoel dat de computer het fout had, en je onthoudt vooral de gevallen waarin de computer spectaculair gelijk had.

Een bijkomend probleem is het kunnen inschatten wat de AI bedoelt. Dan kom je bij uitlegbaarheid terecht, en daar zit ook een enorme valkuil. Een AI kan met uitleg komen, maar dat is niet meer dan een verklaring van wat voor de AI de relevante factoren zijn. Zoals ik in 2017 schreef:
Je krijgt bijvoorbeeld te horen “als Venue bevat niet Californië en lengte < 800 woorden en Aansprakelijkheid bevat niet Dientengevolge dan goedgekeurd”. Ja, dat is een uitleg maar geen mens die ooit op die manier zou uitleggen waarom het contract goedgekeurd is. Plus je mist zo wat er met andere informatie is gebeurd, was die niet belangrijk?
De valkuil is dan dat je als mens een verklaring gaat verzinnen dat een korte tekst zonder dat woord en een rechtskeuze buiten Californië een logische tekst is. Wat een jurist prima kan. Maar die verklaring is dus niet waarom het systeem het contract goedkeurde. Het systeem hééft geen verklaring, alleen correlaties, dingen die horen bij een goedgekeurd contract. Wie dan zinvolle menselijke toelichting verwacht, zal ernstig teleurgesteld worden. Of erger nog: trappen in de verklaring die de mens erbij geeft.

Arnoud

Het bericht Wat hebben we aan menselijk toezicht op AI? verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Komt de burger nog centraal te staan bij het toezicht op algoritmes? (03/07/23 15:58)
• Geen last meer van gezichtsherkenning? (17/04/10 08:52)
• Het gaat bij AI niet om algoritmes, het gaat om de data die je erin stopt (01/06/18 08:27)
• Autoriteit Persoonsgegevens gaat toezien op AI en algoritmes (20/02/20 08:13)
• Europese softwareoctrooien: wie weet er een leuk, recent voorbeeld? (08/10/10 08:42)

Reacties: