Kan dat, een algoritme met een moreel kompas? #legaltechtuesday

Wat doe je als slimme algoritmes verkeerde of gevaarlijke keuzes maken? Die vraag las ik in FD onlangs. Machine learning-onderzoeker Philip Thomas uit Massachusetts heeft een methode ontwikkeld om ‘ongewenst gedrag’ vooraf uit intelligente machines te filteren. Hij noemt dat een Seldonian algoritme, en omdat mijn eerste zelfgekochte boeken de Foundation-reeks van Asimov waren trok dat meteen mijn aandacht. Want ja, het is een probleem als algoritmes racistisch, seksistisch of biasbevestigend zijn. Maar is daar werkelijk een quick fix voor die ook nog eens een mooie science fiction term kan krijgen?

De kern van het onderzoek van Thomas is dat je bepaalde ongewenste uitkomsten vooraf algoritmisch vastlegt, zodat een machine learning algoritme een uitkomst kan toetsen aan dit geprogrammeerde moreel kompas:

Using an experimental dataset, they gave their algorithm mathematical instructions to avoid developing a predictive method that systematically overestimated or underestimated GPAs for one gender. With these instructions, the algorithm identified a better way to predict student GPAs with much less systematic gender bias than existing methods.

Het idee is dus dat als je vooraf kunt zeggen “je mag geen bias hebben op klasse X”, dat je dan eerlijker uitkomsten krijgt. Dit is de omgekeerde benadering van hoe men nu vaak probeert vooringenomenheid te voorkomen, namelijk door klasse X weg te laten uit de dataset. Zeg maar, je wilt voorkomen dat je vrouwen onderselecteert dus je laat het veld `geslacht’ weg. Maar dat werkt niet: ML algoritmes zullen andere factoren oppikken (zoals de hobby vrouwentennis of het voornaamwoord haar) en daaruit alsnog genderbias construeren. De Seldonian-benadering is dus dat je zegt “ik wil even veel vrouwen als mannen op gesprek” als HR-adviseur.

(De benadering gaat overigens verder dan alleen discriminatie; je kunt ook bijvoorbeeld zeggen dat de uitkomst niet mag zijn dat een diabetespatiënt een risicovol lage bloedsuikerspiegel kan krijgen. Maar dat terzijde.)

Je zou dus zeggen, opgelost nu dat bias-probleem: maak een kompasregel voor iedere verboden factor uit artikel 9 AVG en verplicht ieder ML systeem daarop te toetsen. Maar dat is ingewikkelder dan je denkt. Bias of vooringenomenheid is niet alleen dat je keihard vrouwen uitsluit of weglaat. Vaak is het veel subtieler; lees het boek Invisible Women als u de details wil weten maar het was voor mij bijvoorbeeld een eye-opener dat als je mannen en vrouwen gelijke toegang tot toiletten wilt geven je 50% meer dames-wc’s nodig hebt. Dáár op komen is niet zo simpel als “je mag geen bias hebben op geslacht”.

Arnoud

Het bericht Kan dat, een algoritme met een moreel kompas? #legaltechtuesday verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Het gaat bij AI niet om algoritmes, het gaat om de data die je erin stopt (01/06/18 08:27)
• Dit algoritme zet kiekjes om in kunstwerken van bekende schilders (01/09/15 14:29)
• Algoritme maakt 'menselijke analyses' sneller dan mensen (19/10/15 13:51)
• Dit algoritme prikt zo door je pokerface heen (16/11/15 15:22)
• Een black box algoritme mag geen juridische besluiten nemen (07/12/18 08:10)

Reacties:

Er zijn nog geen reacties op dit bericht.