Populaire AI-tools geven juridische antwoorden vol fouten, joh wat dacht je zelluf

30/01
jambulboy / Pixabay

Chatbots van OpenAI, Google en Meta zijn zeer gevoelig voor ‘hallucinaties’ bij het beantwoorden van juridische vragen, zo las ik bij Advocatie. Men baseert zich op onderzoek van Stanford University, dat bij juridische vragen in driekwart van de antwoorden fouten vond. Fascinerend, maar het betekent hooguit dat je geen generieke chatbot voor een specifieke taak moet gebruiken.

Op voorhand ben ik altijd erg kritisch op onderzoeken die zich baseren op GPT-3.5, zeg maar de gratis versie van ChatGPT. De verschillen tussen 3.5 en 4 zijn echt enorm. Maar hier gaat het specifiek om de kwestie van juridische vragen in een algemeen taalmodel. En dan is het natuurlijk redelijk logisch dat daar rare, algemene antwoorden uit komen: al die juridische kennis zit niet in de dataset.

Maar belangrijker: generatieve AI is geen orakel dat antwoorden genereert op basis van een analyse van de vraag. Het zijn stochastische papegaaien, patroonzoekers die een leuk klinkende tekst produceren die redelijk aansluit op de invoerprompt. Of die vraag enige relatie heeft tot de werkelijkheid, is daarbij volkomen irrelevant.

Dit krijg je pas anders als je zo’n systeem voedt met specifieke juridische kennis, want dan kan het systeem in ieder geval de benodigde kennis reproduceren om het antwoord mee aan te kleden. Maar strak afstellen blijft noodzakelijk, zoals het DPD chatbot-incident laat zien.

Het probleem is dus eigenlijk fundamenteler: we gebruiken een tekstgenerator om antwoorden te zoeken. Dat is natuurlijk omdat die generatoren nu de hypewind mee hebben, maar eigenlijk is het raar. Er zijn genoeg juridische kennissystemen die wél gericht encorrect antwoorden op juridische vragen kunnen oplepelen. Koppel die dan aan zo’n tekstgenerator om het mooi te maken, zou je zeggen. Maar dat laat nog even op zich wachten.

Arnoud

 

Het bericht Populaire AI-tools geven juridische antwoorden vol fouten, joh wat dacht je zelluf verscheen eerst op Ius Mentis.

Datum: dinsdag 30 januari 2024, 08:14
Bron: Iusmentis Blog
Categorie: Internet en ICT

Gerelateerde berichten:

Reacties:

Er zijn nog geen reacties op dit bericht.


Website by Web Chemistry