Dit is dus hoe je als jurist niét ChatGPT moet gebruiken (en ik leer je hoe wel)

Een advocaat uit New York gebruikte ChatGPT om een verweer in te dienen bij een letselschadezaak, en dat ging ongeveer zoals je zou verwachten: de volgendewoordvoorspeldienst genereerde een imposant stukje proza inclusief relevante zaken en verwijzingen naar wetsartikelen, die allemaal niet bleken te bestaan. Excuses zijn aangeboden, maar toch. Wut.

De zaak kwam aan het rollen nadat advocaat Steven Schwartz (30 jaar ervaring) vliegmaatschappij Avianca Airlines had aangeklaagd vanwege letselschade bij een cliënt. Nadat de maatschappij verweer had gevoerd, diende Schwartz een uitgebreide repliek in waarbij hij meende te mogen profiteren van geavanceerde generatieve Artificial Intelligence die in luttele minuten doodsaai juridisch werk transformeerde in een intellectuele ervaring.

Ik vergat er trouwens nog bij te zeggen dat nadat de wederpartij verzocht om kopieën van deze beweerdelijke jurisprudentie, Schwarts deze aan ChatGPT opvroeg en de resultaten opstuurde. Dat viel niet in goede aarde bij de rechter, die dus nu aanstuurt op sancties tegen de advocaat.

Wat ging hier mis? Zoals hij zelf uitlegt:
Schwartz, in an affidavit, said that he had never used ChatGPT as a legal research source prior to this case and, therefore, “was unaware of the possibility that its content could be false.” He accepted responsibility for not confirming the chatbot’s sources. Schwartz is now facing a sanctions hearing on June 8.
We hebben hier een paar keer discussies gehad over of mensen al dan niet snappen wat ChatGPT is en hoe je het kunt gebruiken. Ik proef dan altijd een toon van ongeloof dat mensen zouden denken dat het wáár is wat eruit komt. Deze zaak laat volgens mij geen geïsoleerd one-in-a-million incident zien, maar eerder toevallig de eerste die betrapt werd.

Voor de duidelijkheid: GPT snapt niets van tekst, heeft geen idee wat een docket number is of zelfs maar wat het verschil is tussen een werkwoord en een tussenwerpsel. Het systeem is verbluffend goed in het maken van mooie zinnen, maar doet dat enkel op basis van statistiek, woordpatronen. Dat verklaart meteen hoe GPT met nepbronnen aan kan komen zetten: op die plek hoorde iets dergelijks te staan, en termen als “Varghese” of “China South Airlines” komen vaak voor bij dit soort teksten (luchtvaartrechtszaken) en daar moet een “v. ” tussen, prima, doen we dat.

ChatGPT gebruik je dus niet om bronnenonderzoek mee te doen. Er zijn systemen die een tekstgeneratie loslaten op zoekresultaten (zoals Bing of Bard), maar dat vereist dus een extra laag in het systeem. ChatGPT gebruik je om tekstanalyse te doen, of de opzet van een tekst te maken zodat je er zelf mee verder kunt. In advocatentaal: het is een student-stagiair, behandel het ding ook als zodanig.

Leren wat je wél kunt vragen? In september geef ik drie keer een masterclass “GPT in de juridische praktijk“. Wat kun je vragen, hoe vraag je dat en hoe weet je of je relevante antwoorden hebt. Schrijf je snel in!

Arnoud

Het bericht Dit is dus hoe je als jurist niét ChatGPT moet gebruiken (en ik leer je hoe wel) verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Amerikaanse advocaten gestraft na citeren door ChatGPT verzonnen zaken (29/06/23 08:20)
• Hoe citeer je ChatGPT in een juridisch artikel? (02/10/23 08:19)
• Clinton mogelijk vrijdag alweer naar huis (12/02/10 06:21)
• Clinton weer naar huis na hartoperatie (12/02/10 14:26)

Reacties:

Er zijn nog geen reacties op dit bericht.