Právník v USA naletěl výmyslům ChatGPT, soudce to odhalil. Češi to zkouší lépe

Vlastně banální případ naraženého kolena v letadle se zřejmě dostane do právnických učebnic. Přitom začal tak triviálně: cestující zažaloval aerolinku za to, že mu do kolena během letu v srpnu 2019 údajně narazil vozík s jídlem.

Aerolinka požádala soudce o zamítnutí, neboť byl nárok promlčen. Ale právníci, které si žalující najal, citovali celou řadu případů a precedentů, které jasně ukazují, že taková žaloba je přípustná. Precedenty, na které se právníci odkazovali, byly velmi přiléhavé a týkaly se různých aerolinek a různých rozsudků.

Protistrana si ale všimla něčeho podivného: citované dokumenty se jim nikde nepodařilo dohledat: „Nemůžeme v databázích najít nic, co by se jim byť jen přibližně blížilo,“ napsali obhájci. Soudce nařídil obžalobě doplnit konkrétní plné znění rozsudků. A obžaloba udělala něco, nad čím zůstává lidem z oboru rozum stát. Odpovědí je osm dokumentů, které mají dokazovat, že jde o skutečné případy. Šest z těchto dokumentů vypadá přibližně takto:

Kdyby někdo nepoznal písmo a rozložení typické právě pro aplikaci ChatGPT, tak zde pro jistotu právníci ze společnosti Levidow, Levidow & Oberman ponechali usvědčující detail. Šipku v kulaté ikonce, která se v programu ChatGPT zobrazuje vpravo dole.

Jinými slovy, právníci jako důkaz toho, že jimi odkázané rozsudky skutečně existují, předložili snímky obrazovky počítače. A je tedy zjevné, že tyto „rozsudky“ vygenerovali pomocí kecálka ChatGPT.

Jak obhajoba, tak později i soudce ověřili, že tyto rozsudky ve skutečnosti neexistují: „Úředník Odvolacího soudu pro 11. obvod (Court of Appeals for the Eleventh Circuit, pozn. red.) potvrdil, že nikdy neexistoval žádný takový případ jako citovaný Varghese. Dále doplnil, že uvedené jednací číslo ve skutečnosti patří jinému případu. Navíc i tento citovaný neexistující rozsudek dále odkazuje na další, rovněž neexistující rozsudky,“ napsal soudce ve strohé odpovědi, kde zároveň vyzval právníky, aby své jednání vysvětlili: „Ukažte, proč by neměl být právní zástupce obžaloby za takovéto jednání potrestán.“

Právník Steven Schwartz, který pro obhajobu podle vlastních slov zajišťoval veškerý „právní výzkum“, se přiznal, že do své rešerše zapojil i ChatGPT.

„S tím, jak se vyvíjí využívání generativní umělé inteligence v rámci právních společností, tak jsem i já využil stránku ChatGPT, abych doplnil svůj výzkum, který jsem prováděl,“ píše v podepsaném prohlášení Schwartz, newyorský právník s třicetiletou praxí.

„Nikdy předtím jsem službu ChatGPT jako zdroj pro právní rešerši nepoužil, a nevěděl jsem tedy o tom, že by výsledky nemusely být pravdivé,“ uvedl Schwartz. Připomeňme, že zatím každá verze ChatGPT, už od té úplně první veřejně dostupné, uživatele jasně upozorňuje na možnost toho, že ne všechny vygenerované texty se zakládají na pravdě.

Ve svém vysvětlení právník tvrdí, že „neměl v úmyslu podvést soud nebo žalovanou stranu“. Za svou chybu pak označil, že si citované případy lépe neověřil.

Z přiložených ukázek je patrné, že o nějaké ověřování toho, co mu ChatGPT vygeneroval, se Schwartz pokoušel. Bohužel ale k němu nepoužil externí právnické knihovny, jako třeba Westlaw nebo Lexis, ale – zřejmě tušíte – zeptal se přímo ChatGPT, zda jsou vygenerované informace pravdivé.

„Jsou některé z těch případů, které cituješ, falešné?“ zeptal se právník. „Ne, mohou být nalezeny v renomovaných databázích.“

Snímek je pořízený na mobilu, zatímco ostatní snímky byly zřejmě z počítače. Není tedy zcela zřejmé, že tyto snímky vznikly ve stejné době jako původní „výzkum“. A tato kauza rozhodně nekončí. Soudce se pravděpodobně bude zajímat o to, jak přesně advokát došel k tomu, že mu ChatGPT takové „rozsudky“ vygeneroval. Vzhledem k tomu, že nástroje postavené na velkých jazykových modelech jsou schopné sestavovat text na prakticky libovolné téma, je důležitá zejména série instrukcí a kontext.

V prosinci 2022 jsme ukázali, jak ochotně si ChatGPT vymýšlí neexistující právní předpisy.

Právník mohl „jen“ představit svůj případ a požadovat seznam precedentů a chatbot mu je vymyslel, včetně smyšlených jednacích čísel v odpovídajícím tvaru. Když pak chtěl podrobnosti o těchto případech, ChatGPT opět vyhověl a zachoval kontext dané konverzace.

Samozřejmě je také možné, že šlo o úmyslný podvod a o snahu obelhat protistranu i soud. Byl by to ale podvod dosti naivní a neobratný, bez jakékoli snahy za sebou zamést stopy.

Proč si vůbec Steven Schwartz – nebo kdokoli další – mohl myslet, že ChatGPT mu najde případy a precedenty? Především proto, že schopnosti tohoto nástroje jsou pro lidi velmi neintuitivní.

Přestože nástroj generuje texty, které vypadají „lidsky“, nejsou tvořeny stejným tvůrčím procesem, na který jsme zvyklý od lidí. Není to konverzace s člověkem, je to psaní instrukcí počítačovému systému. A tento systém na základě instrukcí odpovídá nikoli jako člověk (přestože to tak může vypadat), ale jako vytrénovaná neuronová síť vycvičená k zachování kontextu.

Proto je pro řadu lidí těžké pochopit, k čemu podobné konverzační nástroje jsou a kdy nejsou vhodné v praxi. Podle řady studií se očekává, že generativní umělá inteligence bude mít velké dopady na pracovní trh. Předpokládá se, že nová vlna automatizace se dotkne především povolání, kde se hodně pracuje s počítačem a která vyžadují relativně vysokou kvalifikaci. Jedním z takových je podle studie z března 2023 právě oblast právnických služeb.

Jenže dopad na právnickou oblast nebude vůbec přímočarý. Jak ukázal výše zmíněný příklad z USA, nesprávné a neobratné zapojení nástrojů jako ChatGPT může napáchat reálnou škodu. Právník má vůči svému klientovi zodpovědnost a jeho případná pochybení mají reputační – a v některých případech i profesní – dopad na jeho kariéru. Málokterý právník by chtěl být v kůži Stevena Schwartze, kterému nyní hrozí pokuty za klamání soudu a zřejmě i kárné řízení v rámci americké advokátní komory.

I proto je z českých právních kanceláří cítit, že nadšení z nové technologie je značně utlumené vědomím nebezpečí, spočívajícího v jejím nevhodném zapřáhnutí. „Je to obrovská věc,“ komentoval nástup umělé inteligence právník Petr Zákoucký, jeden z partnerů právnické kanceláře Dentons, pro magazín Forbes. „Nejvíce ale zasáhne právní retail, tedy poradenství jednotlivcům. Lidé zkrátka nebudou chtít právníky používat a raději se zeptají něčeho jako ChatGPT.“

Jenže ptát se na právnické dotazy přímo ChatGPT není často úplně vhodné. Obecné rady bývají v pořádku, ale jakmile budete po službě chtít něco konkrétního, v lepším případě zaváhá. V horším případě si vymyslí neexistující paragrafy. Veřejně dostupný ChatGPT ve verzi GPT-3.5 je k tomu obzvláště náchylný, GPT-4 je znatelně lepší, ale i tento novější model se nechá přemluvit k tomu, aby citoval neexistující zákony.

Počátkem května 2023 spustila česká právní kancelář Frank Bold experimentální právní poradnu, která využívá nástrojů umělé inteligence ke generování odpovědí. K trénování využili mimo jiné databázi odpovědí, které jejich právníci zpracovali pro klienty v klasické on-line poradně.

„Naše dosavadní zkušenosti s Frank Bold AI ukazují, že je umělá inteligence schopná lidem v řadě případů dát odpověď, se kterou jsou spokojení a hodnotí ji jako přínosnou – zejména jde o obecnější právní dotazy,“ shrnul pro Seznam Zprávy právník Michal Kuk, vedoucí právní poradny Frank Bold. Podle něj může problém nastat v případě, kdy se lidé ptají na velmi konkrétní situace z osobního či pracovního života.

„Jazykový model, který pro vytváření odpovědí využíváme, nedokáže vytvářet zcela nové závěry na základě konkrétních skutečností,“ vysvětlil Kuk. Jako příklad uvedl dotaz na řešení několik let trvajícího sporu o určení hranic mezi pozemky. Také otázky týkající se konkrétních judikátů (rozhodnutí soudu) jsou pro podobné nástroje obtížné. „Je vhodnější nechat si od umělé inteligence předpřipravit informace, které následně právník ověří a zasadí je do širšího kontextu, ve kterém se tazatel pohybuje,“ dodává Kuk. Podobný nástroj koncem května spustila i kancelář Petráš Rezek. Oba nástroje výrazně varují uživatele, aby nebrali výsledky jako bezchybné a aby se poradili se skutečnými lidskými právníky.

Interně ale některé české právní kanceláře zřejmě využívají strojového učení mnohem intenzivněji. „Řada kanceláří vyvíjí buď svoje proprietární AI-powered-legal-tech řešení, nebo svoje řešení staví na již existující AI technologii,“ napsala nám Hana Gawlasová, partnerka a vedoucí oddělení digitálního práva v Deloitte Legal. „ChatGPT a podobné nástroje tuto skutečnost pouze vynesly na světlo světa.“

Takzvané AI-powered-legal-tech nástroje využívají strojového učení k urychlení a zefektivnění běžně poskytovaných právních služeb, jako je zkrácení rešerší nebo příprava komplexních, ale rutinních dokumentů. To podle Gawlasové umožňuje kancelářím poskytovat právní služby s vysokou přidanou hodnotou rychleji: „Kancelář tak může dosáhnout na zakázky, na které by jinak tak často nemířila, protože tyto komplexní zakázky vyžadují vysokou míru investic a zpracování velkého množství dat.“

V různých oborech práva se dá podle ní očekávat různé zapojení umělé inteligence. Ale vždy bude muset právník ověřovat, jak kvalitní jsou výstupy, které z těchto nástrojů dostane. Pokud se tedy nechce dostat do situace, kdy musí svému klientovi vysvětlit, proč se najednou o jeho naraženém koleni píše po celém světě…

Jak by takový rozhovor asi vypadal? V tom nás ChatGPT nezklame. Fiktivní dialogy mu jdou skvěle:

Poznámka: Redaktoři Seznam Zpráv nepoužívají ke generování textu článku nástroje generativní umělé inteligence. Výjimkou jsou jasně označené ukázky, jejichž cílem je ukázat možnosti takových nástrojů.