Hlavní obsah

Slavný Turingův test ztrácí smysl. Robota od člověka už zkrátka nerozeznáme

Foto: koláž: Pavel Kasík, Seznam Zprávy, AI vizualizace

Poznáte, že se bavíte s robotem? Nebuďte si tím moc jistí.

Vítězství v Turingově testu bylo dlouho „svatým grálem umělé inteligence“, i když to není užitečný způsob, jak posuzovat schopnosti AI. Částečně to ale vysvětluje, proč je těžké se zorientovat v současném směřování AI technologií.

Článek

Článek si také můžete poslechnout v audioverzi.

Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!

Co to znamená, že počítač přemýšlí? Mohou vůbec stroje přemýšlet? Může se nám zdát, že jde o novou otázku, se kterou se musíme potýkat teprve v posledních letech. Ale právě takto otevírá britský matematik Alan Turing svou esej v roce 1950: „Nechci tvrdit, že kolem vědomí není žádná záhada. […] Nicméně, nemyslím si, že tyto záhady je nutné vyřešit, abychom mohli odpovědět na otázku, která nás v tomto článku zajímá.“

Jakožto správný matematik samozřejmě nezapomíná na definice, o kterých se snadno filozofuje: Co je to vlastně myšlení? A když jsme u toho, co je to stroj? Já ale přeskočím až k tomu, co se z jeho úvahy zachovalo až do dnešních dnů a ovlivňuje naše chápání „umělé inteligence”: Jak můžeme v laboratoři otestovat, že počítač „myslí”?

Metoda známá jako Turingův test vychází ze hry „nápodoba pohlaví“. Představte si, že jste muž, ale v psané komunikaci byste měli vystupovat tak, aby si ostatní mysleli, že jste žena. Určitě vás hned napadá pár (možná rafinovaných, možná dost stereotypních) způsobů, jak k tomu přistoupit.

Foto: koláž: Pavel Kasík, Seznam Zprávy, AI vizualizace

Schéma imitační hry, kdy muž i žena předstírají, že jsou ženou, a posuzovatel má poznat, kdo je muž a kdo žena.

Teď se vžijte do pozice soudce, který si bude (prostřednictvím psaných zpráv, aby se odfiltroval vliv hlasových charakteristik) povídat se dvěma lidmi. Oba se jej snaží přesvědčit, že jsou žena, ale jeden z nich to pouze hraje. Věříte si, že byste dokázali rozpoznat ženu/muže, nebo naopak přesvědčivě napodobit vystupování člověka opačného pohlaví? A ještě důležitější otázka: Jaké schopnosti vám v takové hře přijdou vhod?

Turing následně navrhuje variantu této hry, ve které by posuzovatel neměl za úkol rozlišovat mezi ženou a mužem, ale mezi člověkem a strojem. Počítač se snaží napodobit lidské vystupování. Pokud to dokáže a posuzovatel se nebude umět rozhodnout, kdo je člověk a kdo stroj, pak podle Turinga můžeme mluvit o tom, že stroj přemýšlí.

Foto: koláž: Pavel Kasík, Seznam Zprávy, AI vizualizace

Schéma Turingova testu: posuzovatel konverzuje se dvěma subjekty. Jeden z nich je počítač a jeden člověk, oba se ale snaží předstírat, že jsou lidé. Posuzovatel má po konverzaci označit, který z nich je člověk.

„Tato hra bude možná kritizována za to, že je pro stroj příliš těžká,“ uvažoval tehdy Turing. Věřil ale, že počítače dosáhnou úrovně, kdy budou umět přesvědčivě napodobit člověka v konverzaci.

Úspěch po 75 letech

V průběhu desetiletí se objevilo několik případů, kdy nějaký počítačový program mohl prohlásit, že „prošel Turingovým testem“. Za první neformální pokoření se považuje anekdota o tom, jak jednoduchý konverzační prográmek ELIZA někdy koncem 70. let zmátl nejmenovaného prodejce, který se domníval, že si po síti píše s programátorem.

Pamatuji si, že o úspěšném překonání Turingova testu jsem psal už před více než deseti lety. Tehdy šlo o počítačový program Eugene, který porotce zmátl tím, že se vydával za ukrajinského teenagera. Tím získal dobrý důvod k tomu, aby na rafinované otázky porotců odpovídal buď s nezájmem, nebo s chybami typickými pro lidi, kteří se angličtinu naučili jako druhý jazyk.

Rok 2014 je ale z hlediska generativní umělé inteligence naprostý pravěk. Chatboty založené na velkých jazykových modelech jsou mnohem dál – reagují na kontext, rozumí skoro jakémukoli tématu, umí navazovat na naše otázky. Už od roku 2022 víme, že tato nová forma umělé inteligence nemá problém zmást i profesionály.

Paradoxně tak současné generaci chatbotů dělá problém nikoli „vyšplhat tak vysoko, aby mohly napodobit člověka“, ale naopak „zpomalit natolik, aby nebylo jasné, že jsou to chatboty“.

Foto: Pavel Kasík, Seznam Zprávy

Chatboty založené na velkých jazykových modelech reagují na kontext, rozumí skoro jakémukoli tématu, umí navazovat na naše otázky.

Tomu odpovídají i instrukce, které dostal chatbot ChatGPT s modelem GPT-4.5, kterému se podařilo testem přesvědčivě projít, jak popisuje nedávno publikovaná studie (ještě neprošla recenzním řízením).

Chatbot dostal za úkol předstírat, že je „devatenáctiletý introvert“, který má ležérní přístup k životu, neví toho moc o světě a ani to nepředstírá. Kromě toho obdržel jazykový model přesný popis toho, jak experiment probíhá (aby jej posuzovatel nemohl nachytat na švestkách třeba otázkou „Co zrovna teď vidíš před sebou?”), instrukce ohledně hlavních zpráv, které v době konání hýbaly světem a také třeba rychlý přehled momentálně populární hudby.

Zároveň dostal jasné pokyny, aby nepsal tečku za větami (což mladí lidé nedělají, ale jazykové modely ano) a používal slang nebo neformální zkratky.

Foto: arXiv

Celý prompt, který dostal chatbot, aby dokázal napodobit chování člověka.

Právě tento prompt (instrukce v zákulisí) mi na celém experimentu přišel nejzajímavější. Jinak totiž podle mého otázka „umí počítač napodobit vystupování člověka“ už dávno nemá smysl. Kdo má zkušenosti s výstupy generativní AI, ví, že tuto metu už jsme dávno překročili a přestala být zajímavá.

Komu to prospěje?

Turingův test nebyl nikdy zamýšlen jako univerzální a vůbec nešlo o nějakou „nejvyšší metu umělé inteligence“. Šlo především o myšlenkový experiment. Vývojáři generativní AI míří mnohem výše, než je pouhá schopnost lidské konverzace.

Samotný nástroj ChatGPT je od začátku vytrénovaný k tomu, aby dával „užitečné“ (v praxi spíš „užitečně vypadající”) odpovědi. A také je velmi jasně instruovaný k tomu, aby nepředstíral, že je někdo, kdo není. Když se jej zeptáte, zda je člověk, tak vám řekne, že nikoli. To podle mého způsobilo, že teprve teď máme přesvědčivě ověřené vítězství v Turingově konverzační imitační hře.

Foto: arXiv

Výsledky jednotlivých robotů v Turingově testu.

Chatboty bez „persony“ (tedy bez onoho instruktážního promptu) nedokázaly lidské publikum přesvědčit o tom, že jsou lidmi. Podle mého hlavně proto, že na sebe obvykle velmi rychle práskly, že jsou „pouze jazykový model“.

Naopak GPT-4.5 s pečlivě připravenou personou dokázal přesvědčit lidské posuzovatele o svém lidství v nadpolovičním počtu testů. Jinými slovy: Posuzovatel se bavil pět minut s člověkem a s chatbotem, pak měl rozhodnout, kdo z nich je člověk a kdo AI… a počítač byl za člověka označen častěji než lidský protějšek.

Proč to laboratorní překonání Turingovy „imitační hry“ trvalo tak dlouho? Výrobci AI nástrojů nemají obvykle zájem na tom, aby jejich chatbot dokonale napodobil člověka. Naopak. Asistenti jako ChatGPT, Claude nebo Gemini mají být „neúnavným pomocníkem“ a velmi rychle vám ukážou, že se nechovají jako lidé. Odpovídají rychleji, neustále se omlouvají, jsou téměř nekonečně trpěliví a neustále vás chválí za skvělé otázky a „fascinující nápady“.

Komu to prospěje?

Kdo má zájem na tom, aby pomocí AI napodobil vystupování člověka? Podle mého třeba podvodníci všeho druhu. Ať už jde o falešné inzeráty, falešné účty na sociálních sítích, falešné profily na seznamkách nebo falešné telefonáty z banky nebo od policie. Tam všude se náramně hodí výkonnost a nízká cena chatbotů.

Schopnost napodobit člověka je ostatně v kybernetické a hybridní válce jednou z nejsilnějších a nejúčinnějších zbraní. A i když se proti ní naučíme bránit – třeba zvýšenou ostražitostí nebo neustálým ověřováním toho, zda mluvčí na druhé straně vidí, jaké je venku počasí –, platíme za to daň. Vědomí, že ostatním lidem nemůžeme věřit dokonce ani to, že jsou lidé…

Počítače  – pokud jsou k tomu instruovány – umí napodobit člověka lépe než lidé. Sami zkuste domyslet, k čemu to povede. Podle mého k tomu, že Turingův test se už nebude provádět jen v laboratořích, ale každodenně úplně všude. V mnoha ohledech už se to dávno děje, navíc způsobem, který nás lidi moc nepotěší.

V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.

Doporučované