Umělé inteligenci stále nevidíme do hlavy. Sobě ovšem také ne

Také jste někdy přemýšleli, co si o vašem chování myslí náhodný kolemjdoucí? Dnes se zamyslím nad tím, jak to bude vypadat, až nám bude přes rameno neustále koukat něco, čemu tak úplně nerozumíme, a ani vlastně rozumět nemůžeme.

Článek si také můžete poslechnout v audioverzi.

Někdy zapomínáme, jak málo vlastně víme o tom, jak a proč velké jazykové modely fungují. Je to totiž úplně jiná situace, než na kterou jsme u počítačových programů zvyklí.

Když udělá chybu třeba Microsoft Excel, umíme obvykle přesně dohledat, jak k chybě došlo. Existují lidé, kteří rozumí každému zákoutí i těch nejkomplexnějších programů. A s trochou času a trpělivosti by vám nejspíš dokázali vysvětlit, kde chyba vznikla. Ideálně pak samozřejmě mohou upravit program nebo instrukce tak, aby příště k problému nedošlo. Jinými slovy, chování klasických počítačových programů je předvídatelné, deterministické a plně popsatelné.

U nástrojů založených na generativních neuronových sítích je to jiné. Jistě, dalo by se říct, že jde pořád o mnohonásobně opakovanou aplikaci matematiky a statistiky. Jenže tím, jak se model trénoval na ohromném množství dat (obvykle ani přesně nevíme na jakých, ale lze předpokládat, že jde o víceméně celý obsah dostupného internetu), mohou tyto neuronové sítě dojít k závěrům, rozhodnutím a výsledkům, které prostě předem neumíme předpovědět. Nebo jinak: Předpověď by byla minimálně stejně náročná jako spuštění té neuronové sítě.

Dokonce ani lidé, kteří tyto sítě navrhují a vyvíjejí, dnes nevědí, jak velké jazykové modely dojdou ke konkrétním výsledkům, nebo proč jejich výstupy mohou v řadě oblastí konkurovat lidskému uvažování.

„Schopnost komplexního uvažování se zdá být emergentní vlastností velkých jazykových modelů,“ ukazuje souhrnná studie z roku 2023.

Emergentní v tomto případě znamená, že se tato schopnost „objevila jako důsledek zvýšení složitosti sítě“. Tomuto uvažování můžeme napomoci, pokud problém „správně podáme“. Třeba když ukážeme příklady, formulujeme problém jednoznačně nebo model přímo povzbudíme k tomu, aby generoval řešení krok po kroku.

Zároveň je nutno dodat, že tato „emergentní“ schopnost uvažovat je v odborných kruzích stále debatovaná. Na jednu stranu by se dalo říct, že výsledky hovoří samy za sebe: Nové jazykové modely jsou v testech uvažování stále lepší a lepší. Podle kritiků to ale může být jen přelud, důsledek toho, jak je měříme.

Ať už tomu budeme říkat jakkoli, je zřejmé, že velké jazykové modely něco dělají. A dá se to „nějak“ zužitkovat. Mimo jiné i jako nápodoba toho, čemu obvykle u lidí říkáme uvažování a rozmýšlení. Vědci, firmy i jednotlivci na celém světě teď hledají, jak těchto podivných mimozemských schopností využít k psaní, programování, řízení nebo třeba v reklamě.

Neměli bychom ale zapomínat, že opravdu nevíme, jak AI modely ke svým závěrům a „úvahám“ vlastně došly. Když Google lidem radí, aby „jedli aspoň jeden kámen denně“, umíme aspoň vysvětlit, kde se ta myšlenka vzala. Ale jazykové modely si často vymyslí (vyhalucinují) úplně náhodné, věrohodně znějící texty, a my prakticky nemáme způsob, jak odhalit, proč k tomu došlo. Máme nějaké externí způsoby, jak tyto halucinace omezit nebo aspoň zkontrolovat.

Zároveň jsou ale tyto halucinace podstatou výhody jazykových modelů. „Velká hodnota AI systémů je do značné míry spojena s tím, že halucinují,“ myslí si třeba (samozřejmě poněkud zaujatý) Sam Altman, šéf OpenAI. „Pokud chcete něco vyhledat v databázi, na to už jsme dávno měli jiné nástroje.“

Model neví, jak rozpoznat halucinaci od kreativity. Z jeho pohledu je to ten stejný princip: Dává za sebe slova a věty tak, jak mu to tam na základě tréninku „padá“ ze zásobníku souvisejících slov. Někdy je výsledkem perfektní a precizní úvaha, jindy věrohodně „okecaná“ pitomost.

Ani odborníci, kteří se vývojem velkých jazykových modelů přímo zabývají, nevědí, co se přesně děje uvnitř při těchto „úvahách“. Nevědí toho o moc víc, než když se doktoři snaží nahlédnout, co se zrovna honí hlavou vám (i když i tam jsme se dočkali velkých pokroků).

Rozhodně se o nahlédnutí do tohoto „elektronického mozku“ usilovně snaží. V podstatě jde o pokusy lépe zmapovat, co se děje uvnitř nejpokročilejších neuronových sítí současnosti, a také proč se to děje a jak to souvisí s jejich schopnostmi a s jejich výstupy.

Interpretace (interpretable AI) by měla přesně popsat procesy a zajistit transparentnost probíhajícího rozhodování. Nyní je totiž umělá inteligence do značné míry ona pověstná „černá skříňka“. Zadáte instrukce, můžete dodat i různý kontext nebo nástroje, ale zda a jak se bude jazykový model těmito instrukcemi řídit, na to se nemůžete plně spolehnout.

Firma Anthropic nedávno ukázala určité pokroky: „Samotné otevření této černé skříňky nepomůže: Vnitřní stav modelu, to, co si model ‚myslí‘, než napíše svou odpověď, je jen dlouhý seznam čísel bez jasného významu. Z interakce s modelem typu Claude víme, že je schopen chápat a používat širokou škálu pojmů. Ale při analýze neuronů neumíme rozpoznat jak.“

Ukazuje se, že každý pojem je reprezentován napříč mnoha neurony a každý neuron se podílí na reprezentaci mnoha pojmů. Výzkumníci zmapovali několik milionů takových „pojmů“ z neuronové sítě Claude 3 Sonnet (druhý nejvyšší nyní dostupný model).

Je to samozřejmě jen první krok, ale nesmírně zajímavý. Zájemcům doporučuji k prostudování celou studii. Najdete tam řadu zajímavých ukázek toho, jak tyto „zmapované koncepty“ můžeme využít třeba k omezení některých předsudků, nebo naopak k jejich zdůraznění. Vtipné jsou pak ukázky, kdy výzkumníci nebohého Clauda zmanipulovali, aby na každou otázku odpovídal právě v souvislosti s tímto mostem.

Kromě interpretability existuje také vysvětlitelnost (explainability). Zjednodušeně bych řekl, že interpretabilita je důležitá pro technická řešení, zatímco vysvětlitelnost výsledků znamená lidsky čitelné a srozumitelné vysvětlení toho, co AI vyprodukovala.

Na první pohled by se mohlo zdát, že právě ta vysvětlitelnost je pro nás dostatečná a atraktivnější. Jenže je tady ten starý známý problém: Jazykové modely si budou vymýšlet ve svých odpovědích, a pak si mohou stejně tak vymyslet i to vysvětlení. Bude tedy věrohodně znějící, ale nikoli nutně pravdivé.

Podobné je to ostatně i u lidí: „Naše zpětná vysvětlení nemají často s realitou nic společného. Dalo by se říct, že naše vědomá mysl funguje tak trochu jako PR agentura našeho mozku. Vytváří dobře znějící zdůvodnění našich rozhodnutí, která vypadají logicky,“ řekl mi v rozhovoru Richard Sutton, slavný výzkumník umělé inteligence. „To, co se děje v naší hlavě, bývá hodně komplexní. Naše vysvětlení naopak bývají relativně jednoduchá. Musíme se s tím smířit. Jakýkoli slovní popis našeho rozhodovacího procesu bude jen slabý odvar toho, co se v našich hlavách doopravdy děje.“

Prozatím se tedy musíme smířit s tím, že nevíme, co a proč se přesně děje uvnitř AI nástrojů. A podle toho s jejich výstupy pracovat: Obezřetně, s rezervou a bez očekávání zodpovědnosti. Představte si, že byste měli někoho provázet po městě, ve kterém jste nikdy nebyli a znáte jej jen z knížek. K tomu v sobě máte nějaký ten alkohol na povzbuzení, takže o svých průvodcovských schopnostech nepochybujete. Asi takto důvěryhodné jsou současné výstupy i těch nejlepších AI modelů.

V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.