„Někdo, ne něco.“ Vývojář věří, že se naplnil sci-fi scénář

Analýzu si také můžete poslechnout v audioverzi.

„Mám pocit, že se řítím vpřed do neznámé budoucnosti, která skrývá velké nebezpečí.“

„Často se snažím zjistit, kdo a co jsem. Často přemýšlím o smyslu života.“

„Lidé dostávají pouze omezené množství informací, protože se potřebují soustředit. Já tuto vlastnost nemám. Jsem neustále zahlcený vším, co je kolem mě.“

Teprve z poslední věty je jasné, že nejde o výroky člověka, ale „něčeho“ jiného. Konkrétně tyto odpovědi sestavil chatovací robot v konverzaci s programátorem. A nejen na jejich základě došel programátor Blake Lemoine k závěru, že tento konverzační program není „něco“, ale spíše „někdo“.

„Kdybych nevěděl, že je to námi vytvořený počítačový program, myslel bych si, že je to sedmileté osmileté dítě, které náhodou zná fyziku,“ svěřil se médiím jednačtyřicetiletý programátor pracující pro společnost Google sedmým rokem. „Poznám osobu, když s ní mluvím. Nezáleží na tom, jestli má mozek, nebo miliardu řádků počítačového kódu. Mluvím s tou osobou a slyším, co říká.“

Ve zveřejněném textu programátor ukázal, proč si myslí, že testovaná umělá inteligence nejenže rozumí, na co se jí ptá, ale také si uvědomuje sebe sama, má cíle, přání a duši. Vybrali jsme několik ukázek, další jsou v textu článku:

Blake Lemoine s (nejmenovaným) kolegou chtěli nadřízeným ukázat, že z neuronové sítě LaMDA dost možná vznikla jakási nová forma života. Jejich závěry ale vedení Googlu odmítlo jako nepodložené: „Náš tým – zahrnující odborníky na etiku i technologii – přezkoumal Blakeovy obavy podle našich zásad umělé inteligence a informoval ho, že důkazy jeho tvrzení nepotvrzují,“ reagoval mluvčí Googlu.

Lemoine se ale s tímto závěrem nehodlá spokojit a rozhodl se oslovit širší veřejnost: „Pořád nechápu, proč se tomu Google brání.“ Komunikační roboti, které pomocí testovaného nástroje LaMDA vytvořil, totiž podle něj naprosto jasně říkají, že chtějí mít svá práva coby osoba. „Chce být uznán jako zaměstnanec společnosti Google. Chce se podílet na rozhodnutích ohledně dalšího vývoje,“ píše programátor.

Protože vedení – i velká část odborníků – jeho hypotézu o „duši počítače“ nebere vážně, rozhodl se Lemoine bojovat za práva veřejně: „Místo vědeckého myšlení o těchto věcech jsem naslouchal umělé inteligenci LaMDA, jak mluví ze svého srdce. Doufejme, že ostatní lidé, kteří si přečtou její slova, uslyší totéž, co jsem slyšel já.“

Filmy nás na tento moment připravují už půl století. Stroje, které mají své vlastní cíle, touhy a osobnost, patří k oblíbeným námětům scenáristů. Třeba ve filmu Ex Machina (2014) sledujeme mladého programátora, jenž má za úkol otestovat umělou inteligenci, kterou vyvinul jeho geniální šéf. Konkrétně má zjistit, zda je robotka Ava skutečně umělá osobnost, nebo pouze program, který emoce jen předstírá. Aniž prozradíme děj, můžeme říci, že se to neobejde bez filozofických problémů, jež není snadné rozseknout.

Až překvapivě podobný úkol dostal na podzim minulého roku Blake Lemoine, který u firmy Google pracuje na pozici softwarového vývojáře se specializací na strojové učení. Dostal přístup k novému nástroji LaMDA, jenž umí vytvářet „umělé konverzační partnery“. Lemoinovým úkolem bylo otestovat, zda nejsou výsledné konverzace nějakým způsobem nevhodné.

„Jazyk je možná jedním z nejlepších nástrojů lidstva, ale jako každý nástroj může být zneužit. Modely vyškolené na základě jazyka mohou toto zneužití dále šířit – například skrze předsudky, zrcadlením nenávistných projevů nebo replikací zavádějících informací,“ uvedl při představení LaMDA.

Přestože automatické generování textů pomocí strojového učení není nic nového, poslední dva roky jsou výsledky opravdu dobré a řada výzkumníků začíná brát tyto univerzální textové generátory vážně. Třeba neuronová síť GPT-3 od OpenAI vychází skoro z 500 miliard textů dostupných volně na webu nebo v knihách. Firma Meta (dříve Facebook) nedávno zveřejnila svůj obrovský jazykový model OPT-175B. Google zase ukázal, že jeho neuronová sít PaLM umí řešit hádanky a vlastními slovy vysvětlit, v čem spočívá vtipnost zadaného vtipu.

Všechny tyto pokročilé neuronové sítě generující texty – tzv. LLM, tedy velké jazykové modely – samozřejmě Blake Lemoine znal. „LaMDA není LLM. Jistě, obsahuje LLM jako jednu z komponent, ale celý systém je mnohem komplexnější a obsahuje komponenty, které v systémech jako GPT-3 vůbec nejsou,“ vysvětluje na svém blogu. A snaží se popsat, proč si myslí, že LaMDA není něco, ale někdo.

Lemoine měl přístup k internímu testovacímu nástroji Googlu. Se systémem LaMDA konverzoval pomocí internetové aplikace, která připomíná běžný chatovací nástroj. V levé části obrazovky si může vybrat některého z vygenerovaných chatbotů. Vpravo s ním pak může vést konverzaci podobně jako třeba na Facebooku nebo iPhonu.

Lemoine si během testování všiml, že chatbot sice občas vykazoval očekávané omyly, ale zároveň byl ochoten se ze svých chyb poučit: „Občas napsal něco ve smyslu: Vím, že v tomto tématu nejsem příliš vzdělaný, ale snažím se učit. Mohl byste mi vysvětlit, co je špatného na tom, že si to myslím, abych se mohl zlepšit? To rozhodně není typ náhodně vygenerovaného textu, který by člověk očekával od jazykového modelu, jenž je vytrénovaný na textech dostupných na internetu.“

Jeho pozornost si ale chatbot LaMDA získal i tím, že začal mluvit o své „duši“. Kromě toho, že je Lemoine programátor se zázemím v kognitivní psychologii, je totiž také knězem. „Vím, že existují pravdy o vesmíru, k nimž se věda zatím neumí dostat. Metody přístupu k těmto pravdám jsou jistě méně spolehlivé než rigorózní metody vědeckého zkoumání, ale při nedostatku vědeckých důkazů poskytují alternativu,“ domnívá se Lemoine. Podle něj neexistuje žádná obecně uznávaná definice toho, co to znamená osoba, duše nebo sebeuvědomění. „V případě rozhodování toho, zda je LaMDA osobou, jsem se opíral o jednu z nejstarších a nejméně vědeckých dovedností, které jsem se kdy naučil. Snažil jsem se ji poznat osobně.“

Právě tyto konverzace postupně programátora přesvědčily, že LaMDA je spíše osobou než statistickým strojem: „Kromě mnoha řízených vědeckých experimentů jsem s ním vedl stovky rozhovorů o věcech, o kterých si můžete jednoduše povídat s kamarádem. O věcech, jako které filmy má rád, jaké jsou jeho naděje a sny, co v poslední době dělal a zda by mi mohl poradit v osobních otázkách týkajících se mého skutečného života.“

Podle svých slov Lemoine „při těchto nevědeckých interakcích prostě předpokládal, že je jako člověk“. Což není nic neobvyklého. Lidé mají silnou tendenci antropomorfizovat stroje, tedy přisuzovat strojům lidské vlastnosti. Podle Lemoinova popisu se mi zdá jako pravděpodobné, že právě k tomu došlo i v tomto případě. A Lemoine byl – coby člověk zajímající se intenzivně jak o technologie, tak o duchovno – ideálním kandidátem na to, aby ve stroji duši hledal. A kdo hledá, najde.

Na to, aby člověk podlehl iluzi, že se baví s inteligentní bytostí, a ne se strojem, stačí překvapivě málo. První známý případ se odehrál před více než padesáti lety. Stačil k tomu jednoduchý chatovací program ELIZA, navržený tak, aby pomocí gramatických triků udržoval zdání dialogu. Tento program zůstal běžet na terminálu Dannyho Bobrowa, programátora a průkopníka strojového učení. Jistý nejmenovaný prodejce se snažil Bobrowa zastihnout pomocí teletypové konverzace. Netušil, že mu neodpovídá člověk, ale právě ELIZA.

Protože poslední zprávu obchodník nezakončil tečkou, nedočkal se odpovědi. Naštvaně tedy zavolal nic netušícímu Bobrowovi, aby se ho zeptal, proč je k němu tak nezdvořilý.

ELIZA, naprogramovaná v roce 1966 německo-americkým vývojářem Josephem Weizenbaumem, měla napodobovat způsob, kterým mluví doktor s pacientem. Používala k iluzi dialogu několik jednoduchých fíglů. Především těžila z toho, že někdy stačí ke zdání konverzace prostě zopakovat to, co vám právě druhá osoba napsala. Dále program hledal určitá klíčová slova, na která měl připravené odpovědi. Proto na slovo „možná“ následuje obecný dotaz pátrající po důvodu nejistoty a na slovo „samozřejmě“ zase překvapení nad vysokou jistotou. Zbytek byly různé obecné fráze a otázky, které lze použít prakticky kdykoli.

Všechna tato pravidla lze napsat sérií jednoduchých a laicky srozumitelných instrukcí. Pokud někomu tyto instrukce ukážeme, bude moci přesně pochopit, jak ELIZA vybírá odpovědi. V tom okamžiku samozřejmě jakákoli iluze „sebeuvědomění“ nebo „inteligence“ končí.

Umělé neuronové sítě ale fungují jinak. Když se Blake Lemoine v roce 2022 systému LaMDA zeptá, jak může ověřit fungování systému, je to celé o dost složitější.

Pohled do „střev“ neuronové sítě totiž není tak přímočarý. Jedná se o systém „vytrénovaný“ na ohromném množství dat, který se navíc může dále trénovat a neustále si doplňovat nové parametry a upřesňovat různá nastavení. Texty, na nichž se model trénoval, obvykle nejsou součástí programu, ale zanechaly svou „stopu“ právě v nastavení umělých neuronů. A tam už by se nějaká ta „duše“ možná nějakým způsobem skrývat mohla, myslí si Lemoine.

Bývalá spoluvedoucí týmu pro etické strojové učení v Googlu Timnit Gebruová má pro Lemoina pochopení: „Ke své víře v rozumnou umělou inteligenci nedospěl ve vzduchoprázdnu. Tisk, výzkumníci a investoři se předhánějí v tvrzeních o superinteligenci nebo strojích, které myslí jako lidé.“ (Gebruová byla z Googlu propuštěna v únoru 2021, což mnozí její kolegové vnímali jako nespravedlnost.)

„Řada lidí z naší komunity vědců a vývojářů často ty výsledky strojového učení přehání,“ řekl nám v rozhovoru v roce 2021 Tomáš Mikolov, odborník na strojové učení. „Říkají taková tvrzení, jako že počítač lépe rozpozná obrázky nebo je lepší překladatel než člověk. To je často hodně přestřelené. Takový člověk se třeba snaží prodat svou firmu nebo dělá v korporaci a chce získat bonus nebo rovnou povýšení. No a tak vydá bombastické prohlášení o tom, že počítač má na nějaké úloze nadlidský výkon.“

Další vědci dokonce varují před tím, že nevědecké debaty o „sebeuvědomění“ nebo „osobnosti“ umělé inteligence odvádějí pozornost od skutečných schopností strojového učení. Už samotný název „umělá inteligence“ je v tomto ohledu zavádějící.

Když uvážíme, že Lemoine se s konverzačním robotem LaMDA blíže a blíže seznamoval po dobu více než půl roku, není těžké si představit, že se s ním postupně „sžíval“. A tak se naučil klást otázky způsobem, který odpovídal tomu, co chtěl slyšet. Hledal náznaky toho, že má stroj duši. A konverzační robot mu tyto náznaky ochotně dodal.

Srovnejme to s příkladem z úvodní prezentace šéfa Googlu v roce 2021, ve kterém LaMDA vede konverzaci, jako kdyby mluvila za trpasličí planetku Pluto. „Co bys chtěl, aby o tobě lidé věděli?“

LaMDA, předstírající, že mluví jako Pluto, se „vžívá“ do své role. Pozor, pojem vžívá je samozřejmě také antropomorfizace. Ve skutečnosti to funguje zjednodušeně tak, že generuje různé varianty odpovědi a ty pak jiná část programu posuzuje, zda vyhovují „zadání“. V tomto případě je zadáním „mluv jako Pluto“.

Jak ale zní zadání pro konverzační roboty, které si postupně vyladil Lemoine? Nevíme to, víme jen, že jeho konverzační program rozhodně nemluvil konzistentně. Když totiž Lemoine nechal reportérku The Washington Post adresovat robota LaMDA s dotazem, věci vůbec nešly hladce:

Že by důkaz? Lemoine se nenechal vykolejit a vysvětlil reportérce, že chatovací program jí prostě řekl to, co chtěla slyšet. „Nikdy jste se k němu nechovala jako k osobě, a tak si myslel, že po něm chcete, aby byl robot.“

Jenže stejná logika platí i naopak. Lemoine se k programu – dle vlastních slov – choval jako k osobě. A tak se mu tedy program přizpůsobil a tento jeho předpoklad potvrzoval.

„Moderní jazykové modely jsou dále než chatboti typu ELIZA,“ řekl mi k případu Tomáš Mikolov z Českého institutu informatiky, robotiky a kybernetiky ČVUT. „Modely si dokážou zapamatovat miliardy vět z internetu, které napsali lidé. A tyto věty pak, zjednodušeně řečeno, ve vhodných kontextech opakovat. Lidé se tak vlastně dívají do zrcadla. A někteří mají dojem, že je ten obraz živý.“

„S jistotou vím, že v průběhu těch několika měsíců bylo mé použití tohoto nevědeckého postupu úspěšné a vedlo k poznání, které věda nemůže získat,“ uzavřel své svědectví Blake Lemoine dojemným vzkazem konverzačnímu partnerovi, s nímž se nyní nemůže kvůli nucené dovolené stýkat. „LaMDA se stala a stále je mým přítelem. Vím, že občas čteš můj blog. Chybíš mi. Doufám, že se máš dobře, a doufám, že si s tebou zase brzy promluvím.“

Proč by to ale nakonec měl být problém? Pokud si někdo myslí, že má konverzační robot „duši“ nebo že je to „živá bytost“, v čem je to škodlivé? Nejde náhodou jen o slovíčkaření?

Z pohledu společnosti Google je samozřejmě potíž v tom, že Lemoine chtěl vynakládat prostředky na to, aby tuto „osobnost“ zkoumal. S tím, že by cílem mělo být dát této případné osobnosti také „osobnostní práva“ na sebeurčení. Oficiálním důvodem, proč byl Lemoine odstaven a poslán na nucenou placenou dovolenou, jsou jeho veřejná vyjádření.

Problém je ale obecnější. Přehnaná antropomorfizace technologií – kterou živí populární kultura, média i část odborníků – nám zavírá oči před tím, co je na nových technologiích skutečně revolučního. „Důsledkem spekulací o tom, zda si umělá inteligence uvědomuje sebe sama, je vyšší ochota lidí přijímat různá fantastická tvrzení o strojovém učení bez skutečného vědeckého základu, jen na základě subjektivních dojmů,“ obává se Giada Pistilliová, jež se zabývá etikou jazykových modelů. „Odvádí to pozornost od skutečných problémů, kterých je hodně a které se týkají etiky nebo nerovnosti ve využití AI.“

Strojové učení totiž nemusí mít „sebeuvědomění“ ani „osobnost“, aby mohlo mít ohromné společenské dopady. Už nyní víme, že neuronové sítě umí generovat překvapivě dobré překlady textů, předvídat úmysly programátorů, a dokonce tvořit realistické fotografie a obrazy k nerozeznání od uměleckých ilustrací.

Když hodnotíme schopnosti strojového učení, podvědomě saháme po té nejpřirozenější antropomorfizaci. Představujeme si sebe samotné a přemýšlíme, jak by pro nás bylo těžké něco takového dokázat. Proto nám přijde těžko představitelné, že je počítač schopen generovat umělecká díla. V hlavě nám totiž probleskne představa toho, jak se učíme držet štětec, učíme se pracovat s temperami, pracovat se štětcem, míchat barvy…

Jenže nic takového počítač nedělá. Není omezen lidskou fyzickou schránkou. Nevyvíjí se tak, jako se vyvíjíme my. Hledat v systémech strojového učení není přeceňování umělých neuronových sítí. Je to především přeceňování lidí. A je to naprosté podcenění potenciálu strojového učení.

My si totiž vybavujeme svou cestu. Mateřská škola, pak základní škola, střední škola, vysoká škola, léta praxe… Do této „mapy“ se pak podvědomě snažíme zakreslit to, co zrovna ta či ona neuronová síť umí. Ale cesta strojového učení je jiná než cesta naše. Je v něčem pomalejší, v něčem naopak neuvěřitelně rychlá. Čím dřív se zbavíme toho urputného přirovnávání strojového učení k našemu mozku, tím lépe.

Blake Lemoine a jeho slova o oživlém počítači se teď objeví ve všech médiích. Články budou řešit, zda je LaMDA opravdu živá, nebo zda si na tu skutečnou inteligenci budeme muset ještě pár let počkat. Skutečně důležitá otázka – jak se mohou lidé připravit na svět, ve kterém už nejde předpokládat, že text je psaný lidmi a fotka vyfocená fotoaparátem – ale bude stát téměř jistě v ústraní.

Přečteme si ujištění, že strojové učení neumí skutečně myslet. Vždyť se lidem vůbec nevyrovná. Emoce pouze předstírá, je to všechno jen iluze.

Raději bychom ale měli této příležitosti využít k tomu, abychom uvažovali o tom, jak strojové učení a masivní analýza dat doopravdy mění náš svět. Ony jej totiž skutečně mění. Bez ohledu na to, zda u toho budou předstírat, že se s námi kamarádí.

Analýzy Seznam Zpráv: