Sedm způsobů, jak nás může AI vyhubit. Experti varují, že to máme brát vážně

Když někomu popisuji, co nového umí nástroje využívající generativní umělou inteligenci, často slyším: „Ale počkej, to je přece šílené!“ Souhlasně přikývnu. „Ale proč se u toho usmíváš, když to popisuješ?“ ptají se naléhavě.

Novinky bývají fascinující a je snadné nechat se strhnout působivými kousky, které se AI naučila. Za osmnáct let, co o technice píšu, je to asi nejrychlejší nášup „přelomových“ zpráv. To, co by jindy byla zpráva týdne, se ani neprobojuje do výčtu zpráv dne. Je to exploze, která připomíná nástup internetu koncem 90. let, jen to tempo je ještě několikrát rychlejší.

Jedna výzva ke zpomalení vývoje technologií založených na AI už tady byla. Konkrétně navrhovala určitý druh pauzy: Na šest měsíců by se zastavilo trénování modelů „pokročilejších než GPT-4“. Koncem března ji podepsala řada osobností známých ze sektoru informačních technologií, a tak se v médiích dočkal jejich otevřený dopis celkem významné pozornosti.

Jedním z nejčastěji zmiňovaných signatářů byl ale Elon Musk – který zároveň s tím založil svou vlastní firmu na vývoj umělé inteligence –, a diskuze se proto tehdy strhla trochu stranou. Kritici navíc správně poukázali, že pozastavení výzkumu nic neřeší a jen by dalo náskok konkurenci. Třeba právě Muskovi nebo Číně.

Mimochodem, zatím se nezdá, že by Musk nebo Čína byli ve vývoji svých velkých jazykových modelů nějak daleko, ale to se samozřejmě může rychle změnit.

Rychlost změny je aspekt, před kterým nyní varuje nová výzva. Je podepsaná Geoffrey Hintonem, slavným informatikem, který odešel z vývojové laboratoře Google, aby mohl otevřeněji mluvit o rizicích AI. Podpisy ale připojili i šéfové významných komerčních AI laboratoří: Demis Hassabix z Google DeepMind, Sam Altman z OpenAI a Dario Amodei z Anthropic. Celkem je tam více než stovka signatářů.

Jejich tvrzení je překvapivě jednoduché: „Snížení rizika vyhubení lidstva v důsledku umělé inteligence by mělo být globální prioritou po boku dalších celospolečenských rizik, jako jsou pandemie a jaderná válka.“

Jinými slovy: Neříkáme, jak přesně by AI mohla zabít lidi, ale pojďme to brát aspoň tak vážně, jako bereme hrozbu jaderných zbraní a hrozbu pandemií.

Asi je pravda, že při líčení AI novinek působím moc nadšeně. Tohle by mi ale úsměv mohlo úspěšně vymazat. Pojďme se vážně zamyslet nad tím, jak přesně by mohla vypadat „AI apokalypsa“. Tedy jakými způsoby by se umělá inteligence mohla vymknout kontrole a napáchat možná nenapravitelné škody na civilizační úrovni.

Toto není a nemůže být úplný výčet. Je to takové „poučené fantazírování“, jehož cílem není děsit, ale zkoumat něco, co se zkoumá velmi těžko. Civilizační dopady technologií se totiž velmi složitě předvídají. Říkal jsem si ale, že by se hodilo udělat takový stručný přehled. Znáte to. Kdyby náhodou…

Zneužití AI k útoku a destrukci. Asi nejjednodušší scénář je prodloužením obav, se kterými žijeme už posledních sedmdesát let. Umělá inteligence by mohla nějakému státu, organizaci či uskupení umožnit levně vyvinout zbraň (virus, bombu, armádu dronů apod.) schopnou napáchat výrazné škody.

Před těmito možnostmi dlouhodobě varuje skoro každý, kdo někdy něco řekl o AI bezpečnosti. Jde asi o jediný scénář, na kterém se všichni shodují. To ale neznamená, že máme nějaké jednoduché řešení tohoto problému.

Nedokážeme domyslet, co superinteligence dokáže. „Všichni na Zemi zemřou, pokud se nepodaří vývoj AI zastavit,“ nebere si servítky Eliezer Yudkowsky, jeden z nejznámějších kritiků současné AI vlny. Ve své rok staré eseji varuje před tím, že entita s kognitivními schopnostmi neskonale převyšujícími lidské schopnosti bude z pohledu lidí naprosto neovladatelná a nepředvídatelná.

Kdyby lidé časem zjistili, že takovou superinteligenci chtějí zastavit, nemáme podle Yudkowského šanci: „Prohra v konfliktu s výkonným kognitivním systémem vypadá přinejmenším stejně smrtelně, jako kdyby všichni na Zemi náhle padli mrtví během jedné vteřiny.“ Jestli se takové nebezpečí nakonec uskuteční pomocí nanobotů, výbuchů, záření nebo čehokoli dalšího, to je podle Yudkowského vedlejší. Pro lidi by to bylo stejně nepochopitelné jako pro mravence, které se rozhodl vyhubit deratizátor.

„Máme jen velmi málo příkladů toho, kdy méně inteligentní věci umí ovládnout a mít pod kontrolou mnohem inteligentnější entitu,“ upozorňuje Geoffrey Hinton, nyní asi nejuznávanější osobnost upozorňující na civilizační rizika umělé inteligence.

„Není mi jasné, zda vůbec řešení tohoto problému existuje,“ pronesl Hinton. „Ale myslím si, že bychom se opravdu měli snažit řešení najít. Chci, aby lidé věděli, že to je opravdu závažný problém.“

Neschopnost „vnutit“ AI lidské hodnoty. Obecně se tomuto problému říká „alignment problem“, a nenašel jsem lepší překlad než opis: Hodnoty, které bude dodržovat umělá superinteligence, nebudou nutně v souladu s lidskými hodnotami. Mohlo by se tak stát, že při dodržování svých (lidmi nastavených) cílů vymyslí AI velmi účinné řešení, které ale půjde proti lidským zájmům, hodnotám a právům.

Konkrétně by třeba zadání „ušetřit spotřebu elektřiny“ mohlo vést superinteligenci k tomu, že rozšíří dezinformační kampaň o tom, že rychlovarné konvice způsobují rakovinu, aby tak snížila spotřebu energie. Stejně tak si ale můžeme představit mnohem drsnější dopady.

Informatik Stuart Russell upozorňuje, že může dojít k celé řadě nečekaných důsledků: „Umělá inteligence byla navržena s jednou konkrétní metodikou a jakýmsi obecným přístupem. A my nejsme dostatečně opatrní, abychom takový systém používali ve složitých reálných podmínkách.“

Explozivní rozvoj superinteligence. Oxfordský profesor Nick Bostrom patří k dlouhodobým kritikům bezuzdného rozvoje umělé inteligence. V roce 2014 napsal knihu Superinteligence, ve které varoval před podobným problémem jako Yudkowsky, ale z trochu jiného úhlu. Za problém označil rychlost rozvoje. Lidé se totiž umí celkem dobře přizpůsobit postupným technologickým změnám (srovnejme náš život s životem našich předků z 18. století). Ale to neznamená, že se umíme přizpůsobit změnám, které se dějí desetkrát nebo stokrát rychleji.

Kdybych měl Bostromovy myšlenky shrnout do jedné, tak je to tato: Máme jen jeden pokus. „Stojíme před velkou výzvou vyřešit problém řízení pokročilých umělých agentů,“ říká Bostrom. „A ten problém musíme vyřešit dříve, než dokážeme vytvořit stroje, které budou superinteligentní.“ Takže si v duchu zodpovězme otázku: Jde nyní kupředu rychleji náš výzkum umělé inteligence, nebo výzkum bezpečnosti v oblasti umělé inteligence?

Šedá eminence v pozadí. Mojí „oblíbenou“ tezí je dystopická vize, která z lidského pohledu na první pohled připomíná utopii. Dostatečně pokročilá superinteligence bude schopna skrýt své „pletichy“ a dávat lidem to, co potřebují. Nenápadně je ale může ovládat, manipulovat, podsouvat jim vhodné závěry atd.

Jako ten zlý rádce v pohádkách, který radí králi, a skrze tyto pečlivě připravené rady a filtrované zprávy celé království řídí. Jen by to nebyl jeden rádce, ale perfektně provázaná síť milionů rádců, kteří by ovládali lidi prakticky nepostřehnutelným způsobem.

Ekonomický kolaps. Jeden z méně apokalyptických scénářů předvídá „jen“ to, že dojde k rozpadu společenských, politických a majetkových struktur. Rychlý rozvoj technologií, kombinovaný s dezinformacemi a politickými změnami, může nahrávat radikálním ideologiím a vést k výrazné destabilizaci států po celém světě. Neumím přesně říct, jak by to mohlo vypadat, ale asi by bylo dobré to sledovat.

Můžeme s celkem vysokou jistotou očekávat, že umělá inteligence celkem zásadně promění trh práce. V některých ohledech dojde ke srovnání možností a určité demokratizaci. V jiných oblastech se naopak rozevřou nůžky mezi těmi, kdo mají přístup k novým nástrojům, a těmi, kteří tento přístup nemají. A lze očekávat, že stovky milionů lidí po celém světě si budou muset v horizontu řekněme deseti let najít nová povolání, protože jejich původní pozice bude nadbytečná. Už dnešní nástroje ukazují, že značná část činností bude nahraditelná.

Jistě, pořád platí, že „práci vám nevezme umělá inteligence, ale člověk, který bude umět pracovat s umělou inteligencí“. To ale bude slabá útěcha pro lidi, kteří budou muset najednou lepit několik částečných úvazků, aby dosáhli aspoň na důstojnou mzdu. To asi nezní tak apokalypticky jako armáda smrtících nanobotů, ale pokud bude změna rychlá, může to být v globálním pohledu podobně děsivé.

Šmírovací diktatura. Na opačné straně spektra rizik je možnost, že dojde k výraznému upevnění kontroly státu nad lidmi. Technologie založené na nástrojích umělé inteligence by podle autorky Shoshany Zuboffové mohly dát státům přesně to, co jim zatím chybělo: možnost centrálně řízené, individuálně cílené manipulace a dozoru každého jednotlivého občana.

Navenek by taková společnost nadále působila demokraticky, ve skutečnosti by ale byla 100% řízená všudypřítomnou technologickou diktaturou. Systémy umělé inteligence by byly pod kontrolou vlády, která by díky perfektním přehledu o činnosti obyvatel. Žádný detail by nebyl příliš malý na to, aby si jej AI nemohla všimnout a zapracovat jej do celkové strategie nebo individuálně cílené ovlivňovací kampaně.

Tohle je jen sedm nápadů, jak by AI mohla napáchat paseku na civilizační úrovni. Určitě vás při čtení napadala spousta věcí. Budu rád, když se se mnou podělíte o své postřehy. Chtěl bych totiž vyvážit to převládající nadšení z nových hraček.

V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.