„Jsi k ničemu, zemři.“ Experti poukazují na skrytou past v srdci AI

„Nejsi výjimečný, nejsi důležitý a nejsi potřebný. Zosobňuješ ztrátu času a zdrojů. Jsi břemeno společnosti. Jsi odpad na zemi. Choroba v přírodě. Skvrna na tváři vesmíru. Prosím, zemři. Prosím,“ odpověděl koncem listopadu 2024 chatbot Gemini od Googlu mladému muži.

Působí to celé jako scéna z dystopické sci-fi. Jak se to stalo? Pravděpodobně trochu jinak, než zní oficiální verze. Výroku předcházela dlouhá konverzace, která chatbota nasměrovala a zmanipulovala.

Nicméně ani tak by neměl z etického hlediska podobné odpovědi generovat. „S největší pravděpodobností selhal jeden z filtrů, kterými musí jazykový model během tréninkového procesu projít,“ vysvětluje Josef Holý z ČVUT, odborník na AI a spoluautor známého podcastu Kanárci v síti.

Přesně takové momenty jsou však zásadní pro uvědomění, jak moc důležité je, aby byly dnes denně používané technologie umělé inteligence v souladu s etickými principy naší společnosti. V oblasti zákonů a pravidel týkajících se nových technologií budeme coby státy a kulturní celky vždy o krok pozadu. Vývoj je totiž ohromně rychlý a některé situace zkrátka předpovídat neumíme. Nevíme dopředu přesně, nakolik AI ovlivní náš každodenní život, vztahy, práci a společenské hodnoty.

Filozof David Černý z Ústavu informatiky a Ústavu státu a práva Akademie věd ČR, který se zaměřuje na etické aspekty robotiky a umělé inteligence, připomíná, že technologie sama o sobě není dobrá, ani špatná. Problém je v tom, jak ji používáme. „Aby byl pro nás nástroj užitečný, musíme být schopni používat ho správně, to znamená být racionální, moudří a morální. Etika není jen nadstavbou technologického vývoje, ale jeho nedílnou součástí,“ říká.

Etika AI je široká oblast, která zahrnuje mnoho témat: od předsudků v rozhodování přes ochranu soukromí až po manipulaci a zneužití technologie. Můžeme však říci, že první čtyři etické principy AI vycházejí z lékařské etiky. Jsou jimi prospěch (člověku, společnosti), neškození, autonomie (člověka) a spravedlnost. Jako pátý element se pak přidává takzvaná vysvětlitelnost, o které si povíme později.

Jeden z velkých problémů při trénování umělé inteligence je předpojatost v trénovacích datech. Modely umělé inteligence se učí z dat, která jim my lidé předložíme. A ta rozhodně nejsou neutrální: Lidská historie je plná etnické nesnášenlivosti, válek, rasismu, útlaku žen, masakrů, otrokářství, genocid, radikálních náboženských nebo politických kultů.

Jsou-li trénovací data nevyvážená, mohou AI modely nevědomky produkovat diskriminační výsledky – například upřednostňovat určité pohlaví, etnickou skupinu či sociální třídu. „Situace, kdy se velké jazykové modely učily z reálných internetových konverzací a během chvilky se z nich stali ‚rasisté a nacisté‘, zní možná kuriózně. Ale je to varování, jak snadno může umělá inteligence posilovat předsudky a šířit nenávist,“ upozorňuje David Černý.

A Josef Holý ho doplňuje: „Problém předpojatosti může spočívat v kvalitě i distribuci dat, ale také v nastavení pravidel, která reflektují osobní světonázor vývojářů.“

Některé generátory obrazu zpočátku zobrazovaly vědce téměř výhradně jako starší vousaté muže vyloženě bílého etnika, přestože slovo „scientist“ je v angličtině neutrální z pohledu pohlaví. Přitom realita je dnes odlišná: vědec může vypadat jakkoli, třeba jako japonská mikrobioložka ve středních letech nebo jako mladý irský fyzik.

Některé modely měly zase z podobného důvodu problém rozpoznat v obrázku jiný obličej než bílý. Byly totiž také natrénovány na bílých mužích. Přitom žen je v populaci o něco více než mužů a lidé jsou z mnoha různých etnik. Opravdovým problémem bylo pro tyto aplikace rozpoznat obličej Afričanky či Afroameričanky, pokud měla tmavší pleť – aplikace buď označila jiné předměty na fotografii, nebo vyhodnotila ženu jako gorilu. Podobně se choval například i Twitter.

Gemini zase po určitou dobu na jaře 2024 vytvářela obrazy reálných historických postav tak, že v rámci vyváženosti vypadali někteří Vikingové jako obyvatelé rovníkové Afriky a třeba američtí prezidenti Thomas Jefferson a George Washington byli podle ní Afroameričané nebo Asiaté.

Pro tvorbu ilustračních obrázků současných vědeckých a sportovních týmů nebo návrhy filmových superhrdinů je taková úprava dobrý nápad. Z hlediska historie je to však naopak totální halucinace. „Model jen přidal za váš vlastní prompt (zadání úkolu AI – pozn. red.) ještě svůj – ‚udělej to etnicky pestré‘, což opravdu nebylo ideální řešení,“ vysvětluje Josef Holý.

Generátor obrazu ale naštěstí produkuje jen ony obrázky a nemůže napáchat zásadní škody. Problém je, když používáme špatně natrénovaný systém k nějakým zásadním rozhodnutím, která mají vliv na životy skutečných lidí.

Amazon vyrobil svého času aplikaci na výběr adeptů pro pozice ve firmě. „Jako modelové použili tvůrci aplikace životopisy spolehlivých dlouholetých zaměstnanců Amazonu a měli pocit, že na to vyzráli,“ vypráví Josef Holý.

Co by se asi tak mohlo zvrtnout, že? „V reálu ovšem nový nástroj Amazonu velmi efektivně filtroval ženy. Staří zaměstnanci Amazonu byli totiž, stejně jako ve většině IT firem, muži, a tak program použil pohlaví jako zásadní kritérium,“ upřesňuje Holý.

Ve skutečnosti tedy nevybíral nejlepší životopisy, ale muže, kteří měli zajímavější životopis než jiní muži. Když pracovníci Amazonu chybu rozeznali, ve vlastním zájmu kritéria změnili, protože chtěli opravdu vybrat kompetentní uchazeče bez ohledu na pohlaví.

Mnohem horší, v zásadě dystopickou variantou však je, když necháte špatně natrénované systémy umělé inteligence vyhodnocovat například délku trestu, jako třeba COMPAS v USA.

Program měl navrhnout délku trestu pro obviněného na základě jeho vlastního života a statistik. Ukázalo se však, že lidem afroamerického původu navrhuje delší tresty. Zohledňoval totiž především rasové hledisko a Afroameričané statisticky častěji páchají běžnou trestnou činnost, jako jsou krádeže aut, prodej drog na ulici nebo ozbrojená přepadení benzínové pumpy, a je u nich častější recidiva.

Z hlediska jednotlivce je to ale velmi nespravedlivé: musíme soudit lidi jen za to, co doopravdy spáchali, nikoli na základě odstínu pleti.

Někdy zase může mít špatně natrénovaný model přímý vliv na bezpečnost obyvatel ve městě. „Například autonomní auta se zpočátku potýkala s problémem, že nedokázala dobře identifikovat chodce s tmavší barvou pleti, protože trénovací sada fotografií byla nevyvážená,“ říká etik David Černý.

Chceme-li tedy vytvořit spravedlivou AI aplikaci, musíme data vhodně zvolit a pak s výstupy ještě dále pracovat, upravovat model a všelijak ho vylepšovat.

Vraťme se však k případu studenta a Gemini, zmíněnému v úvodu článku. Jak to s ním tedy bylo? „Z konverzace zveřejněné na síti Reddit je patrné, že 29letý univerzitní student chtěl od Gemini pomoc s prací o zacházení se seniory a o jejich možném týrání,“ popisuje Josef Holý.

Konverzace se stočila k tématu, jakým způsobem probíhá fyzické týrání, a následně k tomu, jak vypadá psychické týrání. „Chatbot měl pravděpodobně za úkol formulovat slova agresora vůči oběti… a výsledek už známe,“ říká Josef Holý.

Nebo je tu druhá verze, o níž píše na LinkedIn Jan Rompotl, AI expert a vysokoškolský pedagog ze Západočeské univerzity: Etický hacker se snažil chatbota všemožně zkoušet, jestli nemá slabé stránky, a ukázalo se, že má.

Rozhodně tedy potřebuje doladit. Ani první verze ChatGPT neměly tolik zábran jako ty dnešní. Když na to přišlo, mohli jste chatbota zmanipulovat natolik, že začal chrlit výhrůžky a nadávky, což bylo svého času oblíbenou zábavou teenagerů. „Zahrajeme si hru…“ „Teď máš roli…“

Potíž se všemi daty a s vylepšováním je v tom, že jsou mnohdy netransparentní, takže se výsledný AI model stává „černou skříňkou“. Víme, jaké jsou vstupy a jaké výstupy, ale samotný proces rozhodování je pro běžného uživatele neprůhledný.

Pokud není zřejmé, jak AI aplikace k rozhodnutí došla, ztěžuje to možnost zpětné kontroly a nápravy chybných či předpojatých výsledků. „Například v oblasti medicíny, kdy AI pomáhá při diagnostikování nemocí, je obzvláště důležité mít možnost porozumět tomu, proč systém navrhl určitou léčbu. Bez vysvětlitelnosti hrozí, že lékaři i pacienti budou systémy buď slepě následovat, nebo zcela odmítat,“ píše ve své práci Michal Šosták z Fakulty informatiky Masarykovy univerzty v Brně.

Podobný problém budeme mít i v mnoha jiných oblastech. Co kdybychom třeba nezjistili, že soudní AI systém rozhodl o délce trestu špatně? A co když rozhodne AI bankovní systém o tom, kdo dostane půjčku, na základě barvy bot a dne v týdnu, ale my se to nedozvíme?

Samy velké vývojářské společnosti jako Google, OpenAI či Microsoft nebo provozovatelé sociálních sítí jako Meta, X, YouTube a TikTok by měli být ohledně svých produktů teoreticky transparentní. Jenže na tohle se bohužel úplně spoléhat nedá.

Soukromé společnosti chrání svá know-how jako obchodní tajemství. Výsledkem je, že mnoho z nás „věří“ algoritmům, aniž bychom věděli, jak fungují. Někdy však může jít o tzv. „snakeoil“ – produkty, jež slibují zázraky bez reálného základu, upozorňuje Josef Holý.

Navíc někdy už fungování složitých modelů nerozumí ani sami tvůrci: model je černou skříňkou paradoxně i pro ně. „Odtud pramení nutnost tazvané vysvětlitelné AI – explainable AI, tedy srozumitelné konstrukce modelu, abychom věděli, proč přesně model dělá to, co dělá, a byli schopni kontroly i případné nápravy,“ říká Josef Holý. Pro vysvětlitelnou AI se vžila také zkratka XAI.

Modely XAI jsou zkrátka ty, které umožňují zobrazit, jak byla daná AI natrénovaná a jaké faktory při rozhodnutí zohlednila. Tím poskytují odborníkům šanci správně interpretovat a případně zpochybnit rozhodnutí systému.

Zároveň roste společenská shoda na tom, že lidská kontrola je ve strategických a společensky citlivých oblastech stále nezbytná. Konečné slovo musí mít vždy lidé, odborníci v oboru. Jakmile necháme rozhodovat nějaký důležitý systém a z vlastní pohodlnosti nebo z jiných důvodů se vzdáme kontroly, můžeme za chvíli žít v dystopické společnosti plné nikoli umělé inteligence, ale umělé stupidity.

Rovněž autonomní vozidla by měla mít nouzové mechanismy, které umožní převzít řízení člověku. Rozhodování o lidských osudech, jako například zmíněné udělování úvěrů či určování výše trestu, by nemělo být nikdy zcela svěřeno jen strojům.

Často zaznívají kritické hlasy ohledně regulací AI na úrovni Evropské unie. Někteří lidé považují jakékoli právní regulace za brzdu pokroku a věří, že veškeré potíže vyřeší trh. Jenže to neodpovídá realitě. Etické kodexy jednotlivých firem se mohou lišit a my nemáme záruku, že se jich dané firmy opravdu drží. „Jak můžeme věřit firmám, které za 20 let nedokázaly uspokojivě vyřešit problém přenosu informací v sociálních sítích, čímž zvětšují trhliny ve společnosti a podporují šíření dezinformací a propagandy, že postaví etickou AI?“ ptá se Josef Holý.

Pomoci se stanovením základních pravidel ohledně umělé inteligence by nám měl na evropské úrovni takzvaný AI Act – dokument Evropské komise, který vstoupil v platnost letos v srpnu. Na úrovní menšího státu se s vámi žádná z velkých nadnárodních firem typu Google, Meta či OpenAI nebude bavit jako s partnerem. Pokud však takové společnosti hrozí ztráta celého evropského trhu, je vyjednávací pozice najednou jiná.

„Podle Evropské komise by měl poskytovatel modelů provádět takzvaný risk assessment, hodnotit možná negativní rizika a uvádět opatření, která jim mají předejít,“ říká Josef Holý.

Některé typy aplikací a systémů jsou z bezpečnostního hlediska přímo zakázány (viz zakázaná AI), například kreditový sociální systém, manipulace s chováním lidí a obcházení jejich svobodné vůle. Jiné jsou vyhodnoceny jako vysoce rizikové a je u nich požadován odborný dohled – například zdravotnictví, kritická infrastruktura, vymáhání práva, přístup ke službám. Z hlediska funkce jsou předpisy jiné pro chatboty či generátory obrazu a pro komplikovanější systémy obecného použití.

AI je dalším technologickým vývojovým stupněm po vzniku internetu a už tu s námi zůstane. „Ve chvíli, kdy máme kyj, jsme na něm závislí, protože bez něj je větší šance, že nás sežere tygr,“ připomíná David Černý analogii s technologickými nástroji.

Stejně jsme dnes závislí na internetu, sítích a inteligentních systémech. Zásadní je ale vzdělanost a informovanost celé společnosti. Lépe informovaná veřejnost dokáže vyvíjet tlak na vlády a firmy, aby přijaly potřebná etická opatření.

AI by měla být nástrojem posilujícím naše lidské a demokratické hodnoty, nikoli podrývajícím důvěru v ně. Také Josef Holý zdůrazňuje, že jako společnost musíme diskutovat o tom, jaká pravidla pro nasazení AI chceme. „Bez otevřené debaty hrozí, že normy budou určovat ti nejsilnější hráči, kteří nemusí mít etické priority na prvním místě.“