Chybovat je lidské. Ale dokážeme to vysvětlit umělé inteligenci?

Článek si také můžete poslechnout v audioverzi.

V půlce července referovala média o čínské spisovatelce píšící pod pseudonymem Mitu, které byl zabaven její nedokončený, mnohasetstránkový rukopis nového románu.

Na tom by nebylo nic až tak divného, v totalitních zemích se tohle stává. I v komunistickém Československu si zakázaní spisovatelé pořizovali kopie svých rukopisů pro případ, že by jim je zabavila StB.

Čínský příběh je zajímavý něčím jiným. Žádná policie v něm nefiguruje, aspoň ne očividně. Mitu používala online textový editor, podobný Google Docs, na kterém mimochodem píšu já i tenhle text. A že něco není v pořádku, zjistila tak, že si doma sedla k počítači a svůj rukopis nemohla otevřít.

WPS, což je jméno dotyčného textového editoru, má v Číně 300 milionů uživatelů. Je starší než Google, protože jako software je na trhu už od roku 1989. Pouze později přejal online model, který používá Google. Provozuje ho firma Kingsoft.

Služba autorce oznámila, že soubor je „zamčen“, protože v něm byl zjištěn „ilegální obsah“. Čínský server The Economic Observer později informoval, že něco podobného už hlásilo víc autorů a spisovatelů. Kingsoft v tiskové zprávě celkem neurčitě napsal, že podle čínských zákonů mají všechny online platformy „povinnost monitorovat obsah, který se na nich sdílí“.

Bonbonkem je fakt, že v románu Mitu nejspíš nic nelegálního (a tedy v případě Číny ani protistátního) nebylo. O tom, že by text mohl být problematický, rozhodl algoritmus. Nejspíš podle výskytu „podezřelých“ slov.

Případ vzbudil i v Číně značně negativní reakci. Firma uživatele ujistila, že nemonitoruje všechny napsané texty, ale „pouze“ ty, které byly sdíleny. A Mitu svůj rukopis sdílela s redaktorem vydavatelství, které knihu plánuje vydat.

Firma se spisovatelce omluvila a během dvou dní její přístup k textu obnovila. Případ uzavřen, dalo by se napsat.

Ale ne tak docela. S podobnými událostmi se budeme setkávat čím dál častěji, a nejen v Číně. Vlastně to s politikou ani moc nesouvisí. Zajímavá je kombinace dvou faktorů: 1. velmi efektivní, rychlé a supervýkonné umělé inteligence a 2. pomalého, neefektivního a nespolehlivého lidského aparátu.

Paradoxně se dá říct, že v tomhle případě pomohlo to, že Čína je do značné míry totalitním státem. Hodně lidí cíleně a dlouhodobě vystavuje represi. Takže když se takový incident stane „omylem“, dohlédnou aparátčíci na to, aby se věc rychle napravila.

Z čehož plyne, že když se vám něco podobného přihodí v Americe, jste v mnohem větších problémech.

Například jako Mark, který žije s manželkou v San Francisku a mají malého syna. Nemluvně. Onemocnělo nějakou infekcí a natekl mu pindík. Penis, jestli si rozumíme.

Markova žena zatelefonovala do zdravotního centra, aby domluvila konzultaci s lékařem. Píše se únor 2021, svět je uprostřed covidové pandemie. Konzultace má proběhnout přes videohovor. Sestra řekla, že nejlepší bude, když nejdřív penis svého syna vyfotí a pošle, aby se na to pan doktor podíval. Ona vzala manželův Samsung, udělala několik fotek a poslala je.

Dobrá zpráva je, že se jednalo o jakýsi běžný zánět, na který lékař předepsal na dálku antibiotika, a otok velmi rychle zmizel. Všechno bylo zase v pořádku.

Špatná zpráva je, že fotografii dětského penisu detekovala umělá inteligence, která monitoruje účty svých uživatelů služby Gmail. Poslala Markovi informaci, že deaktivovala jeho účet, protože v jeho poště zaznamenala „škodlivý obsah“, který „vážně porušuje zásady společnosti Google a může být nezákonný“.

Uf, Mark vůbec netuší, o co jde, a tak hned píše do Googlu, aby se na to zeptal, jenže… Jeho e-mailový účet je zrušený. Naštěstí má ještě nějaký starší e-mail, tak použije ten. Ale problémy se začínají vrstvit, nejenže Mark nemá e-mail, ale protože je jeho účet zrušený, nemá přístup ani ke svému kalendáři, fotkám uloženým v cloudovém albu a svým dokumentům. 

Mimochodem, to by byl pro mě velký problém, protože už dva roky používám Google Docs jako v podstatě jediný textový editor. Mám v cloudu uloženy nejen své publikované texty (jejich zmizení z cloudu zas tak velký problém není, jsou veřejně na webu), ale i všechny ostatní poznámky, odkazy atd.

Zpátky k Markovi: píše do Googlu, ale zhruba ve stejný moment mu dochází, co se vlastně stalo. Ano, je to ta fotografie pindíka jeho malého syna. Mark se úlevně zasměje. Došlo k nedorozumění. Takže teď se věc snadno vyřeší.

Jenže nevyřešila. Ironií osudu je, že Mark v té době pracoval pro jinou technologickou firmu, která se mimo jiné zabývala vývojem softwaru vyhledávajícího „škodlivý“ obsah. Předpokládal, že chybu algoritmu napraví „lidský“ faktor, jednoduše člověk, který se na fotky podívá, pochopí kontext a všechny restrikce zruší.

Místo toho mu Google oznámil, bez dalšího vysvětlení, že jeho účet neobnoví. V druhé polovině srpna o kauze napsal deník New York Times, to od zrušení Markova účtu uběhl už rok a půl. Firma se ke konkrétním událostem nevyjadřuje, k dispozici jsou jen statistiky. Jen za rok 2021 Google nahlásil 600 tisíc případů, kdy bylo vážné podezření ze zneužívání dětí. Zhruba 270 tisícům lidí zrušil jejich účty. 

Loni v prosinci Mark dostal dopis z policie v San Francisku, který ho informoval, že proti němu bylo zahájeno vyšetřování. Zároveň si policie od Googlu soudním příkazem vyžádala všechna jeho data: dokumenty, poštu, údaje o pohybu i historii internetového vyhledávání.

Svým způsobem to byla dobrá zpráva, protože konečně bylo možné někomu nedorozumění vysvětlit. Což Mark udělal a policie případ rychle uzavřela s tím, že k žádnému zločinu nedošlo. Ale když ji Mark požádal, aby v tomto smyslu informovala Google, dostal odpověď, že to si musí vyřešit sám.

Uběhl další víc než půlrok a jediné, co se Mark dozvěděl, bylo to, že Google jeho účet „permanentně“ zrušil. Zjišťoval, kolik by ho stálo se s firmou soudit, ale došel k tomu, že by to byly minimálně tisíce dolarů, a ještě s nejistým výsledkem. Mark se stále snaží získat aspoň některé z dokumentů, o které přišel. Článek v New York Times končí informací, že jeho asi poslední nadějí je flashdisk s kopií jeho dat, který získala díky soudnímu příkazu od Googlu policie. Mark zkoumá možnosti, jak je získat aspoň od ní.

Je to otřesný případ, hned na několika úrovních. Dvě ponaučení vyplývají jaksi automaticky a okamžitě.

Za prvé, pokud používáte jakékoli cloudové služby, musíte si uvědomit, že o přístup k nim můžete kdykoli přijít. Za měsíc, zítra, nebo klidně i za pět minut. Může to být z jakéhokoli důvodu, se kterým vůbec nemusíte mít nic společného. Takže jestli jsou některá z těchto dat pro vás důležitá, měli byste si je zazálohovat. Ideálně na hardware, který si doma dáte do šuplíku.

A za druhé, musíte počítat s tím, že někdo – nebo něco, tedy nejspíš nějaký algoritmus – má přístup ke všemu, co děláte. Může číst vaše e-maily i zprávy, poslouchat vaše hovory, prohlížet si vaše fotografie. Dívali jste se vždycky s údivem na to, jak v Amsterdamu mohou žít lidé v bytech s velkými okny bez záclon a do ulice a vidí na ně všichni kolemjdoucí? Tak v digitálním světě je to přesně takhle, jen ještě stokrát horší, a technologické firmy vidí úplně VŠECHNO.

Není to důvod rozbít svá digitální zařízení kladivem a odstěhovat se do lesů. Ale je dobré si to uvědomit. A pochopit, jak velkou moc firmy mají.

Ani měsíc poté, co o kauze informovalo nejvlivnější médium v zemi, nemám informace o tom, že by se Google s Markem nějak dohodl. V demokratické zemi nemůže nikdo soukromé firmě nic nařídit. Jak už bylo řečeno, můžete se s ní soudit, ale zároveň víte, že to bude dlouhé, drahé a nejisté.

Samozřejmě se na věc lze podívat z opačného konce. Monitorování obsahu pomůže každý rok jen v USA upozornit na tisíce dětí, které jsou nějakým způsobem sexuálně zneužívané. Některým z nich to asi i zachrání život. Jednotky případů, kdy se omylem stanou oběťmi nevinní uživatelé, jsou daní za nedokonalost technologií. 

I když vlastně ne, tohle není případ ukazující na omylnost technologií. Naopak ukazuje na neschopnost uznat, že k omylu došlo. Technologie nevěří na své chyby a neuznávají jejich existenci, zjednodušeně řečeno. A neschopnost Googlu napravit nedorozumění ukazuje, že pro nás, kteří s technologiemi žijeme, je jednodušší to prostě přijmout.

Lidský svět je založen na tom, že děláme chyby, chováme se neracionálně, věříme na zázraky a pleteme se v tom, co je dobro a zlo. Většinou jsou to vlastnosti, které nám život komplikují. Ale je to součást té krásné a zároveň zrádné věci, které říkáme svoboda. 

Algoritmizovaný svět technologií nic takového nezná. Sci-fi autoři a někteří vizionáři někdy varují před momentem, kdy se stroje začnou příliš podobat lidem a přejmou naše špatné vlastnosti, nebo je dokonce použijí proti nám.

Řekl bych, že realističtější je jiná možnost. Že se mnohem dřív my začneme nebezpečně podobat strojům. Popsaná kauza ukazuje, že už se tak nejspíš děje.