Článek
Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!
Že lidmi vytvořené expertní systémy (tedy AI) mohou přebírat kolektivní stereotypy a předsudky, není nic nového. Určitě jsme ještě ani zdaleka nevyzkoušeli a neodhalili všechny způsoby, jak nespravedlivá umělá inteligence může být. Protože může jít o otázku klíčovou, někdy doslova otázku života či smrti, už se na této problematice pracuje – někdy cíleně a někdy vlastně nedopatřením.
První zmíněná možnost platí pro výzkum skupiny amerických lékařů a dalších odborníků, jehož výsledky shrnuje nový článek v Lancet Digital Health. Ukazuje, že umělá inteligence může být schopna rozpoznat rasu z lékařských snímků, byť lidští experti vůbec nevědí, podle čeho by něco takového mohli poznat. Pouze na základě rentgenových snímků a snímků z CT skeneru (a dokonce snímků jen částečných či hodně upravených) dokázal vytrénovaný systém určit rasu s přesností přibližně 90 %.
„Když mi moji postgraduální studenti ukázali výsledky z výzkumu, domníval jsme se, že to musí být omyl. Vážně jsem si myslel, že se zbláznili,“ komentoval na první pohled nepochopitelný závěr experimentu Marzyeh Ghassemi z MIT pro noviny Boston Globe.
Software totiž zjevně dokázal v několika rozsáhlých databázích snímků najít nějaké společné rysy, které lidskému oku zatím unikly. Autoři například spekulovali, zda algoritmus nedokáže identifikovat drobné anatomické rozdíly ve stavbě kostí (lidé afrického původu mají třeba „hustší“ kosti než bílí), ale tak tomu zjevně nebylo.
Software rasu určil zjevně podle něčeho úplně jiného. Vedl si totiž velmi přesně i v případech, kdy byly snímky upraveny natolik, že na nich prostě nebyly žádné rozpoznatelné struktury. Lidským spoluautorům a radiologům při pohledu na ně nebylo vůbec jasné, že se vůbec jedná o rentgenový snímek – viz dva níže uvedené příklady. Platilo to samozřejmě jen do určité míry, u velmi pozměněných snímků software zjevně pouze hádal.
Ukázka dvou pozměněných radiologických snímků, na jejichž základě ještě software dokázal velmi spolehlivě – téměř na 90 procent – určit barvu kůže pacienta.
Autoři také poměrně dobře dokázali vyloučit možné vnější faktory. V sadách „tréninkových dat“ byla řada snímků lidí různé rasy ze stejných nemocnic, ba přímo ze stejných přístrojů. Nezdá se tedy pravděpodobné, že by software určoval rasu třeba jen na základě nějakého pro nás snadno přehlédnutelného vnějšího faktoru (například že členové etnických minorit chodí do horších nemocnic a snímky jsou horší kvality nebo konzistentně z jiných typů přístrojů).
Jedna domněnka autorů je, že ve snímcích je nějak zakódováno množství melaninu v kůži, ovšem přesnou podobu tohoto procesu neznají. Zatím je tedy lepší předpokládat, že tahle domněnka je výrazem naší neschopnosti pochopit, jak tihle noví „mimozemšťané“ vlastně fungují.
Polidštění mimozemšťanů
Skutečnost, že software dokázal spolehlivě poznat barvu kůže pacienta jen podle rentgenu, není pochopitelně sama o sobě nic špatného. Z medicínského hlediska to může být i přínosné, protože drobné rozdíly mezi pacienty různých etnik skutečně existují. Jde ovšem podle všeho o marginální rozdíly, které hrají ve výsledku menší roli než náš přístup k otázce „rasy“.
Vžitá očekávání a představy mohou v důsledku ovlivňovat průběh léčby mnohem více než genetické rozdíly mezi etniky. Například data z USA ukazují, že novorozenci z nejbohatších afroamerických rodin umírají dvakrát častěji než děti z nejbohatších bílých rodin (dobře shrnuté v NY Times). V obou případech jde o velmi bohatou skupinu obyvatel, ale ani to samo o sobě zjevně nezaručuje úplnou rovnost v přístupu k péči (a to ani v zemi, kdy peníze v tomto ohledu mají ještě větší vliv než v Česku).
Afroamerickým pacientům se také z nejasných důvodů (určitě ne otevřeného rasismu) předepisovalo méně léků proti bolesti. Snad proto, že část veřejnosti a lékařů se kvůli zažitým předsudkům domnívala, že tmavá kůže znamená vyšší odolnost proti bolesti.
Otázka tzv. strukturálního rasismu se rozhodně vymyká rozsahem tomuto textu. Faktem ovšem je, že nerovnosti existují, a AI jim může snadno poskytnout punc „objektivní pravdy“, pokud se tomuto riziku nebude věnovat patřičná pozornost. Kdyby se AI vycvičila prostě na stávajících datech, dospěla by možná také k závěru, že černoši mají „hroší kůži“, jejich děti častěji umírají před prvními narozeninami – a tak to prostě je a musí být.
Naše „mimozemšťany“ by bylo tedy záhodno před vypuštěním na svobodu polidštit. A to je velmi nevděčná a bolestivá práce. Jak se přesvědčila nedávno skupina keňských agenturních pracovníků, kteří měli za úkol zbavit některých neřestí nejznámější AI současnosti.
Nevděčné čištění dat
Nástroj ChatGPT od společnosti OpenAI je asi prvním, který laikům předvedl, co zvládnou velké jazykové modely, tedy AI zaměřené na jazyk. Jde ovšem pořád pouze o prediktivní model, který de facto předpovídá, jaké by mohlo být příští slovo v daném textu. Může tak dělat chyby – a někdy také vytvářet slovní spojení či obrazy, při kterých by byl v šoku i otrlý návštěvník internetu.
Rasistické, sexistické či prostě zvrhlé výplody AI jsou samozřejmě pro jejich provozovatele velmi nežádoucí reklamou. Vývojové týmy se snaží všemožně jejich vznik podchytit a maximálně omezit, a tak se u těch největších modelů, třeba právě ChatGPT, objeví pouze, pokud uživatel vyvine opravdu velikou snahu (jeden nedávný příklad).
Na druhou stranu tento problém zatím nemá elegantní systémové řešení; AI jsou jednoduše nemorální. Musí se tedy postupovat opatrně a prostě zakázat všechno, co by se dělat nemělo. Vylučovat takové případy je ovšem nutné ručně, a někdo tedy musí určit, co se ještě smí a co už ne.
V případě ChatGPT minimálně část práce na vytvoření nutných filtrů připadla keňským pracovníkům, kteří vydělávali méně než dva dolary za hodinu, ukázala investigace časopisu Time.
Podle reportéra Billyho Perrigoa měli dotyční pracovníci za úkol číst a označovat texty vytažené z „nejtemnějších zákoutí internetu“. Perrigo uvádí, že nejhůře placení z těchto pracovníků vydělávali minimálně 1,32 dolaru po zdanění a maximálně 1,44 dolaru po zdanění za hodinu (tj. zhruba 30–40 Kč/hod), a to na základě délky praxe a výkonu.
Samotná OpenAI je jedna z nejžhavějších komodit na trhu s IT společnostmi. Microsoft v současné době jedná s OpenAI o možné investici ve výši 10 miliard dolarů. To by znamenalo, že softwarový gigant oceňuje celou společnost zhruba na 29 miliard dolarů.
Za outsourcovanou prací stála společnost Sama (dříve Samasource) se sídlem v San Francisku, která se prezentuje jako „etická AI společnost“, jejímž „posláním je propojovat lidi s nízkými příjmy s digitální prací“. Společnost zaměstnává lidi v Keni, Ugandě a Indii a poskytovala služby označování dat pro společnosti jako Google, Meta a Microsoft.
OpenAI spolupráci se Sama potvrdila a přiznala také to, že šlo o práci na filtrování toxického obsahu pro ChatGPT. Bez něčeho takového by to prostě nešlo: „Klasifikace a filtrování škodlivého [textu a obrázků] je nezbytným krokem k minimalizaci množství násilného a sexuálního obsahu zahrnutého do tréninkových dat a k vytvoření nástrojů, které dokážou škodlivý obsah odhalit,“ uvedl mluvčí společnosti pro Time.
Autor článku v Time vyzpovídal čtyři pracovníky společnosti Sama, kteří popsali, že se cítí prací „psychicky poznamenaní“. Tři řekli, že se od nich očekávalo každý den přečíst 150 až 250 úryvků explicitního materiálu (Sama to popírá a tvrdí, že maximum bylo 70 kusů denně).
Sama vypověděla smlouvu pro OpenAI v únoru 2022, tedy o osm měsíců dříve, než byl původní termín. Částečně to bylo údajně kvůli povaze práce, svou roli mohla hrát i další reportáž Time z února 2022. Ta popisovala spolupráci Sama se společností Meta. V ní se mimo jiné psalo o tom, že moderátoři obsahu pro Metu si vydělávali 1,50 dolaru na hodinu za traumatizující práci, při které se setkávali se záběry poprav, znásilnění a zneužívání dětí.
Jinak řečeno, keňská „fabrika na filtry“ společnosti OpenAI rozhodně není výjimkou. Vývoj této technologie vyžaduje spoustu velmi mechanické lidské práce typu označování obsahu. Z velké části se odehrává v rozvojových zemích, protože tam je prostě práce nejlevnější.
Práce těch, kdo dělají AI morálnější, je nejen diskutabilně ohodnocena. Problémem je i to, jak je „neviditelná“. Bez dobrého povědomí o tom, kolik údržby a dřiny vlastně AI vyžaduje, vzniká dojem, že jde o plně funkční a soběstačné nástroje, kterým bychom mohli svěřit rozhodování třeba o naší zdravotní péči. A pak bychom byli překvapeni, co se vlastně v datech objeví.
V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.
