Průlom: Roboti s vlastní morálkou a povolením zabíjet začínají válčit

Analýzu si také můžete poslechnout v audioverzi.

Stroje jsou nejvýkonnějšími zabijáky. Největší část zabitých a zraněných ve válkách 20. století mělo na svědomí dělostřelectvo. Na ukrajinském bojišti jsou z různých důvodů největšími zabijáky drony. Za každou strojem způsobenou smrtí je ovšem skrytý člověk, který o ní rozhodl. Zatím se nestalo, že by stroje samy rozhodovaly o tom, kdo zemře.

Což se v dohledné době může změnit. V souvislosti s ruskou invazí na Ukrajinu se o nasazení „zabijáckých robotů“, tedy autonomních zbraní, totiž nejen mluví, ale rovnou se s ním ve větším měřítku experimentuje.

Nejčastěji jde o zbraně, především drony, vybavené schopností „strojového vidění“. Obvykle to probíhá tak, že operátor cíl vybere, počítač na palubě dronu si ho „zapamatuje“, a pokud ztratí spojení s pilotem, doletí k němu sám a sám na něj zaútočí.

Není to vůbec dokonalý systém a v praxi se stále používá jen výjimečně. Ale systémy se vyvíjejí a především Ukrajina, ale i Rusko této oblasti věnují pozornost. A obě strany minimálně mluví o tom, že jejich cílem je vyvinout zbraně, které by se dokázaly rozhodovat lépe a efektivněji než dnešní, stále poměrně poruchoví a nespolehliví „vojáci“.

Na co v ukrajinských či ruských zdrojích narazíte podstatně méně často, jsou debaty o možném omezení technologie „robotických zabijáků“. V sázce je příliš mnoho. Přitom se dlouhé roky zdálo, že regulace autonomních zbraní by minimálně na papíře mohla skutečně vzniknout.

Možná si pamatujete kampaň „Stop Killer Robots“. Její představitelé i řada dalších argumentují, že autonomní smrtící systémy jsou eticky nepřijatelné, a volají po podobném mezinárodním zákazu, jaký platí pro chemické nebo biologické zbraně. Jejich postoj podpořil i generální tajemník OSN António Guterres, který veřejně prohlásil, že stroje schopné zabíjet bez lidského rozhodnutí jsou „politicky nepřijatelné a morálně odpudivé“.

Už od roku 2014 probíhají v rámci OSN debaty o této problematice. Zatím ovšem vyústily v nezávazné principy. Ty zdůrazňují, že v rozhodnutí o nasazení síly by měl vždy být zapojený člověk. Nicméně k závazné mezinárodní dohodě se státy zatím nedokázaly přiblížit. Ačkoli koncem roku 2023 hlasovalo 152 zemí pro zahájení jednání o nové smlouvě k autonomním zbraním, významné státy jako USA nebo Rusko byly proti.

A i když se na letošní rok plánují další jednání, průlom se od nich nečeká. Robotičtí vojáci na to mají příliš velký potenciál, jak válka na Ukrajině dobře ilustruje.

Jasná definice zatím neexistuje, o přesné znění se stále vedou diplomatické a odborné debaty. Puntičkář by mohl trvat na tom, že „autonomní zbraně“ jsou třeba i miny – zařízení schopná zabíjet bez přímého lidského zásahu. Ostatně, i před válkou na Ukrajině už armády nasazovaly poměrně pokročilé zbraně schopné samostatně vyhledat a zasáhnout cíl.

Často zmiňovaným příkladem jsou izraelské letouny Harpy, které létají nad vybraným územím, a když objeví radar protivníka, samy na něj zaútočí. Není to zdaleka jediný případ takto „samostatné“ zbraně.

To ale neznamená, že diskuse o definici je pouze akademická hra. Například Rusko v rámci jednání o regulaci autonomních zbraní navrhlo definici, jež by prakticky všechny současné „inteligentní“ bomby a bezpilotní letouny ze skupiny autonomních zbraní vyřadila.

Dle ruského návrhu je autonomní smrtící zbraní pouze „plně autonomní bezpilotní technický prostředek kromě munice, určený k bojovým nebo podpůrným misím, zcela bez jakéhokoliv zásahu operátora“. Rusko proto odmítá diskutovat o dronech jako o autonomních zbraních, protože je považuje za „vysoce automatizované“, ale stále řízené člověkem.

Obvykle se ovšem pod autonomní zbraní rozumí zařízení, které je schopné samostatně najít cíl, rozhodnout o jeho zničení a zaútočit bez dalšího lidského pokynu.

Takové zbraně na bojišti – pokud tedy víme – nejsou, rozhodně ne ve větších počtech (byť to není ani tak nedostatkem snahy jako spíše nedostatky technologickými). Ale celkem není pochyb, že nasazení podobných technologií bude dále narůstat – jednoduše proto, že možných výhod je tolik.

Konflikt na Ukrajině zároveň ukazuje, že dokonale propojené a online dostupné bojiště je iluze. Elektronický boj – tedy rušení komunikace, signálů GPS či radarů – je dnes nedílnou součástí moderní války.

Právě rušení signálu mezi operátorem a jeho strojem je dnes hlavním způsobem obrany proti malým kamikadze dronům. A pokud budoucí armády nechtějí dopadnout jako ta ruská, která za rok na Ukrajině přichází kvůli dronům o tisíce kusů různé techniky, budou se muset v této disciplíně ještě zlepšit.

Jedním řešením problému naprosto „zarušeného bojiště“ jsou právě samostatně se rozhodující zbraně. V jejich případě se vše důležité odehrává na palubě stroje, s nikým se spojovat nemusí. Nemusí přitom jít jen o důsledek rušení. Někdy je komunikace obtížná ze samotné podstaty daného prostředí – například pod hladinou světových moří a oceánů.

Hlavní výhodou je rychlost a efektivita rozhodování: stroj nepotřebuje dlouho zvažovat možnosti ani necítí stres z boje. Umělá inteligence dokáže rychleji vyhodnocovat velké množství informací a reagovat mnohem pružněji než lidský velitel. Další výhodou je snížení rizika pro vlastní vojáky. Armáda jich sice nebude potřebovat výrazně méně – autonomní systémy vyžadují značnou logistickou a technickou podporu – ale většina lidí už nebude přímo v první linii.

Autonomní systémy také slibují vojenskou výhodu ve formě odstrašení protivníka – nepřítel ví, že čelí zbraním, které nepřestanou fungovat ani při narušení spojení či komunikace.

Dobře naprogramovaná autonomní zbraň také může být poměrně šetrná. Stroj necítí únavu, strach ani frustraci. Má-li dobře nastavená pravidla, nemusí se dopouštět tragických omylů, ke kterým často dochází pod tlakem v chaotickém boji, o válečných zločinech nemluvě.

Důležitým praktickým benefitem je také „výcvik“ robotů – respektive jeho jednoduchost. Software, který dokáže řídit autonomní bojový stroj, stačí zkopírovat a nahrát do dalšího zařízení. Na rozdíl od vojáků jej není potřeba individuálně cvičit, což je z hlediska rychlosti nasazení zásadní rozdíl.

Umělá inteligence přitom zjevně nebude v dohledné době nijak vzácná. Její vývoj je strategickou prioritou nejen pro armády, ale i pro vlády a soukromé firmy. Řada technologií vyvinutých pro civilní použití může být relativně snadno převedena do vojenského prostředí. To bylo na Ukrajině vidět znovu a znovu.

Svou roli hraje i to, že „samostatnost“ nemusí v řadě případů být technicky příliš obtížná. Řada současných zbraní už zvládne některé úkony sama (od autopilota až po plánování mise dle aktuálních podmínek). K tomu, aby se změnily v „robotické zabijáky“, může tedy stačit jednoduše softwarový update.

Doba „robotů s povolením zabíjet“ přitom přijde postupně. Jak bylo řečeno, v podstatě již dnes existují. Otázkou je, co se stane, až budou obrazně řečeno „na každém kroku“.

Zmíněná Harpy je příkladem velmi specializované technologie, která se příliš snadno nezmýlí – radar nepřátelského protiletadlového systému opravdu nelze snadno zaměnit s ničím jiným. I když vaše mikrovlnná trouba pracuje na podobném principu, pravděpodobnost tragické chyby je minimální.

Obavy mnohem spíše panují z toho, že podobná technologie dospěje do stádia, kdy bude možné „robota zabijáka“ vyrobit tak levně, aby se používaly i proti menším cílům, dokonce i jednotlivým pěšákům. Lidé jsou mnohem snáze zaměnitelní než radary a mikrovlnky.

Ale to platí jen v teorii. Zkušenosti ukazují, že žádný systém není bezchybný. Pokud se stroj „splete“, může být výsledkem tragédie – neúmyslná smrt civilistů nebo útoky na vlastní jednotky. Lidský velitel má (nebo by alespoň měl mít) schopnost soucitu a porozumění, stroj nikoliv. V konečném důsledku se tak podoba války může zásadně změnit – a s ní i to, jakým způsobem vnímáme naši vlastní odpovědnost za ni.

Pokud nějaká autonomní zbraň způsobí smrt nevinných lidí, kdo ponese vinu? Operátor, který ji vypustil do boje? Velitel, který ji schválil? Programátor, který napsal kód? Nebo snad stroj sám?

Problém spočívá také v tom, že rozhodování umělé inteligence není vždy lidsky pochopitelné. Ve veřejné diskusi často zaznívají analogie s lidským myšlením nebo biologickými procesy. Jenže algoritmy prostě neuvažují jako člověk. Moderní AI systémy, především založené na strojovém učení, bývají často označované jako „černá skříňka“. Ani jejich tvůrci neví, proč stroj rozhodl právě tak, jak rozhodl.

Nejen dnešní právo na takovou situaci není připraveno. Vzniká „mezera v odpovědnosti“, v níž nemusí být zjednodušeně řečeno jasné, kdo za co může. Agresoři se za anonymními stroji mohou skrýt mnohem snadněji než za „zelenými mužíky“.

Pesimisté se také obávají, že lidé by mohli svěřit autonomním systémům rozhodnutí o nasazení nejničivějších zbraní – třeba těch jaderných. Argumenty pro takové řešení jsou jasné: umělá inteligence nezná strach, nerozhodnost ani paniku.

I tady při špatném nastavení ale hrozí řada potenciálních problémů. Například výhoda rychlé reakce může být zároveň slabinou. Když jedna autonomní zbraň reaguje na pohyb nepřátelského systému, může dojít k řetězové reakci, kterou už nikdo nedokáže zastavit. Mimo jiné i proto, že v situaci, kdy je protivník bleskově rychlý, se váhání nevyplácí.

Historické zkušenosti přitom jasně ukazují, jak vážné mohou být důsledky chyb automatických systémů. Během studené války měly obě supervelmoci automatizované systémy včasného varování před raketovým útokem. Několikrát došlo k situaci, kdy tyto systémy vyvolaly falešný poplach.

Nejslavnějším příkladem je incident z roku 1983, kdy sovětské satelity hlásily útok amerických raket. Důstojník Stanislav Petrov tehdy vyhodnotil situaci jako technickou chybu a nezačal odvetný úder.

Kdyby byl na jeho místě stroj řízený algoritmem, který automaticky reaguje na „jisté“ signály útoku, výsledek mohl být katastrofální. Jak k tomu poznamenal jeden z kritických hlasů v debatě o autonomních zbraních: „Kdyby tehdy rozhodovala AI, mohli jsme být všichni mrtví.“

V blízké budoucnosti snad ovšem umělá inteligence bude na bojištích světa rozhodovat „jen“ o individuálních životech než osudu celého lidstva. Jak přesně, to bude nejvíce ze všeho záležet na konkrétním kódu, který jí její autoři dají do vínku. Zda a jaké bude obsahovat „bugy“ s možnými smrtícími dopady, je tedy nemožné předvídat.