Politici se baví o AI ve válce. Zatím je zřejmě čas, vývoj je však překotný

Článek si také můžete poslechnout v audioverzi.

Ještě před setkání amerického a čínského prezidenta tento týden v Kalifornii se objevila informace, že jedním z hlavních bodů by měla umělá inteligence.

Podle zdrojů listu South China Morning Post by oba prezidenti měli stanovit pravidla, která by nějakým způsobem omezila nasazení umělé inteligence v ovládacích systémech jaderných zbraní a dalších druhů výzbroje, snad včetně dronů. Pro obě země už ale vojenské využití AI zcela zjevně představuje vážné téma.

V únoru například Spojené státy představily nový právní a diplomatický rámec, který usiluje o globální konsenzus ohledně vývoje a nasazení vojenské umělé inteligence. Iniciativu podpořily téměř čtyři desítky zemí včetně České republiky. Na příští rok se plánuje setkání, na kterém by se mělo konkrétněji debatovat o možných předpisech v této oblasti.

V říjnu Bidenova administrativa rovněž oznámila požadavky na schvalování „pokročilých“ produktů využívajících AI. Podle nových pravidel musí takové iniciativy získat certifikaci federální vlády, která zajistí, že nemohou být znovu použity k výrobě biologických nebo jaderných zbraní. Vláda tak dala najevo, že alespoň některé typy umělé inteligence vnímá jako citlivé technologie, které úzce souvisí s kategorií zbraní hromadného ničení.

Čínské ambice ohledně AI nejsou žádným tajemstvím. Jde o jeden z klíčových státem podporovaných programů a základních kamenů čínské hospodářské strategie pro příští desetiletí. Méně už se ví o programech čínské armády, která rozhodně má své projekty na vývoj autonomních zbraní.

I když nemůžeme zatím dopady dohody přesně hodnotit, na místě je určitý skepticismus. O převratnou změnu asi nepůjde. Prezident Biden totiž nemá pravomoc takovou dohodu s jiným státem sjednat a podepsat bez účasti zákonodárců.

Peking se také podle analytiků notoricky vyhýbá dohodám, jejichž dodržování by vyžadovalo vzájemnou kontrolu – a skutečně efektivní a vymahatelná dohoda se bez nějakého mechanismu kontroly jejího dodržování asi neobejde. Nejspíše tedy půjde jen o nějaké společné prohlášení, které by mohlo být začátkem další debaty (zatím poměrně bezzubé, jak jsme už psali v březnovém TechMIXu).

Výsledek tak celkem odpovídal nízkým očekáváním. Summit přinesl dohodu o zahájení formálních mezivládních diskusí o této technologii. Podrobnosti o formě nebo obsahu těchto diskusí nebyly upřesněny. Bílý dům ve své zprávě uvedl, že oba lídři „potvrdili potřebu řešit rizika pokročilých systémů umělé inteligence a zlepšit bezpečnost umělé inteligence prostřednictvím americko-čínských vládních jednání“.

Státnická setkání se někdy ovšem mohou odehrávat ve světě, který je za skutečností trochu pozadu. Zatímco státníci jednají, na Ukrajině probíhá válka, jež je prvním velkým konfliktem, ve kterém drony hrají zásadní roli, možná dokonce klíčovou. Tak jak to vypadá s nasazením umělé inteligence v tomto konfliktu dnes?

Jen jedna strana ukrajinského konfliktu, tedy ruský agresor, má k dispozici jaderné zbraně, a naštěstí je nepoužila. Tento aspekt využití AI tedy můžeme pominout. Obě strany ovšem shodně tvrdí, že využívají umělé inteligence ve svých dronech.

Na ruské straně se v této souvislosti hovoří především o dronech Lancet. Jeho výrobce, koncern Kalašnikov tvrdí, že Lancety mají k dispozici autonomní režim. V něm stroj doletí na určené místo a poté vizuálně vyhledává cíle pomocí palubního počítače využívajícího algoritmus na rozpoznávání obrazu. V tomto režimu údajně dron nepotřebuje žádné spojení s operátorem a je odolný vůči rušení.

Není jasné, do jaké míry to tak skutečně je a jak moc výrobce přehání. Lancety mají ovšem hardware, který by něčeho takového v principu mohl být schopen, jak jsme rozebírali v tomto článku. Některé ruské zdroje také tvrdí, že do bojů je v posledních měsících nasazována nová varianta Lancetu s označením „Výrobek-53“, která už má být do značné míry schopná autonomní operace v dané oblasti.

Ale zdá se velmi pravděpodobné, že v tomto bodě Rusové přehánějí. Jediným přímým dokladem schopností dronu je video z 18. října (jeho rozbor najdete zde). Na záběrech je vidět, že operátor nejprve drží objekt na obrazovce ve velkém čtverci zaměřovače, čeká, dokud jej neobkrouží zelený rámeček. Na displeji se objeví nápis „cíl zachycen“ a pak už dron udržuje cíl ve svém zaměřovači až do okamžiku zásahu.

Z tohoto hlediska to na skutečně autonomní funkce – tedy schopnost nacházet cíle a pak se na ně navádět – příliš nevypadá. Toto je poměrně běžný rys zbraní typu „vystřel a zapomeň“, které se dokážou navést na předem daný cíl. Vypadá to spíše, že Lancety prošly aktualizací softwaru, která přinesla nové prvky. Jistě, pro podobné účely se používají prvky strojového učení, ale o skutečně autonomní rozhodování nejde. Mnohem spíše jde o dílo ruské propagandy.

Rusové ovšem nejsou v tomto ohledu sami. I z ukrajinské strany se objevují tvrzení, že její síly využívají autonomní zbraně. Má jít o drony, které mohou útočit na protivníka bez dohledu lidského operátora.

Dotyčný dron – kvadrokoptéra Saker Scout – je ve službě na Ukrajině od září. Má zvládnout dopravit tříkilogramovou bojovou hlavici na cíl na vzdálenost až 12 kilometrů (což v poměrech dnešních dronů není mnoho, protože většina cenných cílů se kvůli hrozbě dronů pohybuje poměrně daleko za frontou, s výjimkou takových příležitostí, jako jsou útoky).

Saker, který vyrobila ukrajinská společnost založená krátce před ruskou invazí, byl původně určen pro různé civilní potřeby, například pro sledování zrání úrody. Po invazi pochopitelně firma změnila své zaměření a také software na rozpoznávání obrazu. Byl údajně modifikován tak, aby mohl detekovat, rozlišovat, identifikovat a zasahovat vojenské cíle.

Systém Saker Scout, který je integrován do národního zpravodajského systému Delta, má dva autonomní režimy činnosti. Může být pověřen průzkumem oblasti, nebo samostatnou identifikací a pronásledováním cílů, tvrdí představitelé společnost. V takovém případě by se skutečně mohlo jednat o autonomní zbraň v pravém slova smyslu, která se dokáže (zřejmě v předem vytyčené oblasti) zorientovat a rozhodnout sama.

Ale jasné potvrzení nemáme a musíme se spolehnout na tvrzení ukrajinského výrobce, který má důvod neříkat pravdu jak kvůli vlastní prestiži, tak třeba i z čistě vlasteneckých důvodů.

V odpovědích na otázku, zda už opravdu došlo k nasazení „dronů zabijáků“, obě strany v oficiálních prohlášeních neříkají celou pravdu a velmi pravděpodobně v mnohém přehánějí.

Na setkání specialistů na drony v Polsku v prvním listopadovém týdnu mimo jiné několikrát zaznělo, že podobná prohlášení jsou obvykle na hony vzdálená pravdě. A že prohlášení o nasazování umělé inteligence u dronů se nezakládají na pravdě. Výrobci i operátoři se zajímají v současné době o jiné aspekty, třeba schopnost dronů vzdorovat protivníkovu rušení.

Ovšem vzhledem k tomu, že obě strany konfliktu nasazují drony v obrovském množství a denně přicházejí o řádově stovky strojů, automatizace jejich nasazení se zdá nevyhnutelná. Schopnost nacházet a zasahovat cíle s přesností, jakou počítače nabízejí, je v mnoha ohledech nepřekonatelná a obě armády by ji určitě uvítaly

Pokud by se skutečně začala považovat, dávalo by také smysl roli lidí v celém procesu omezit. V řadě případů může člověk „práci“ dronu zdržovat. Vždyť zpomalení může vést k potenciálně katastrofálním ztrátám na vlastní straně.

To není žádná teorie, přesně také takové argumenty už zaznívají. V americkém prostředí například profesor T. X. Hammers v nedávném textu pro think tank Atlantic Council doslova napsal, že využití autonomních zbraní je ta morálnější možnost.

Jeho text lze shrnout tak, že pokud Spojené státy tyto zbraně nebudou vyvíjet, mohly by prohrát další válku, a tak způsobit více utrpení než jejich nasazením. A protože morální argumenty používají v politice všichni, včetně států se zjevně nemorálními cíli a politikou (viz ruská prohlášení o „denacifikaci“ Ukrajiny), dokážete si představit, že ospravedlnit jejich vývoj a výzkum zvládne prakticky každý stát či organizace.

Také ukrajinský ministr pro digitální transformaci Mychajlo Fedorov označil už na začátku roku použití autonomních zbraní za „logické a nevyhnutelné“. Bez ohledu na to, že nikdo nemůže vyvrátit pochybnosti o spolehlivosti současných softwarových řešení, která mají problém s „falešně pozitivními výsledky“ – tedy tím, že někdy za cíl mohou označit objekt, který skutečně není vojenského původu.

V potaz je také nutné vzít skutečnost, že tempo inovací v ukrajinské „dronové válce“ je extrémně vysoké. Zejména na Ukrajině se navíc ve velkém a velmi nevázaně experimentuje.

Už zmíněná konference v Polsku se tak mimo jiné účastníci shodli, že drony, které fungovaly před třemi měsíci, již nemusí být na bojišti příliš platné. I když tedy třeba AI na bojišti ještě ve velkém přítomná není, za několik měsíců to může být jinak.

Podle jednoho z účastníků konference se během zhruba jednoho roku počet domácích společností vyrábějících drony zvýšil ze sedmi na 200. Desítky z nich mají smlouvu s ukrajinskou vládou a každá z nich dodává jeden nebo více různých modelů.

Firmy posílají své drony pilotům přímo na frontové linie, aby získaly zpětnou vazbu od uživatelů v operačním prostředí. Tak je možné získat cenné údaje, na jejich základě se pak provádí další úpravy. Celý proces je navíc extrémně rychlý. Podle jednoho z řečníků: „Testování ve vaší zemi vám zabere roky. My uděláme za tři dny to, co NATO za tři měsíce nebo tři roky.“

V průběhu konference podle svědků různé firmy nezávisle na sobě nabízely možnost otestování výrobků přímo na frontě. V jednom případě dokonce drony nesly nálepku s nápisem „Battle Tested in Ukraine“, tedy „Vyzkoušeno v ukrajinské válce“.

Takže i když dopad rozhovorů prezidentů dvou největších světových velmocí nechci podceňovat, i v případě autonomních zbraní se zjevně snadno může stát, že skutečnost politice rychle uteče.

V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.