Izraelské bomby navádí umělá inteligence. Chybí lidská kontrola?

Článek si také můžete poslechnout v audioverzi.

Že izraelská armáda vyvíjí a začíná využívat AI sloužící například i k výběru cílů, se ví už delší dobu. Informovala o tom ostatně ona sama. Například už v roce 2020 armáda otevřeně ocenila cenou za inovaci AI systém Gospel. Tento systém se měl začít používat v roce 2021 a spolu s dalšími AI systémy měl podle prohlášení armády pomoct s identifikací asi dvou stovek cílů v rámci boje proti Hamásu či Islámskému džihádu.

Izraelská armáda od začátku tvrdí, že tyto systémy mají za cíl pomoct snížit počet civilních obětí a vedlejších škod při likvidaci teroristů.

Zapojení umělé inteligence do rozhodovacího procesu, na jehož konci jsou mrtví lidé, je nicméně už z podstaty kontroverzní a vyvolává obavy, jestli nebude mít spíš opačný efekt, než avizuje izraelská armáda. Tyto obavy jsou navíc v posledních měsících silnější než dřív kvůli vysokému počtu civilních obětí v Gaze, na kterou armáda útočí po teroristických útocích Hamásu ze 7. října loňského roku.

Nový článek levicového webu +972 Magazine naznačuje, že obavy jsou namístě.

Článek přináší svědectví šestice nejmenovaných lidí, kteří měli pracovat přímo na vybírání cílů izraelských útoků v Gaze a měli přitom používat systém umělé inteligence zvaný Lavender (Levandule). Z výpovědí vyplývá, že izraelská armáda umělou inteligenci využívá k výběru cílů pro útoky jen se zběžnou lidskou kontrolou a navíc způsobem, který nahrává spíš vyššímu než nižšímu počtu obětí. Příběh vydal na vlastním webu i britský Guardian, který od izraelsko-palestinského webu dostal výpovědi svědků předem.

K věci se už vyjádřila i izraelská armáda, která nevyloučila, že systém existuje, ale popřela, že se umělá inteligence používá k identifikaci lidí podezřelých z terorismu.

Následně nicméně přiznala, že „informační systémy“ jsou „nástrojem pro analytiky“, kteří tuto identifikaci provádí. Zdůraznila přitom, že jsou to „jen nástroje“ a rozhodující slovo mají lidé, kteří zodpovídají za to, aby činy armády byly v souladu s mezinárodním právem.

Mluvčí armády Peter Werner si v reakci na článek stěžoval na úroveň etiky médií. Popřel také některé z konkrétních závěrů článku. Podle něj se nestalo, aby armáda povolila útok se stovkou očekávaných civilních obětí kvůli jedinému člověku spojenému s teroristickým hnutím Hamás. Vyloučil i to, že by byl takový útok povolen v případě 15 až 20 obětí.

Podle zdrojů izraelského webu měl kromě jiného systém identifikovat až 37 tisíc cílů. Jedním z hlavních problematických bodů výpovědí je i to, že armáda měla preferovat bombové útoky na lidi spojené s Hamásem v jejich domech a v noci. To sice na jednu stranu útoky zefektivnilo, protože se zvýšila šance zásahu, zároveň to ale znamenalo, že při útoku byla často přítomná i jejich rodina, takže umíralo víc nevinných civilistů.

Když byla cílem nižší šarže ozbrojeného křídla Hamásu (šlo o většinu případů, protože právě k tomu měl systém primárně sloužit), armáda podle zdrojů preferovala využití neřízených bomb, což dále zvýšilo riziko vedlejších škod.

Efektivitu systému armáda podle zdrojů odhadla na 90 %. Účinnost lidské kontroly systému má být přitom podle jednoho ze zdrojů pochybná. Běžně prý kontroloři prověřování tipů od Lavenderu věnovali klidně i jen 20 sekund času.

Lidská kontrola se tak de facto omezovala jen na to, jestli je vybraným cílem muž a nikoliv žena. „Zdroj uvedl, že lidé často jen dávali razítka rozhodnutím, které učinil systém,“ píše +972 Magazine.

Jaká Lavender používá data a jakým způsobem dochází k závěrům, z výpovědí zdrojů nevyplynulo. Měl být nicméně využíván spolu s již zmiňovaným Gospelem, který má být zaměřený na místa, zatímco Lavender na osoby.

Hlavní důvod, proč se armády obecně o AI při hledání cílů zajímají, je nasnadě. Umělá inteligence nabízí rychlé informace a uvolní ruce personálu, který může ušetřený čas využít na jinou činnost.

„Dvacetičlenná skupina lidí by mohla vytipovat možná 50 až 100 cílů za 300 dní. Gospel může navrhnout asi 200 cílů za 10 až 12 dní. Je padesátkrát rychlejší,“ přiblížil hodnotu umělé inteligence pro armády a zpravodajské služby článek americké sítě NPR odhadem izraelského analytika s pracovní zkušeností přímo z oboru Tala Mimrana.

Rychlé přetřídění dostupných zpravodajských informací, které lze využít při určování cílů, může dát armádám velkou výhodu i podle Roberta Ashleyho, bývalého šéfa americké armádní zpravodajské služby DIA. „Budete se díky tomu moct rozhodovat rychleji než váš nepřítel, o tom to je,“ řekl NPR.

Autorem investigace je novinář, spisovatel, filmař a aktivista Yuval Abraham, který na problematičnost využívání AI izraelskou armádou upozorňuje už delší dobu. Natočil také film No Other Land o násilí na Západním břehu Jordánu a na filmovém festivalu Berlinale pronesl projev proti okupaci a apartheidu.