Článek
Nové evropské nařízení rozděluje využívání umělé inteligence podle míry rizika, které je s danými technologiemi spojené, do tří kategorií. Pravidla vstupují v platnost postupně, právě podle míry rizika, která je daným technologiím připisována.
Jako první začnou být už v únoru vymahatelné povinnosti vztahující se k nejrizikovějším AI systémům. Ty AI Act zcela zakazuje, protože například porušují základní lidská práva.
V srpnu 2025 nastane účinnost povinností týkajících se systémů klasifikovaných jako vysoce rizikové. Do nich jsou zahrnuty systémy pro dopravní infrastrukturu (třeba autonomní vlaky či automobily), ale také obecné AI modely, jako je třeba i ChatGPT. Od stejného data bude nutné přijmout i regulace využívání umělé inteligence například na poli lidských zdrojů nebo tam, kde ovlivňují přístup ke službám, jako je například zdravotní péče nebo bankovní služby a produkty.
Do kategorie vysoce rizikových systémů AI Act řadí posuzování úvěruschopnosti. Banky tak musí před nasazením umělé inteligence provést mimo jiné posouzení potenciálních dopadů na základní práva (FRA).
„AI systém, tak jej definuje AI Act, musí být, zjednodušeně řečeno, autonomní a adaptabilní. Podmínka adaptability zdůrazňuje schopnost systému sám se měnit, přetrénovávat a redefinovat, což naše modely pro hodnocení kreditního rizika nesplňují. Tyto modely jsou vyvinuty, validovány, schváleny a implementovány v jedné pevné podobě, a proto je nelze označit za adaptabilní,“ odmítla využívání AI systémů v hodnocení úvěruschopnosti tisková mluvčí Moneta Money Bank Lucie Leixnerová.
Mluvčí České spořitelny Filip Hrubý byl nadto stručný: „Veškeré naše scoringové procesy jsou auditovány Českou národní bankou a v žádném z nich AI nevyužíváme.“
Naplňování nových požadavků vyplývajících z evropského nařízení AI Act ale bude pro banky v každém případě významným krokem.
„Z větší části to bude spousta administrativy. Ale pozor, hrozí se vysokými pokutami, které mohou dosáhnout až 35 milionů eur nebo sedmi procent celosvětového ročního obratu,“ upozorňuje expert na fintech Jakub Škrabánek. K využívaným AI systémům budou podle něj banky muset rozběhnout systémy řízení rizik a řízení kvality, nemluvě o dalších povinnostech. Sice půjde hlavně o interní procesy a dokumentaci, podle Škrabánka to ale zavádění AI systémů do praxe zpomalí a prodraží.
Z pohledu fintech experta se jako významná zátěž jeví povinnost projít před uvedením AI systému na trh hodnocením shody třetí stranou. Toto hodnocení má garantovat, že systém splňuje všechny regulační požadavky.
„Tohle bude znamenat významné dodatečné náklady, pomalejší zavádění nových verzí AI a podle mě to vylučuje možnost kontinuálního sebezdokonalování systému. Tedy to, že by si systém sám automaticky rozšiřoval sadu trénovacích dat v průběhu času a podle toho se upravoval,“ myslí si Škrabánek.
Vysoce rizikové AI systémy musejí být podle nového nařízení navrženy tak, aby umožnily lidský dohled a zásah. Vždy má být zajištěno, aby mohla být rozhodnutí učiněná umělou inteligencí přezkoumána a třeba i zpochybněna lidmi. To však může být v některých situacích na hranici, či dokonce za hranicí proveditelnosti. „Jazykové modely je ještě možné nastavit tak, aby v krocích zdůvodnily svoje výstupy. Ale například machine learning algoritmy jsou typicky stavěny jako blackbox, kde je velmi těžké rozhodování převést do logiky srozumitelné lidem,“ tvrdí Škrabánek, autor finanční aplikace Orbi.
Zpomalí regulace vývoj AI?
Je možné, že v krátkodobém horizontu může dojít i k určitému zpomalení rozvoje umělé inteligence. Na druhou stranu AI Act přinese evropskému a potažmo i českému finančnímu sektoru jednotná pravidla, která mohou další rozvoj ve výsledku spíš podpořit. Poskytnou také jasnější rámec pro implementaci AI technologií, což by mělo vést k větší důvěře a snad i k dalším investicím do této oblasti.
„V dlouhodobém výhledu povede AI Act k podpoře rozvoje umělé inteligence, ke sjednocení pravidel pro vývoj, uvedení na trh a užívání systémů umělé inteligence. Nová regulace rovněž zajistí větší jistotu pro koncové uživatele,“ potvrdil vedoucí partner advokátní kanceláře EY Law Ondřej Havránek.
Jan Procházka, partner v advokátní kanceláři Deloitte Legal, který se specializuje na oblast bankovnictví a financí, pak upozorňuje, že vedle samotného AI Actu je třeba brát do úvahy i sektorovou regulaci finančních institucí. „Ta stanoví podrobná pravidla a nároky na zavedení a kontrolu procesů ve firmě včetně nastavení odpovědnosti a několikastupňových kontrolních mechanismů, auditů a možnosti zpětné rekonstrukce rozhodovacích procesů.“
Připouští, že nároky při zavádění AI budou v případě bank určitě vyšší, na druhou stranu takové firmy jsou zvyklé se s podobnými pravidly vypořádat.
Jak se banky a další instituce přizpůsobí
Gregor Strojin, vedoucí Centra pro regulaci AI v Deloitte Legal CE, se jako předseda Výboru pro umělou inteligenci Rady Evropy přímo podílel na tvorbě AI Act. Seznam Zprávám popsal, jak toto evropské nařízení ovlivní další využívání umělé inteligence v prostředí finančních institucí, a stručně komentuje také citlivou otázku pravidel pro nakládání s osobními údaji, které AI využívá.
Snahy o regulaci a zajištění pravidel bezpečného využívání AI samozřejmě probíhají i mimo eurozónu, a to jak na národní, tak na mezinárodní úrovni. Zároveň také posilují multilaterální snahy o koordinaci a sjednocení různých přístupů. V národních i mezinárodně platných úpravách jsou přejímány a rozvíjeny nezávazné principy AI vypracované Organizací pro hospodářskou spolupráci a rozvoj (OECD).
„Dále byla v březnu 2024 navržena rezoluce Organizace spojených národů s názvem Využití příležitostí bezpečných, zabezpečených a důvěryhodných systémů umělé inteligence pro udržitelný rozvoj, kterou již nyní podpořilo více než 120 členských států. Jejím cílem je povzbudit státy k ochraně lidských práv, ochraně osobních údajů a monitorování rizik spojených s umělou inteligencí na právně nezávazném základě,“ upozorňuje Ondřej Havránek a připomíná, že na pravidlech pro regulaci a správu AI systémů pracují také UNESCO, Mezinárodní organizace pro standardizaci (ISO) a Africká unie.
V USA zatím neexistuje právní předpis na federální úrovni, který by komplexně upravoval používání a vývoj AI systémů s účinností ve všech státech. Co se týče iniciativy na federální úrovni, administrativa za úřadování prezidenta Joea Bidena například dosáhla právně nezávazné dohody se sedmi předními technologickými společnostmi, mezi kterými byl také Google, Amazon, Meta a Microsoft s OpenAI.
Tato dohoda založená na dobrovolných závazcích má zajistit například bezpečné testování AI systémů před uvedením na trh a sdílení informací o řízení rizik při využívání AI.
Co se týče právní úpravy na úrovni jednotlivých států USA, některé již přistoupily k regulaci užívání umělé inteligence v určitých sektorech. Regulace nicméně není tak komplexní a rozsáhlá jako ta na evropské úrovni. Od července 2023 například v New Yorku platí zákon, který vyžaduje, aby společnosti používající automatizované nástroje pro nábor nebo povyšování zaměstnanců prováděly nezávislé audity.
Evropská unie je podle oslovených odborníků v tomto ohledu jednoznačně nejdál. Jako jediná totiž nyní disponuje závazným právním rámcem komplexně upravujícím pravidla pro využití umělé inteligence nejenom na území EU, ale v některých případech také mimo Unii.
„V jiných zemích vidíme zatím rozmanitou škálu přístupů, od právně nezávazných deklarací a strategií vymezujících základní principy vývoje a využívání AI až po regulaci některých aspektů AI, například deepfakes či generativní AI,“ říká Jan Pich, konzultant v oblasti kyberbezpečnosti a technologický expert společnosti EY Česká republika.
Připomíná, že také na mezinárodní úrovni existuje několik iniciativ zaměřených na umělou inteligenci, jako příklad lze uvést Doporučení k etickým otázkám umělé inteligence vydané organizací UNESCO. „V každém případě můžeme předpokládat, že s ohledem na potenciál této technologie i celospolečenský zájem o ni budou snahy regulovat její vývoj a využití nadále pokračovat, a to i po vzoru Evropské unie,“ předpovídá Pich.
