Článek
Komentář si také můžete poslechnout v audioverzi.
Znáte takové to trochu hloupé marketingové heslo, že nějaký produkt je tak dobrý, že by měl být ilegální? Novému velkému jazykovému modelu Llama 3.1 se to povedlo, lépe řečeno málem. Jeho parametry totiž překračují hranici, kterou zaváděná regulace EU pro umělou inteligenci vytyčila jako potenciální „systémové riziko“.
Má to jeden problém: Llama se řadí k velkým jazykovým modelům (LLM), které jsou tzv. s otevřeným zdrojovým kódem. To znamená, že každý ví, jak přesně jsou „udělané“ a může je nějak využít ve vlastních produktech. I proto víme, že největší verze poslední verze Llama 3.1 má 405 miliard parametrů. U konkurence je totiž i tohle číslo tajné.
Když je něco „potenciálně nezákonné“, a zároveň je to zcela volně a bez rizika k dispozici (což u softwaru platí), nejde to dohromady. Počítám, že druhý den po uvedení Llamy byly desetitisíce, možná statisíce Evropanů včetně mě, kteří tenhle jazykový model zkoušeli. Protože k tomu opravdu žádné povolení nepotřebujete. Uvidíme, jak na „novou realitu“ evropské úřady zareagují.
Ovšem tenhle aspekt není zdaleka tím nejzajímavějším, co Llama způsobila a ještě asi způsobí. Co to tedy je?
Jen pro pořádek, velké jazykové modely jsou „motorem pod kapotou“ oblíbených nástrojů, jako je třeba ChatGPT, Gemini nebo Claude. Jako software jsou velmi jednoduché, jde vlastně jen o databázi a pak programy, které tuto databázi pomáhají „obsluhovat“. Co tyhle modely činí výjimečnými a zároveň velmi drahými, je tzv. trénování.
Zjednodušeně řečeno, při trénování „čte“ supervýkonný počítač (osazený čipy v hodnotě miliard korun) ohromné množství textů a vytváří zmíněnou databázi, do které ukládá to, jaké vazby jsou v těchto textech mezi jednotlivými slovy. No a to jsou ony zmíněné parametry a my dnes víme, že Llama 3.1 jich má 405 miliard. To je číslo sice vysoké, ne však rekordně.
Pro porovnání, z neoficiálních zdrojů (a různě uniklých informací) plyne, že top modely jako GPT-4 či Claude mají právě někde mezi půl bilionem až dvěma biliony parametrů. Což je asi o něco víc, než má „otevřená“ Llama 3.1, ale už je to ve stejném řádu. A podle prvních testů se zdá, že i schopnosti budou vyrovnané, možná i v něčem lepší.
Ta důležitá otázka samozřejmě zní, proč vlastně někdo dává tak drahé a důležité know-how zadarmo. A taky co to v dalším vývoji AI může znamenat a změnit.
Více k tématu umělé inteligence:
Vtipné je, že na počátku byla náhoda, či spíše incident. To se musíme vrátit o rok a něco zpátky. V březnu 2023 se zdrojový kód velkého jazykového modelu Llama objevil jako tzv. torrent na internetovém fóru 4chan. A protože Llamu vyvinula společnost Meta (Facebook), čekalo Marka Zuckerberga rozhodnutí: má to ignorovat, nebo tomu prostě přizpůsobit další postup?
Asi převládl názor, že džina do láhve většinou vrátit nejde, a Meta se s Llamou stala hlavním proponentem otevřených LLMs. Provokativní to je nejen z byznysových důvodů, ale i proto, že AI u části společnosti vzbuzuje obavy. Někdo dokonce říká, že je to podobné, jako kdyby USA v rámci „projektu Manhattan“ v minulém století zveřejnily návod na výrobu atomové bomby. Ovšem nemyslím si, že tahle paralela je výstižná.
Spíš to bude znamenat mnohem rychlejší a širší aplikování generativní AI do praxe. A zároveň tipuju, že to až tak neohrozí ani firmy jako OpenAI či Anthropic, které na vývoji LLMs postavily svou existenci. Oba modely asi budou existovat vedle sebe, podobně jako to bylo historicky s operačními systémy po nástupu Linuxu. Mnohá byznysová rozhodnutí to ale změní.
Zuckerberg říká: Čína a další by se ke zdrojovému kódu stejně dostali díky špionáži, a „otevřená“ Llama bude ohromným impulzem pro startupy a univerzity. Obojí (plus často ještě peníze z vojenského rozpočtu) byly vždycky onou „tajnou přísadou“ technologické dominance USA. Na druhou stranu, s jazykovými modely vstupujeme do neprozkoumaných a celkem neznámých vod, takže predikce jsou obtížné.
Mimochodem, současný přístup trochu evokuje dvanáct let starý „dopis investorům“, kterým v roce 2012 Zuckerberg definoval filozofii Facebooku. V něm napsal, že firma sází na otevřenost a „hackerský“ přístup k řešení problémů. Legendární hesla typu „Hotové je lepší než dokonalé“ či „Jdi rychle kupředu a rozbíjej věci“ mají kořeny právě zde.
Více k tématu umělé inteligence:
Za těch dvanáct let se mnoho změnilo a Facebook se ze sítě „spojující lidi“ stal pro společnost rizikem. Sociálním médiím se klade za vinu kde co, od rozkladu demokracie až po škodlivé účinky na mladou populaci. Vysokoškolský učitel a byznysmen Scott Galloway označil Zuckerberga za „nejnebezpečnějšího člověka“ na planetě.
Až v poslední době, asi spíš počítané na měsíce než roky, se image Facebooku i Zuckerberga začíná znovu proměňovat. Řekl bych, že to do značné míry souvisí i s aktivitami kolem generativní AI. Meta dává do vývoje ohromné sumy peněz, a vlastně není úplně jasné, jak tuto investici chce zhodnotit.
Otevřená AI je cestou kupředu, napsal Zuckerberg – kde jinde? – na Facebooku. Argumentuje tím, že zveřejnit „návod“ na velký jazykový model není nebezpečné, protože vývojáři si potenciální rizika mnohem víc „osahají“ a budeme na ně připraveni. Inovace jsou nejrychlejší, když se technologie demokratizují a má k nim přístup co nejvíc lidí.
Podle mnohých jsme dnes v podobném bodě, jako byl počítačový průmysl v osmdesátých letech. Mikroprocesory a další hardware v té době přestávaly být exkluzivním zbožím, objevil se první prakticky využitelný a masově přístupný software. Ale byl to teprve úplný začátek, který z dnešní perspektivy připomíná dětské hry.
Podobně to může být i s AI, tedy technologií, která zásadně a jednou provždy změní svět, ale my jsme dnes ve fázi, kdy vůbec netušíme jak. Na dnešní ChatGPT a další nástroje budeme v budoucnu koukat také jako na legrační dětské hračky. Jisté je jen to, že to tentokrát půjde mnohem, mnohem rychleji. A pro Evropu by zveřejnění „superlamy“ mělo být další signál a rozsvícené červené světlo, že regulace a omezení s inovacemi vždycky prohrají.
