Článek
Myšlenky, které vám běží hlavou, můžete rozhlásit do celého světa. Anebo si je naopak můžete nechat pro sebe, a nikdo se k nim nedostane.
Tedy, skoro nikdo. Pokud totiž svou hlavu strčíte do funkční magnetické rezonance (fMRI), vědci z University of Texas věří, že dokážou celkem přesně přečíst, co se vám zrovna honí mozkem.
Pomocí funkční magnetické rezonance mohou vědci v reálném čase monitorovat mozkovou aktivitu. Funguje na principu detekce změn a na tom, jak se jednotlivé části mozku různě prokrvují.
Ve své průlomové studii, publikované v prestižním časopise Nature Neuroscience, tým neurobiologů a informatiků představil své výsledky: „Pomocí neinvazivního dekodéru jsme schopni rekonstruovat plynulou řeč z nahrávky mozkové aktivity.“
Bez strojového učení by to nešlo
Není to ale tak, že by vědci viděli v mozku „pobíhat“ jednotlivé myšlenky. „Ačkoli fMRI má vynikající prostorovou specifičnost, měřený signál je závislý na hladině kyslíku v krvi,“ připomínají výzkumníci. „A ten je notoricky pomalý. Impuls nervové aktivity způsobuje vzestup a pokles prokrvení v průběhu přibližně deseti sekund.“ Protože lidská řeč plyne rychlostí přibližně dvou slov za sekundu, jeden takový obraz mozku může být ovlivněn třeba dvaceti slovy.
Je to podobné, jako kdybyste četli knihu, ale na každé stránce byste viděli posledních deset stránek vytištěných přes sebe. Všechny informace tam jsou, ale je zdánlivě nemožné se v nich zorientovat.
Zde je 10 stránek jedné klasické české knihy. Dekódovat jednotlivá slova je v takovém shluku prakticky nemožné.
Vědci na to proto šli oklikou: „Napřed jsme pomocí fMRI nahráli 16 hodin mozkové aktivity dobrovolníků, kteří poslouchali čtené příběhy,“ popisuje postup studie, kterou nám autoři laskavě zaslali. Na základě těchto podrobných dat vytvořili pomocí lineární regrese jakýsi „simulátor“ mozkových reakcí, který byl schopen předpovědět, jak která část mozku zareaguje na jakou kombinaci sémantických vjemů. Tedy které části se rozsvítí, když mozek zpracovává určité fráze, slova nebo koncepty.
Model musel být individuálně vytrénovaný pro každého ze tří účastníků (S1, S2, S3).
Když byl simulátor vycvičený, nadešla ostrá fáze výzkumu. Dokáže počítač rozpoznat texty, které nebyly součástí trénovací sady?
Překvapivě přesný vhled do hlavy
Připomeňme, že každý snímek mozkové aktivity obsahuje stopy po tom, co se v mozku dělo posledních asi deset sekund. Teoreticky by počítač mohl hledat kombinace všech existujících slov a frází a snažil se je porovnat s tím, jak mozek pod fMRI vypadal. To je ale nejen výpočetně náročné, ale také nepraktické. Ne všechny kombinace jsou stejně pravděpodobné. Lidé obvykle neposlouchají a nepřemýšlí o náhodných slovech.
Proto vědci nasadili generativní jazykový model – podobný modelům známým třeba z populární služby ChatGPT – k vytváření možných jazykových sekvencí. Ty pak porovnávali s naměřenými daty. Aby dále snížili výpočetní náročnost, brali v potaz kontext. Výsledky byly překvapivě dobré.
Vlevo vidíte text, který lidé poslouchali ve sluchátkách, vpravo text, který počítač rozpoznal. Modře je vyznačená přesná shoda, fialově je označeno zachování významu, červeně jsou obarveny odchylky od původního textu.
Je zjevné, že z těchto měření budou mít radost nejenom informatici a psychologové, ale také třeba lingvisté. Vhled do toho, jak mozek vnímá slova a pracuje s nimi, nikdy nebyl tak detailní. Na první pohled třeba vidíme práci s kontextem nebo synonymy.
Několik ukázek z toho, jak se dařilo, ale i nedařilo rozpoznávat text v záznamech mozkové aktivity. Překlad je samozřejmě v tomto případě pouze orientační.
| Původní text | Dekódovaný text |
|---|---|
| Vstala jsem z nafukovací matrace a přitiskla obličej na sklo okna ložnice v očekávání, že uvidím oči, které na mě budou zírat, ale místo toho jsem viděla jen tmu. | Pokračovala jsem v chůzi k oknu a otevřela sklo, stoupla jsem si na špičky a vykoukla ven, nic jsem neviděla, podívala jsem se znovu nahoru a nic jsem neviděla. |
| Nevěděla jsem, jestli mám křičet, nebo utíkat. Místo toho jsem řekla, nech mě na pokoji, nepotřebuji tvou pomoc. Adam zmizel a já se sama umyla a brečela jsem. | Začala jsem křičet a brečet a potom jen řekla já ti říkala abys mě nechal už mi nemůžeš ublížit omlouvám se a on vyrazil pryč a já myslela že odešel a začala jsem brečet. |
Je zřejmé, že výsledek zdaleka není dokonalý. Z dekódovaného textu by bylo asi těžké dát dohromady původní text. Pro rámcové potvrzení toho, že tato technologie funguje, to ale jednoznačně stačí.
Slova z ničeho
S jedním z účastníků vědci vyzkoušeli i dekódování obsahu, který je předáván skrze vizuální vjemy. Konkrétně šlo o krátký animovaný film bez zvuku. Vědci zachytili, jaká slova a koncepty letěly člověku hlavou, když snímek sledoval.
Pro zajímavost se můžete podívat na video. Text necháváme v původním znění, jelikož překlad do češtiny by nutně vedl ke zkreslení.
Počítač čte nevyslovená slova v mozku.Video: Nature Neuroscience (střih: Pavel Kasík, Seznam Zprávy)
„Nejde tady jen o jazykové podněty,“ řekl pro New York Times Alexander Huth, neurolog, který se podílel na vedení výzkumu. „Dostáváme se k významu, k něčemu, co se týká představ o tom, co se právě odehrává. A skutečnost, že je to možné, je velmi vzrušující.“
Tato metoda má samozřejmě řadu úskalí a její zapojení do praxe se zatím nejeví jako reálné. Především se ukazuje, že naše mozky jsou skutečně dostatečně odlišné na to, že k porozumění tomu, co se v nich děje, je potřeba dekodér vyladit přímo na míru vašemu mozku. Tedy s vaším souhlasem.
Kromě toho ale studie otevírá celou škálu nových výzkumných příležitostí. „Jednou z největších lékařských výzev je pochopení duševních nemocí, které jsou v konečném důsledku dysfunkcí mozku,“ připomíná Marcel Just, profesor psychologie na Carnegie Mellon University. „Myslím, že tento obecný přístup jednou tuto hádanku vyřeší.“
