S pokrokom v elektronike a neurovede vedci dokázali dosiahnuť pomocou zariadení na implantáciu mozgu pozoruhodné veci, ako napríklad obnovenie zdvihu zraku pre nevidiacich. Vedci okrem obnovenia fyzických zmyslov hľadajú aj inovatívne spôsoby uľahčenia komunikácie pre tých, ktorí stratili schopnosť hovoriť. Napríklad nový „dekodér“ prijímajúci údaje z elektród implantovaných do lebky by mohol pomôcť paralyzovaným pacientom hovoriť iba pomocou ich mysle.
Vedci z Kalifornskej univerzity v San Franciscu (UCSF) vyvinuli dvojstupňovú metódu na premenu mozgových signálov na počítačom syntetizovanú reč. Ich výsledky uverejnené tento týždeň vo vedeckom časopise Nature poskytujú možnú cestu k plynulejšej komunikácii pre ľudí, ktorí stratili schopnosť hovoriť.
Vedci sa roky snažia využiť nervové vstupy a dať hlas späť ľuďom, ktorých neurologické poškodenie im bráni rozprávať - napríklad prežívajúcim mŕtvicu alebo ALS. Doteraz sa v mnohých týchto rozhraniach mozgu a počítača uskutočňoval postup od písmena po písmeno, v ktorom pacienti pohybujú očami alebo tvárovými svalmi, aby rozprávali svoje myšlienky. (Stephen Hawking slávne režíroval syntetizátor reči malými pohybmi v tvári.)
Tieto typy rozhraní sú však pomalé - väčšina z nich produkuje maximálne 10 slov za minútu, čo je zlomok priemernej rýchlosti reči ľudí 150 slov za minútu. Pre rýchlejšiu a plynulejšiu komunikáciu používali vedci UCSF algoritmy hĺbkového učenia na premenu neurálnych signálov na hovorené vety.
„U týchto pacientov je mozog nedotknutý, ale neuróny - cesty vedúce k vašim pažiam alebo k ústam alebo nohám - sú rozbité. Títo ľudia majú vysoké kognitívne funkcie a schopnosti, ale nedokážu plniť každodenné úlohy, ako napríklad pohybovať sa alebo hovoriť čokoľvek, “hovorí Gopala Anumanchipalli, spoluautorka novej štúdie a spolupracovník špecializujúci sa na neurologickú chirurgiu v UCSF. "V podstate obchádzame cestu, ktorá je narušená."
Vedci začali s údajmi o mozgovej aktivite vo vysokom rozlíšení zozbieranými od piatich dobrovoľníkov v priebehu niekoľkých rokov. Títo účastníci - všetci, ktorí mali normálnu rečovú funkciu - už podstúpili proces monitorovania epilepsie, ktorý zahŕňal implantáciu elektród priamo do ich mozgu. Changov tím použil tieto elektródy na sledovanie aktivity v mozgu súvisiacich oblastiach reči, keď pacienti čítali stovky viet.
Odtiaľ tím UCSF vypracoval dvojfázový proces na obnovenie hovorených viet. Najprv vytvorili dekodér na interpretáciu zaznamenaných vzorcov mozgovej aktivity ako pokynov pre pohybujúce sa časti virtuálneho hlasového traktu (vrátane pier, jazyka, čeľuste a hrtanu). Potom vyvinuli syntetizátor, ktorý využíval virtuálne pohyby na tvorbu jazyka.
Iný výskum sa pokúsil dekódovať slová a zvuky priamo z nervových signálov, čím sa preskočil stredný krok dekódovacieho pohybu. Štúdia, ktorú vedci UCSF uverejnili minulý rok, však naznačuje, že rečové centrum vášho mozgu sa zameriava skôr na to, ako pohybovať hlasivkami, aby produkovali zvuky, a nie na výsledné zvuky.
"Vzory mozgovej aktivity v rečových centrách sú špecificky zamerané na koordináciu pohybov hlasového traktu a iba nepriamo súvisia so samotnou rečou, " hovorí Edward Chang, profesor neurologickej chirurgie na UCSF a spoluautor novej práce. povedal tento týždeň na tlačovej konferencii. „Výslovne sa snažíme dekódovať pohyby, aby sme vytvorili zvuky, na rozdiel od priameho dekódovania zvukov.“
Príklad súboru implantovaných mozgových intrakraniálnych elektród typu používaného na zaznamenávanie mozgovej aktivity. (UCSF) Použitím tejto metódy vedci úspešne spätne upravili slová a vety z mozgovej činnosti, ktoré zhruba zodpovedali zvukovým záznamom reči účastníkov. Keď požiadali dobrovoľníkov na online platforme crowdsourcingu, aby sa pokúsili identifikovať slová a prepisovať vety pomocou banky slov, mnohí z nich mohli simulovanej reči porozumieť, hoci ich presnosť nebola ani zďaleka dokonalá. Zo 101 syntetizovaných viet bolo asi 80 percent dokonale transkribovaných aspoň jedným poslucháčom pomocou banky s 25 slovami (táto miera klesla na približne 60 percent, keď sa veľkosť banky slov zdvojnásobila).
Je ťažké povedať, ako sa tieto výsledky porovnávajú s inými syntetizovanými rečovými pokusmi, hovorí Marc Slutzky, severozápadný neurológ, ktorý sa nezúčastnil novej štúdie. Slutzky nedávno pracoval na podobnej štúdii, ktorá produkovala syntetizované slová priamo zo signálov mozgovej kôry, bez dekódovania pohybu hlasového traktu, a verí, že výsledná kvalita reči bola podobná - aj keď rozdiely v metrikách výkonnosti sťažujú priame porovnanie.
Jedným z vzrušujúcich aspektov štúdie UCSF je však to, že dekodér môže zovšeobecniť niektoré výsledky medzi účastníkmi, hovorí Slutzky. Hlavnou výzvou pre tento typ výskumu je to, že tréning algoritmov dekodéra zvyčajne vyžaduje, aby účastníci hovorili, ale táto technológia je určená pre pacientov, ktorí už nemôžu hovoriť. Schopnosť zovšeobecniť časť výcviku algoritmu by mohla umožniť ďalšiu prácu s ochrnutými pacientmi.
Na vyriešenie tejto výzvy vedci tiež testovali zariadenie s účastníkom, ktorý ticho napodobňoval vety namiesto toho, aby ich nahlas vyslovoval. Hoci výsledné vety neboli také presné, autori tvrdia, že syntéza, ktorá bola možná aj bez vokalizovanej reči, má vzrušujúce dôsledky.
"Bolo skutočne pozoruhodné, že sme zistili, že stále dokážeme generovať zvukový signál z aktu, ktorý vôbec negeneroval zvuk, " uviedol Josh Chartier, spoluautor o štúdiu a postgraduálnom študentovi bioinžinierstva na UCSF.,
Obrázok autora štúdie Gopala Anumanchipalli, PhD., Ktorý drží príklad poľa intrakraniálnych elektród typu použitého na zaznamenanie mozgovej aktivity v tejto štúdii. (UCSF) Ďalším cieľom budúceho výskumu je sledovať demonštrácie dekodéra v reálnom čase, hovorí Anumanchipalli. Súčasná štúdia bola zamýšľaná ako dôkaz koncepcie - dekodér bol vyvinutý oddelene od procesu zhromažďovania údajov a tím netestoval rýchlosť prenosu mozgovej aktivity na syntetizovanú reč v reálnom čase, hoci to by bol konečný cieľ klinické zariadenie.
Táto syntéza v reálnom čase je niečo, čo si vyžaduje zlepšenie, aby takéto zariadenie bolo v budúcnosti užitočné, hovorí Jaimie Henderson, neurochirurg Stanford, ktorý sa nezúčastnil štúdie. Napriek tomu hovorí, že autorova dvojstupňová metóda je vzrušujúcim novým prístupom a použitie technológie hlbokého učenia môže poskytnúť nový pohľad na to, ako reč skutočne funguje.
„Pre mňa je veľmi vzrušujúca len myšlienka začať skúmať podstatu toho, ako sa u ľudí prejavuje reč, “ hovorí Henderson. „[Táto štúdia] začína skúmať jednu z našich ľudských schopností na základnej úrovni.“
