V posledných niekoľkých desaťročiach vedci pravidelne vyvíjajú zariadenia určené na preklad amerického znakového jazyka (ASL) do angličtiny s nádejou na uľahčenie komunikácie medzi ľuďmi, ktorí sú nepočujúci a nepočujú, a svetom sluchu. Mnohé z týchto technológií používajú rukavice na zachytenie pohybu podpisu, ktorý môže byť objemný a nepríjemný.
Teraz skupina vedcov na Michiganskej štátnej univerzite (MSU) vyvinula zariadenie bez rukavíc o veľkosti skúmavky Chapstick, o ktorej dúfajú, že zlepší preklad ASL-angličtiny.
Táto technológia, nazývaná DeepASL, používa kamerové zariadenie na zachytenie pohybov rúk, potom údaje dodáva pomocou algoritmu hlbokého učenia, ktorý ich spája so znakmi ASL. Na rozdiel od mnohých predchádzajúcich zariadení dokáže DeepASL prekladať celé vety namiesto jednoduchých slov a nevyžaduje, aby používatelia prerušovali medzi značkami.
„Je to skutočne neintruzívna technológia, “ hovorí Mi Zhang, profesor elektrotechniky a informatiky, ktorý vedie výskum.
Zhang a jeho tím dúfajú, že DeepASL môže pomôcť ľuďom, ktorí sú hluchí a nepočujú, keď slúži ako prekladateľ v reálnom čase. Zhang hovorí, že by to mohlo byť užitočné najmä v núdzových situáciách, keď by čakanie na prekladateľa stálo drahé minúty. Zhang hovorí, že zariadenie, ktoré by mohlo byť integrované s telefónom, tabletom alebo počítačom, môže tiež pomôcť pri výučbe ASL. Pretože viac ako 90 percent nepočujúcich detí sa rodí rodičom, ktorí počujú, existuje veľká komunita dospelých, ktorí sa musia rýchlo naučiť ASL. DeepASL by mohol slúžiť ako digitálny tútor, ktorý by poskytoval spätnú väzbu o tom, či sa študenti podpisujú správne.
Zhang požiadal o patent a dúfa, že zariadenie bude na trhu do jedného roka. Pretože je založený na dostupnej technológii - systém snímania pohybu Leap Motion predáva za 78 dolárov - mohol by byť dostupnejší ako predchádzajúce snahy.
Vedci Biyi Fang a Mi Zhang demonštrujú DeepASL. (Michiganská štátna univerzita) Ale Christian Vogler, profesor komunikačných štúdií na Gallaudet University, univerzita pre ľudí, ktorí sú hluchí alebo nepočujúci, je skeptický voči zariadeniam navrhnutým na preklad ASL a jeho skepticizmus zdieľajú mnohí v komunite nepočujúcich.
Zvyčajne zariadenia ASL „neprekladajú“, iba rozpoznávajú znamenia rúk a menia ich na anglické slovo podľa značky, hovorí Vogler. To znamená, že sa stratia kľúčové gramatické informácie, informácie o tom, či je fráza otázkou, negáciou, relatívnou klauzulkou atď. Zatiaľ čo DeepASL prekladá celé vety, niektoré vlastnosti gramatiky ASL presahujú znamenia rúk - výrazy tváre sa často používajú ako modifikátory, zdvíhanie obočia môže zmeniť frázu na otázku, umiestnenie tela môže naznačovať, kedy užívateľ ASL cituje niekoho iného.
„Žiadny zo systémov zatiaľ nebol pre ľudí, ktorí sa podpísali, na diaľku užitočný, “ dodáva Vogler a dodáva, že vedci sa často zdajú „veľmi málo v kontakte s komunitou [hluchých a nepočujúcich] a majú len veľmi malú predstavu o ich skutočných skutočnostiach. potrebuje. "
Tím Zhang netestoval zariadenie na ľuďoch, ktorí boli hluchí a nepočuli, ale na študentov v programe prekladu posunkovej reči. Zhang zdôrazňuje, že DeepASL je navrhnutý tak, aby v tomto bode umožňoval iba základnú komunikáciu, a že je to iba východiskové miesto. Hovorí, že jeho tím dúfa, že v budúcnosti rozšíri schopnosti spoločnosti DeepASL tak, aby zachytil aj výrazy tváre.
„To bude ďalší významný míľnik, ktorý musíme dosiahnuť, “ hovorí.
Vogler hovorí, že je pozitívne, že technológia MSU používa metódy hlbokého učenia, ktoré boli úspešné s hovoreným jazykom. Napriek tomu, že to nevyžaduje rukavicu, má zariadenie pravdepodobne rovnaké úskalia ako v predchádzajúcom systéme, pretože nezachytáva pohyby tváre a tela.
Vogler si myslí, že vedci by sa mali odkloniť od myšlienky, že zariadenia na rozpoznávanie posunkového jazyka môžu skutočne uspokojiť osobné komunikačné potreby.
„Máme veľa možností na uľahčenie osobnej komunikácie, a kým nebudeme mať niečo, čo skutočne rešpektuje jazykové vlastnosti podpísaných jazykov a skutočné komunikačné správanie signatárov, toto úsilie sa nikde takmer nenahradí alebo nenahradí, “ hovorí. „Namiesto toho musia ľudia pracovať so skutočnými členmi komunity as ľuďmi, ktorí rozumejú zložitosti podpísaných jazykov.“
Vogler tvrdí, že pre technológiu rozpoznávania posunkového jazyka, ako je MSU, by bolo užitočné pracovať s hlasovými rozhraniami, ako je Alexa. Rast týchto rozhraní je výzvou pre prístupnosť pre ľudí, ktorí sú hluchí a nepočujú, hovorí, že internet - do značnej miery vizuálneho média - predstavuje veľkú výzvu pre ľudí, ktorí sú v priebehu rokov slepí.
„V súčasnosti nemáme efektívny a efektívny spôsob interakcie s týmito hlasovými rozhraniami, ak nedokážeme alebo nechceme používať náš hlas, “ hovorí. „Rozpoznávanie posunkovej reči je dokonalou zhodou pre túto situáciu a tá, ktorá by mohla skončiť užitočným a zvyknutým.“
