V roku 2005 Ann Johnson vo svojich tridsiatich rokoch prekonala mozgovú príhodu, ochrnula a stratila schopnosť hovoriť. V súčasnosti pomáha vedcom z University of California San Francisco a University of California Berkeley vyvinúť novú technológiu, ktorá by umožnila podobne hendikepovaným ľuďom prirodzenejšie komunikovať prostredníctvom digitálneho avatara.

Vedci s ňou úspešne otestovali systém kombinujúci neurovedu a umelú inteligenciu. Vďaka tomu sa teraz jej hlas v istej podobe vrátila. Napísala o tom University of California San Francisco na svojej webovej stránke.

Nádej pre ostatných ľudí s podobným hendikepom

Johnson bola stredoškolskou učiteľkou matematiky v Kanade. Keď sa zotavila po mozgovej príhode, uvedomila si, že môže využiť svoje vlastné skúsenosti na pomoc druhým, a teraz sa túži stať poradkyňou v rehabilitačnom zariadení.

„Chcem, aby ma tam pacienti videli a vedeli, že ich život sa teraz neskončil,“ napísala. „Chcem im ukázať, že postihnutie nás nemusí zastaviť ani spomaliť.“

{{suvisiace}}

Vedci vydali výsledky experimentu v odbornom časopise Nature a poskytli aj krátke video. Bývalá učiteľka v ňom sedí oproti obrazovke s animovanou ženskou tvárou, kde sa postupne zobrazujú jednoduché vety. Johnson sa ich vždy pokúsi vysloviť, načo po menšom oneskorení slova hovorí jej „avatar“ na obrazovke.

Podľa univerzity je to prvýkrát, čo sa podarilo priamo z aktivity mozgu odvodiť hovorené slovo a výrazy tváre. Systém dokáže dekódovať tieto signály na text rýchlosťou takmer 80 slov za minútu, čo je obrovské zlepšenie oproti 14 slovám za minútu, ktoré poskytuje jej súčasné komunikačné zariadenie.

Implantát s viac ako dvesto elektródami

V septembri 2022 jej v UCSF Medical Center v San Franciscu implantovali elektródové zariadenie do mozgu bez akýchkoľvek chirurgických komplikácií. 

Implantát zaznamenával nervovú aktivitu, ktorá bola dekódovaná do textu na obrazovke. Vedci v štúdii napísali, že našli presné a rýchle dekódovanie veľkej slovnej zásoby so strednou rýchlosťou 78 slov za minútu a strednou chybovosťou slov 25%.

{{odporucane}}

Portál CNN približuje, že keď sa Johnson pokúšala ticho hovoriť, jej nervová aktivita bola syntetizovaná do zvukov reči. Vedci tiež vyvinuli animáciu tvárového avatara, ktorá bude sprevádzať syntetizovanú reč, na základe jej pokusov o pohyby tváre.

Signály v mozgu pacientky v tej chvíli snímal implantát s 253 elektródami, ktorého záznamy sú prevádzané do zvukov a pohybov digitálnej tváre za pomoci sofistikovaného programu.

Vedci zreprodukovali hlas z nahrávky zo svadby 

Johnson niekoľko týždňov spolupracovala s tímom na trénovaní algoritmov umelej inteligencie, aby rozpoznala jej jedinečné mozgové signály pre reč.

Vedci umelú inteligenciu nevycvičili tak, aby rozoznávala celé slová, ale vytvorili systém, ktorý dekóduje slová z menších komponentov – foném. Pomocou tohto prístupu sa počítač potreboval naučiť 39 foném, aby rozlúštil akékoľvek slovo v angličtine. To podľa univerzity zvýšilo presnosť systému a zrýchlilo ho trikrát.

Na syntetizovanie jej reči vedci vymysleli algoritmus, ktorý upravili tak, aby znel ako jej hlas pred príhodou. Vedci zreprodukovali hlas z nahrávky z jej svadby.

„Rýchlejšia, presnejšia a prirodzenejšia komunikácia patrí medzi najžiadanejšie potreby ľudí, ktorí po ťažkej paralýze stratili schopnosť hovoriť,“ cituje portál CNN vedcov, ktorí tiež vo svojej štúdii napísali: „Tu sme demonštrovali, že všetky tieto potreby možno riešiť rečovo-neuroprotetickým systémom, ktorý dekóduje artikulačné kortikálne aktivity do viacerých výstupných modalít v reálnom čase.“

Cieľom je pomôcť ľuďom, ktorí nemôžu hovoriť v dôsledku mozgovej príhody, mozgovej obrny či amyotrofickej laterálnej sklerózy. Implantát zatiaľ musí byť káblom pripojený k počítaču, vedci ale pracujú na bezdrôtových verziách.