Naukowcy stworzyli system, który jest w stanie dekodować reakcje mózgu i zamienić je na mowę
W pierwszym tego typu eksperymencie, naukowcom udało się przetłumaczyć sygnały mózgowe bezpośrednio na zrozumiałą dla człowieka mowę. Choć pomysł brzmi jak szalone science-fiction, może odmienić życie wielu osób, które mają problemy z komunikacją.
Myśli na mowę
Kluczem do całego systemu jest algorytm sztucznej inteligencji, który dopasowuje to, co „słyszy” do wzorców aktywności elektrycznej, a następnie zmienia je w mowę mającą sens dla słuchacza.
Dzięki wcześniejszym badaniom wiemy, że kiedy mówimy albo nawet myślimy, uzyskujemy wyraźne wzorce w sieciach neuronowych mózgu. W tym przypadku system jest w stanie dekodować reakcje mózgu, a nie rzeczywiste myśli, jednak biorąc pod uwagę rozwój, jest to jedynie kwestia czasu.
Nasze głosy pomagają nam się komunikować z rodziną, przyjaciółmi i otaczającym nas światem, dlatego jego utrata z powodu choroby lub urazu jest tak druzgocąca. Dzięki najnowszym badaniom mamy potencjalny sposób na przywrócenie tych umiejętności. – wyjaśnia Nima Mesgarani z Columbia University w Nowym Jorku
Vocoder
Zastosowany algorytm nazywa się vocoderem. Jest to ta sama technologia, którą wykorzystuje się w syntezatorach mowy. Jeśli korzystasz z pomocy Siri lub Alexy, ich odpowiedź uzyskasz właśnie za pomocą vocodera.
Prościej mówiąc, Apple czy Amazon nie muszą programować każdego słowa na swoich urządzeniach. Zamiast tego używają vocodera do stworzenia realistycznie brzmiącego głosu opierając się na tekście, który powinien zostać wypowiedziany.
Aktywność mózgowa
W przypadku nowego systemu, vocoder nie był „szkolony” przez ludzką mowę, ale przez aktywność neuronalną w części kory słuchowej mózgu. Dane zostały pobrane od pacjentów, którzy słuchali wypowiadanych zdań podczas operacji mózgu.
Z takiego banku danych można czerpać sygnały mózgowe zarejestrowane przez pacjentów. Wzorce zostały „przepuszczone” przez vocoder i przeanalizowane przez sztuczną inteligencję. Choć głos nadal brzmi robotycznie, stwierdzono, że dźwięki są wystarczająco zbliżone do mowy.
Kolejny krok
Ta technika okazała się o wiele bardziej skuteczna niż poprzednie próby przy użyciu prostych modeli komputerowych bazujących na wizualnych reprezentacjach częstotliwości dźwięku. Około 75% dźwięków udało się rozpoznać bez większych problemów.
Jest jeszcze wiele do zrobienia, potencjał jest jednak niewiarygodny. Naukowcy mają nadzieję, że ostatecznie uda im się stworzyć system, który zamieni rzeczywiste myśli w wypowiedziane słowa. Kolejne wyzwanie, z którym należy się zmierzyć.
Wrażliwy vocoder i potężne sieci neuronowe prezentowały dźwięki, których słuchali pacjenci, a ich dokładność była zaskakująca. Kolejnym krokiem jest przyjęcie sygnałów mózgowych przez system i przekształcenie ich w syntetyczną mowę werbalną.
