Напретком у електроници и неурознаности истраживачи су успели да постигну изванредне ствари помоћу уређаја за имплантацију у мозгу, попут враћања вида слепима. Поред обнављања физичких чула, научници такође траже иновативне начине да олакшају комуникацију онима који су изгубили способност говора. Нови „декодер“ који прима податке из електрода имплантираних унутар лобање, на пример, може помоћи парализираним пацијентима да говоре само својим умом.
Истраживачи са Калифорнијског универзитета у Сан Франциску (УЦСФ) развили су двостепену методу за претварање сигнала мозга у компјутерски синтетизовани говор. Њихови резултати објављени ове недеље у научном часопису Натуре пружају могући пут ка флуиднијој комуникацији људима који су изгубили способност говора.
Годинама су научници покушавали да искористе неуралне уносе како би вратили глас људима чија неуролошка оштећења спречавају разговор - попут преживелих од можданог удара или болесника са АЛС-ом. До сада су многа од ових интерфејса мозак-компјутер користила слово по слово, у којем пацијенти померају очи или мишиће лица како би указали на своје мисли. (Степхен Хавкинг чувено је усмеравао свој синтесајзер говора малим покретима у образ.)
Али ове врсте интерфејса су споре - највише се производи 10 речи у минуту, део људске просечне брзине говора од 150 речи у минуту. За бржу и флуиднију комуникацију, УЦСФ истраживачи су користили алгоритме дубоког учења како би претворили неуронске сигнале у изговорене реченице.
„Мозак је нетакнут код ових пацијената, али неурони - путеви који воде до ваших руку или уста или ногу - су разбијени. Ови људи имају високо когнитивно функционисање и способности, али не могу да извршавају свакодневне задатке попут кретања или било чега говорећи “, каже Гопала Ануманцхипалли, главни аутор нове студије и придружени истраживач, специјализован за неуролошку хирургију на УЦСФ. "Ми у суштини заобилазимо стазу која је разбијена."
Истраживачи су започели са подацима о можданој активности високе резолуције, прикупљеним од пет добровољаца током више година. Ови учесници - који су сви имали нормалну говорну функцију - већ су прошли поступак праћења лечења епилепсије који је укључивао имплантацију електрода директно у њихов мозак. Чангсов тим је користио ове електроде да би пратили активност у областима везаним за говор, док су пацијенти читали стотине реченица.
Одатле, тим УЦСФ-а развио је двостепени процес поновног успостављања изговорених реченица. Прво, креирали су декодер за тумачење снимљених образаца мождане активности као упутства за померање делова виртуелног гласног тракта (укључујући усне, језик, вилицу и гркљан). Затим су развили синтесајзер који је користио виртуелне покрете за производњу језика.
Остала су истраживања покушала декодирати ријечи и звукове директно из неуронских сигнала, прескачући средњи корак покрета декодирања. Међутим, истраживање које су истраживачи са УЦСФ-а објавили прошле године сугерише да се говорни центар вашег мозга усредсређује на то како да померате гласнице да би произвели звуке, а не на то какви ће резултирати звукови.
"Обрасци активности мозга у говорним центрима посебно су усмерени на координацију покрета гласног тракта и само су индиректно повезани са звуковима говора", Едвард Цханг, професор неуролошке хирургије на УЦСФ и коаутор новог рада, рекао је на брифингу за штампу ове недеље. „Изричито покушавамо да декодирамо покрете како бисмо створили звуке, за разлику од директног декодирања звукова.“
Пример врсте имплантата мозга интракранијалних електрода типа који се користи за снимање мождане активности. (УЦСФ) Користећи ову методу, истраживачи су успешно преокренули речи и реченице из можданих активности које су отприлике одговарале аудио снимцима говора учесника. Када су питали волонтере на интернетској платформи за гужвање ресурса да покушају препознати речи и преписати реченице помоћу банке речи, многи од њих су могли да разумеју симулирани говор, мада је њихова тачност била далеко од савршене. Од 101 синтетизоване реченице, око 80 одсто је савршено преписао барем један слушатељ користећи банку од 25 речи (та стопа је пала на око 60 одсто када се величина речи банке удвостручила).
Тешко је рећи како се ови резултати упоређују са другим синтетизованим говорним испитивањима, каже Марц Слутзки, неуролог са северозапада, који није био укључен у нову студију. Слутзки је недавно радио на сличној студији која је произвела синтетизоване речи директно из сигнала мождане коре, без декодирања кретања гласница, и верује да је резултирајући квалитет говора сличан - мада разлике у метрикама перформанси отежавају директно поређење.
Међутим, један узбудљив аспект студије УЦСФ је да декодер може генерализовати неке резултате код учесника, каже Слутзки. Главни изазов за ову врсту истраживања је тај да тренирање алгоритама за декодер обично захтијева од учесника да говоре, али технологија је намијењена пацијентима који више не могу разговарати. Могућност генерализације неких тренинга алгоритма могла би омогућити даљи рад са парализираним пацијентима.
Да би решили овај изазов, истраживачи су такође тестирали уређај са учесником који је тихо опонашао реченице, уместо да их изговара наглас. Иако резултирајуће реченице нису биле тако тачне, аутори кажу да је чињеница да је синтеза била могућа и без вокализираног говора има узбудљиве импликације.
"Било је заиста невероватно када смо открили да још увек можемо да произведемо аудио сигнал из чина који уопште не генерише звук", рекао је Јосх Цхартиер, ко-водећи аутор студије и дипломираног студента биоинжињеринга на УЦСФ. .
Слика аутора студије, Гопала Ануманцхипалли, држи пример примене интракранијалних електрода типа који се користи за снимање мождане активности у тренутној студији. (УЦСФ) Други циљ будућих истраживања јесте наставак демонстрација декодера у стварном времену, каже Ануманцхипалли. Тренутна студија замишљена је као доказ концепта - декодер је развијен одвојено од процеса прикупљања података, а тим није тестирао брзину превођења можданих активности у синтетичном говору у стварном времену, мада би то могао бити крајњи циљ клинички уређај.
Та синтеза у реалном времену је нешто чему је потребно да би такав уређај могао бити користан у будућности, каже Јаимие Хендерсон, Станфорд неурохирург који није био укључен у студију. Ипак, каже да је двостепена метода аутора узбудљив нови приступ, а употреба технологије дубоког учења може пружити нови увид у то како говор заиста функционише.
„За мене је идеја која се почиње бавити истраживањем основа стварања говора код људи веома узбудљива“, каже Хендерсон. „[Ова студија] почиње да истражује једну од наших најчешћих људских способности на фундаменталном нивоу.“
