
研究示意圖。圖片來源:《自然·神經科學》
科技日報記者 張夢然
英國《自然·神經科學》發表的一篇論文,描述了一種非侵入性的語言解碼器,可通過功能性磁共振(fMRI)數據,重建感知到或想象出的語言。
過guo去qu的de語yu音yin解jie碼ma器qi被bei用yong於yu侵qin入ru性xing神shen經jing外wai科ke手shou術shu後hou記ji錄lu神shen經jing活huo動dong,這zhe限xian製zhi了le它ta們men的de用yong途tu。其qi他ta使shi用yong非fei侵qin入ru性xing腦nao活huo動dong記ji錄lu的de解jie碼ma器qi限xian製zhi在zai解jie碼ma單dan個ge詞ci彙hui或huo短duan語yu,還hai不bu清qing楚chu此ci類lei解jie碼ma器qi是shi否fou可ke用yong於yu連lian續xu的de自zi然ran語yu言yan。
美國得克薩斯大學奧斯汀分校研究人員開發了一個解碼器,可通過來自fMRI數據獲得的腦模式重建連續語言。他們記錄了3名參與者傾聽16小時敘事故事的fMRI數shu據ju,以yi訓xun練lian模mo型xing在zai腦nao活huo動dong和he語yu義yi特te征zheng之zhi間jian進jin行xing映ying射she,捕bu捉zhuo特te定ding詞ci組zu含han義yi和he相xiang關guan的de大da腦nao響xiang應ying。這zhe一yi解jie碼ma器qi模mo型xing隨sui後hou測ce試shi了le參can與yu者zhe聽ting新xin故gu事shi的de腦nao響xiang應ying,這zhe些xie故gu事shi沒mei有you用yong在zai初chu始shi訓xun練lian數shu據ju集ji中zhong。使shi用yong這zhe一yi腦nao活huo動dong,解jie碼ma器qi可ke生sheng成cheng詞ci彙hui序xu列lie,捕bu捉zhuo到dao新xin故gu事shi的de含han義yi,還hai生sheng成cheng了le一yi些xie精jing確que的de故gu事shi詞ci彙hui和he短duan語yu。他ta們men發fa現xian,解jie碼ma器qi可ke從cong大da多duo數shu已yi知zhi處chu理li語yu言yan的de腦nao區qu和he網wang絡luo的de活huo動dong中zhong推tui斷duan連lian續xu語yu言yan。
這一解碼器還可通過fMRI數(shu)據(ju)預(yu)測(ce)某(mou)個(ge)參(can)與(yu)者(zhe)想(xiang)象(xiang)的(de)故(gu)事(shi)的(de)含(han)義(yi),或(huo)觀(guan)看(kan)一(yi)部(bu)無(wu)聲(sheng)電(dian)影(ying)的(de)內(nei)容(rong)。當(dang)一(yi)名(ming)參(can)與(yu)者(zhe)主(zhu)動(dong)聽(ting)一(yi)個(ge)故(gu)事(shi),忽(hu)略(lve)其(qi)他(ta)同(tong)時(shi)播(bo)放(fang)的(de)故(gu)事(shi),解(jie)碼(ma)器(qi)可(ke)識(shi)別(bie)出(chu)那(na)個(ge)被(bei)主(zhu)動(dong)聽(ting)的(de)故(gu)事(shi)的(de)含(han)義(yi)。
團隊對解碼器作了隱私分析,發現當它基於一名參與者的fMRI數(shu)據(ju)進(jin)行(xing)訓(xun)練(lian)時(shi),對(dui)預(yu)測(ce)另(ling)一(yi)名(ming)參(can)與(yu)者(zhe)數(shu)據(ju)的(de)語(yu)義(yi)內(nei)容(rong)預(yu)測(ce)表(biao)現(xian)不(bu)佳(jia)。他(ta)們(men)總(zong)結(jie)說(shuo),參(can)與(yu)者(zhe)的(de)合(he)作(zuo)在(zai)訓(xun)練(lian)和(he)應(ying)用(yong)這(zhe)些(xie)非(fei)侵(qin)入(ru)性(xing)解(jie)碼(ma)器(qi)中(zhong)非(fei)常(chang)關(guan)鍵(jian),而(er)未(wei)來(lai)此(ci)類(lei)技(ji)術(shu)的(de)發(fa)展(zhan),亦(yi)需(xu)要(yao)政(zheng)策(ce)保(bao)護(hu)心(xin)理(li)隱(yin)私(si)。