對(duì)于許多無法發(fā)出聲音的人來說，他們想說的話會(huì)通過某種信號(hào)隱藏在大腦中。

人類無法直接破譯這些信號(hào)。但是，最近有三個(gè)研究小組在“破譯”這種大腦語言密碼上取得了一定進(jìn)展。

Science雜志最新報(bào)道了哥倫比亞大學(xué)（Columbia University）、德國不萊梅大學(xué)（Bremen）和加州大學(xué)舊金山分校的三個(gè)研究小組的相關(guān)研究：通過手術(shù)，他們?cè)诖竽X上放置電極，搜集電極產(chǎn)生的數(shù)據(jù)，再將其通過計(jì)算機(jī)變成語音信息；接著通過神經(jīng)網(wǎng)絡(luò)模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過計(jì)算機(jī)讓失去語言能力的人表達(dá)自己并不罕見，物理學(xué)家斯蒂芬·霍金在世時(shí)，就會(huì)通過拉緊他的臉頰肌肉，以觸發(fā)安裝在眼鏡上的開關(guān)。對(duì)于經(jīng)歷中風(fēng)或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動(dòng)作用來控制光標(biāo)或選擇屏幕上的字母。

但是，如果腦機(jī)接口直接重塑語音，這樣的患者可能會(huì)重新獲得更多曾經(jīng)喪失的能力：例如，控制音調(diào)變化，或者介入一個(gè)快速的對(duì)話。

研究該問題的道路困難重重。哥倫比亞大學(xué)（Columbia University）計(jì)算機(jī)科學(xué)家Nima Mesgarani說：“我們正試圖找出在不同時(shí)間點(diǎn)打開與關(guān)閉神經(jīng)元的模式，并由此推斷語音內(nèi)容?！薄吧窠?jīng)元間的映射并不淺顯直白?！边@些信號(hào)如何轉(zhuǎn)換為語音聲音因人而異，因此模型必須針對(duì)每個(gè)人進(jìn)行獨(dú)特“訓(xùn)練”。

這些模型將在非常精確的數(shù)據(jù)上表現(xiàn)最好——而搜集這些精準(zhǔn)的數(shù)據(jù)需要打開我們的頭蓋骨。

研究人員只能在極少數(shù)情況下才會(huì)進(jìn)行此類危險(xiǎn)性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產(chǎn)生的電讀數(shù)能夠幫助外科醫(yī)生定位以避開關(guān)鍵的語音及運(yùn)動(dòng)區(qū)；另一種情況是在手術(shù)前為癲癇患者植入電極并保持?jǐn)?shù)天以確定癲癇發(fā)作起因。

瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示說，“我們最多只有20分鐘，最多30分鐘來收集數(shù)據(jù)——真的非常非常受限?！?/p>

新論文背后的研究組盡量最大化利用數(shù)據(jù)、將信息提供給神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)通過將信息傳遞到計(jì)算“節(jié)點(diǎn)”層來處理復(fù)雜的行為模式。網(wǎng)絡(luò)通過調(diào)整節(jié)點(diǎn)之間的連接來學(xué)習(xí)。本實(shí)驗(yàn)則使用人類產(chǎn)生或聽到的語音以及與此同時(shí)大腦活動(dòng)的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Mesgarani的團(tuán)隊(duì)的研究使用了五名癲癇患者的數(shù)據(jù)。

隨著病人們聽到故事錄音以及0至9數(shù)字錄音，他們的神經(jīng)網(wǎng)絡(luò)同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動(dòng)。隨后計(jì)算機(jī)僅根據(jù)神經(jīng)數(shù)據(jù)來重新生成數(shù)字。有一組聽眾會(huì)在計(jì)算機(jī)“說出”數(shù)字同時(shí)對(duì)其進(jìn)行評(píng)估；其精確度大約為75%。

?聲音聽起來有些可怕，

但是仔細(xì)聽仍可以辨認(rèn)出數(shù)字

基于人類聽到口述數(shù)字時(shí)腦活動(dòng)記錄的電腦重建

由德國不萊梅大學(xué)（Bremen）計(jì)算機(jī)科學(xué)家Tanja Schultz領(lǐng)導(dǎo)的另一個(gè)團(tuán)隊(duì)使用了六名接受腦腫瘤手術(shù)的人的數(shù)據(jù)。

他們讓被測(cè)試者朗讀單音單詞，用麥克風(fēng)捕捉他們的聲音。同時(shí)，大腦的語音規(guī)劃區(qū)和運(yùn)動(dòng)區(qū)產(chǎn)生的電極會(huì)被記錄下來（這些電極向聲道發(fā)送命令以清楚地表達(dá)單詞）。

現(xiàn)在正與馬斯特里赫特大學(xué)（Maastricht）合作的計(jì)算機(jī)科學(xué)家Miguel Angrick和Christian Herff訓(xùn)練了一個(gè)將電極讀數(shù)映射到錄音然后從以前看不見的大腦數(shù)據(jù)中重建單詞神經(jīng)網(wǎng)絡(luò)。根據(jù)一項(xiàng)計(jì)算機(jī)評(píng)分系統(tǒng)，大約40％的計(jì)算機(jī)生成單詞是可以理解的。

最后，加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊(duì)根據(jù)由三名癲癇患者大聲朗讀語音引起的、從語言及運(yùn)動(dòng)區(qū)域捕獲的大腦活動(dòng)，重建了整個(gè)句子。

在線上測(cè)試中，有166人聽懂了其中一個(gè)句子，并從10項(xiàng)文字選項(xiàng)中進(jìn)行選擇。超過80％的情況下模型都能夠正確識(shí)別句子。研究人員還進(jìn)一步改進(jìn)了模型：他們使用它根據(jù)人類的唇語來重新創(chuàng)建句子。Herff說，這是一項(xiàng)重要的結(jié)果——“離我們所有人都設(shè)想到的‘語言修復(fù)’更近了一步。”

然而，“我們真正想知道的是當(dāng)患者不能說話時(shí)，（這些方法）將能夠如何起作用”，加州圣地亞哥州立大學(xué)研究語言生成的神經(jīng)科學(xué)家Stephanie Riès說。

一個(gè)人默默說話或在自己腦中聽到自己聲音時(shí)的信號(hào)，與真正說話或聽到某些內(nèi)容時(shí)產(chǎn)生的信號(hào)并不是完全相同的。如果沒有外部聲音來匹配大腦活動(dòng)，計(jì)算機(jī)甚至可能連理清內(nèi)部語音開始與結(jié)束位置這種任務(wù)都很難完成。

奧爾巴尼紐約州衛(wèi)生部國家自適應(yīng)神經(jīng)技術(shù)中心的神經(jīng)工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學(xué)大躍進(jìn)”：“根本不清楚如何做到這一點(diǎn)。”

Herff說，有一種可能的方法，是向大腦-計(jì)算機(jī)交互界面的用戶提供反饋：如果他們能夠?qū)崟r(shí)聽到計(jì)算機(jī)的語音解釋，他們可能能夠即時(shí)調(diào)整他們的想法以獲得理想結(jié)果。

通過對(duì)用戶和神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練，大腦和計(jì)算機(jī)可能最終能達(dá)成一致。