舊金山加利福尼亞大學(xué)的一項(xiàng)新研究讓癱瘓的人通過將大腦信號翻譯成計(jì)算機(jī)生成的文字來進(jìn)行交流。這項(xiàng)研究發(fā)表在 新英格蘭醫(yī)學(xué)雜志 ，標(biāo)志著為喪失說話能力的人恢復(fù)交流的一個(gè)重要里程碑。

“據(jù)我們所知，這是第一次成功地從癱瘓不能說話的人的大腦活動中直接解碼完整單詞的演示，”資深作者、加州大學(xué)舊金山分校神經(jīng)外科主任瓊和桑福德·威爾（ Joan and Sanford Weill ）在一份新聞稿中說它顯示出通過利用大腦的自然語言機(jī)制來恢復(fù)交流的強(qiáng)大前景。”

一些有語音限制的人使用輔助設(shè)備——比如觸摸屏、鍵盤或語音生成計(jì)算機(jī)來進(jìn)行交流。然而，每年都有成千上萬的人因?yàn)榘c瘓或腦損傷而喪失了語言能力，使他們無法使用輔助技術(shù)。

這名參與者在 2003 年失去了說話的能力，在一次車禍后因腦卒中癱瘓。研究人員不確定他的大腦是否保留了與語言有關(guān)的神經(jīng)活動。為了追蹤他的大腦信號，一個(gè)由 ele CTR 節(jié)點(diǎn)組成的神經(jīng)假體被放置在大腦的左側(cè)，跨越了幾個(gè)已知的語音處理區(qū)域。

在大約四個(gè)月的時(shí)間里，研究小組進(jìn)行了 50 次培訓(xùn)，參與者被要求說出單個(gè)單詞、造句或回答顯示屏上的問題。在對提示做出反應(yīng)的同時(shí)， ele CTR ode 設(shè)備捕捉到了神經(jīng)活動，并用定制軟件將信息傳輸?shù)接?jì)算機(jī)。

“我們的模型需要學(xué)習(xí)復(fù)雜的大腦活動模式和預(yù)期語言之間的映射。當(dāng)參與者不能說話時(shí)，這就構(gòu)成了一個(gè)重大的挑戰(zhàn)。

為了解碼他大腦活動的反應(yīng)，研究小組建立了語音檢測和單詞分類模型。使用 cuDNN – 加速 TensorFlow 框架和 32 NVIDIA V100 張量核 GPU 研究人員對模型進(jìn)行了訓(xùn)練、微調(diào)和評估。

“利用神經(jīng)網(wǎng)絡(luò)是獲得我們所做的分類和檢測性能的關(guān)鍵，我們的最終產(chǎn)品是大量實(shí)驗(yàn)的結(jié)果，”研究共同負(fù)責(zé)人肖恩·梅茨格（ Sean Metzger ）說因?yàn)槲覀兊臄?shù)據(jù)集是不斷發(fā)展和增長的，能夠適應(yīng)我們使用的模型是至關(guān)重要的。 GPU 幫助我們進(jìn)行更改、監(jiān)控進(jìn)度并了解數(shù)據(jù)集。”

該模型的準(zhǔn)確率高達(dá) 93% ，中位數(shù)為 75% ，解碼速度高達(dá)每分鐘 18 次。

“我們希望達(dá)到 1000 個(gè)單詞，最終達(dá)到所有單詞。這只是一個(gè)起點(diǎn)。

這項(xiàng)研究建立在 以前的工作 由 Chang 和他的同事開發(fā)了一種解碼和轉(zhuǎn)換大腦信號的深度學(xué)習(xí)方法。與目前的研究不同，先前研究的參與者能夠說話。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點(diǎn)介紹了開發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷