摘要：本文介紹腦機(jī)交互的概念及標(biāo)準(zhǔn)化的必要性，討論近年來腦機(jī)交互的發(fā)展?fàn)顩r，重點(diǎn)闡述國內(nèi)外植入式腦機(jī)接口的研究歷程，并從腦機(jī)交互系統(tǒng)角度提出了腦機(jī)交互標(biāo)準(zhǔn)化的思考，同時介紹在腦機(jī)交互計算標(biāo)準(zhǔn)化方面的相關(guān)實踐。

1 腦機(jī)交互概念及標(biāo)準(zhǔn)化

腦機(jī)接口(Brain-Machine Interface，BMI) 是指不依賴常規(guī)的脊髓/ 外周神經(jīng)肌肉系統(tǒng)，在腦與外部環(huán)境之間建立一種新型的信息交流與控制通道，實現(xiàn)腦與外部設(shè)備之間的直接交互[1]。

腦機(jī)接口涉及信息科學(xué)、認(rèn)知科學(xué)、材料科學(xué)和生命科學(xué)等領(lǐng)域，對人工智能、生物工程和神經(jīng)康復(fù)等產(chǎn)生了越來越重要的影響。通過腦機(jī)接口技術(shù)實現(xiàn)腦與外部設(shè)備的交互，則稱為腦機(jī)交互。腦機(jī)交互是全新的人機(jī)交互方式，有望推動對大腦的更深入研究，并促進(jìn)大腦智能和外部機(jī)器智能的融合增強(qiáng)( 混合智能)，具有重大研究價值和應(yīng)用前景。腦機(jī)交互中設(shè)備復(fù)雜、數(shù)據(jù)差異大、計算方法多樣化，對腦機(jī)交互系統(tǒng)關(guān)鍵步驟進(jìn)行標(biāo)準(zhǔn)化有助于規(guī)范腦機(jī)交互系統(tǒng)的構(gòu)建、降低本領(lǐng)域研究的門檻，切實推動腦機(jī)交互的發(fā)展。

2 腦機(jī)交互的最新研究現(xiàn)狀

根據(jù)獲取腦信號方式的不同，可以將腦機(jī)接口分為植入式和非植入式兩種。非植入式腦機(jī)接口直接從大腦外部獲取腦信號，所記錄的腦信號信息量較小、時間分辨率比較低，只能用來執(zhí)行簡單的操作控制，比如撥打電話、輪椅控制、運(yùn)動假肢控制、打字等[2]。植入式腦機(jī)接口通常通過在大腦中植入芯片以獲取腦信號，相對于非植入式信號，植入式腦信號在時間和空間分辨率更高，記錄的信息量更加豐富，可以實現(xiàn)更復(fù)雜的控制。

2.1 非植入式腦機(jī)接口

非植入式的裝置很方便佩戴于人體，但需要突破顱骨對信號的衰減作用和對神經(jīng)元發(fā)出的電磁波的分散和模糊效應(yīng)。典型的非植入式腦機(jī)接口采用的信號包括EEG 和P300 信號[3]。EEG 信號有著良好的時間分辨率，采集設(shè)備易用、便攜，價格相對低廉。

這方面研究的一個典型例子是德國圖賓根大學(xué)的Niels Birbaurmer 于1990 年進(jìn)行的項目，該項目利用癱瘓病人的腦電圖信號使其能夠控制電腦光標(biāo)，經(jīng)過訓(xùn)練，十位癱瘓病人能夠成功地用腦電圖控制光標(biāo)[4]?；赑300 的非植入式腦機(jī)接口典型例子是美國羅切斯特大學(xué)的Jessica Bayliss 的一項研究，受試者可以通過P300 信號控制虛擬現(xiàn)實場景中的一些物體，例如開關(guān)燈或者操縱虛擬轎車等[5]。

由于非植入信號的無創(chuàng)性，產(chǎn)業(yè)界也踴躍開發(fā)非植入式腦機(jī)接口應(yīng)用系統(tǒng)，如圖1 是日本本田公司生產(chǎn)的意念控制機(jī)器人，操作者可以想象自己的肢體運(yùn)動來控制身邊機(jī)器人進(jìn)行相應(yīng)的動作。近年來，國內(nèi)清華大學(xué)、華南理工大學(xué)、電子科技大學(xué)、上海交通大學(xué)、浙江大學(xué)等均成立課題組投入非植入式腦機(jī)接口研究，并取得了一系列重要進(jìn)展。

提取神經(jīng)信號建立植入式腦機(jī)接口系統(tǒng)。Nicolelis 領(lǐng)導(dǎo)的研究小組采集了夜猴運(yùn)動皮層神經(jīng)電信號，對神經(jīng)信號進(jìn)行解碼對遠(yuǎn)程機(jī)器臂進(jìn)行實時控制( 開環(huán)控制)，成功實現(xiàn)了“Monkey Think Robot Do”的神奇演示[6]。此后，Nicolelis 小組又成功開發(fā)了閉環(huán)機(jī)器臂控制腦機(jī)接口系統(tǒng)。同時，美國Pittsburgh 大學(xué) Schwartz 實驗室研究人員將微電極植入運(yùn)動受限的猴子運(yùn)動神經(jīng)皮層，獲取運(yùn)動相關(guān)的神經(jīng)電活動，并訓(xùn)練猴子利用思維活動控制機(jī)器臂( 圖2) [7]。

2006年，美國布朗大學(xué)在癱瘓病人上實現(xiàn)腦電控制假肢[8]，這是腦機(jī)接口的首次臨床應(yīng)用，具有里程碑的意義。Donohue 教授領(lǐng)導(dǎo)的研究人員在人腦中植入了芯片，直接控制電腦的光標(biāo)，并用電腦控制其他設(shè)備。其他在植入式腦機(jī)接口方面取得比較成功的實驗包括：2012 年，美國西北大學(xué)Miller教授實現(xiàn)了功能性電刺激控制癱瘓肌肉[10]；2012年，美國匹茲堡大學(xué)實現(xiàn)人腦ECoG 信號控制機(jī)械手[11] 等。

圖1 日本本田公司生產(chǎn)的用意念控制的機(jī)器人

圖2 猴子腦思維控制機(jī)器臂進(jìn)食

2.2 植入式腦機(jī)接口

植入式腦機(jī)接口能直接獲取大腦皮層的神經(jīng)集群信號，信息量大、時空分辨率高，鋒電位(Spike)信號解碼能夠?qū)崿F(xiàn)對外部設(shè)備多自由度的實時、精確控制。自本世紀(jì)以來，Nature 和Science 等報道了一系列侵入式腦機(jī)接口的重大研究成果[6-8, 10-11]，相關(guān)研究促進(jìn)了人們對神經(jīng)系統(tǒng)的認(rèn)識，建立了大量復(fù)雜信息處理方法，極大地推動了神經(jīng)、信息與認(rèn)知等學(xué)科的發(fā)展。

典型的植入式腦機(jī)接口系統(tǒng)包括：2000 年，杜克大學(xué)的Miguel 和Nicolelis 用在大腦皮層植入電極，2005 年以后，我國植入式腦機(jī)接口研究取得了重要的進(jìn)展，尤其是浙江大學(xué)求是高等研究院鄭筱祥教授領(lǐng)導(dǎo)的團(tuán)隊，已經(jīng)成功在非人類靈長類動物上建立了腦機(jī)接口系統(tǒng)，實現(xiàn)了利用腦電信號對機(jī)械假肢的實時控制。猴子可以通過意念直接控制機(jī)械手完成抓、勾、握、捏四種不同的抓握手勢，正確率達(dá)到85% 以上[12]。

3 腦機(jī)交互標(biāo)準(zhǔn)化思考及實踐

3.1 腦機(jī)交互標(biāo)準(zhǔn)化思考

完整的腦機(jī)交互系統(tǒng)包括神經(jīng)信號的采集、實驗的范式設(shè)計、神經(jīng)信號的解碼、智能機(jī)器的控制等。當(dāng)前，腦機(jī)交互系統(tǒng)在以上關(guān)鍵四步驟均存在很大的差異性，導(dǎo)致構(gòu)建腦機(jī)接口和交互系統(tǒng)過程復(fù)雜、系統(tǒng)性能評估困難、難以推廣。

考慮在腦機(jī)交互系統(tǒng)中提煉共性部分，建立交互標(biāo)準(zhǔn)具有重要意義，其中：神經(jīng)信號的采集涉及到采集腦神經(jīng)信號的設(shè)備標(biāo)準(zhǔn)以及所采集信號數(shù)據(jù)的表征標(biāo)準(zhǔn)；信號的解碼涉及預(yù)處理、訓(xùn)練、測試等步驟，對應(yīng)著解碼算法的輸入標(biāo)準(zhǔn)和解碼算法標(biāo)準(zhǔn)；智能機(jī)器的控制涉及控制輸入數(shù)據(jù)標(biāo)準(zhǔn)以及控制的設(shè)備和控制接口標(biāo)準(zhǔn)等。

具體應(yīng)考慮以下標(biāo)準(zhǔn)化重點(diǎn) [2]：

(1) 神經(jīng)信號的采集設(shè)備標(biāo)準(zhǔn)。主要指采集spike、ECog、LFP 等腦電信號的植入式設(shè)備，需要根據(jù)所采集的不同信號對設(shè)備的材質(zhì)、安全性等建立統(tǒng)一的標(biāo)準(zhǔn)。

(2) 神經(jīng)信號的數(shù)據(jù)表示標(biāo)準(zhǔn)。由于不同信號的采集設(shè)備所采集的信號具有差異性，不同的實驗人員對所采集的神經(jīng)信號進(jìn)行不同的信號預(yù)處理，所產(chǎn)生的神經(jīng)信號也具有差異性，這種差異性加大了評估解碼系統(tǒng)性能的難度。因此，神經(jīng)信號的數(shù)據(jù)表示標(biāo)準(zhǔn)的制定顯得尤為重要。

(3) 實驗范式標(biāo)準(zhǔn)。指實驗對象在實驗過程中所遵循的行為規(guī)范模式，神經(jīng)信號的提取便是在實驗對象進(jìn)行實驗范式的過程中進(jìn)行的，通過規(guī)范實驗范式，有利于規(guī)范神經(jīng)信號數(shù)據(jù)。

(4) 解碼算法標(biāo)準(zhǔn)。主要是解碼算法接口的標(biāo)準(zhǔn)化，這樣有利于提高腦機(jī)交互系統(tǒng)的可擴(kuò)展性，只需要按照標(biāo)準(zhǔn)的解碼算法接口設(shè)計，便可方便腦機(jī)交互系統(tǒng)加入新的解碼算法。

(5) 智能機(jī)器的控制接口標(biāo)準(zhǔn)。由于生產(chǎn)腦機(jī)交互的智能機(jī)器的硬件廠家很多，導(dǎo)致對智能機(jī)器的控制接口也錯綜復(fù)雜，因此制定統(tǒng)一的智能機(jī)器控制接口標(biāo)準(zhǔn)更能方便腦機(jī)交互系統(tǒng)的開發(fā)。

(6) 反饋信息輸入標(biāo)準(zhǔn)。反饋信息的輸入是雙向腦機(jī)接口必須要解決的重點(diǎn)與難點(diǎn)，對信息輸入進(jìn)行標(biāo)準(zhǔn)化可以使得整個腦機(jī)交互系統(tǒng)更加穩(wěn)定。

(7) 多模態(tài)信息的表征標(biāo)準(zhǔn)。主要指視覺、聽覺、觸覺等感覺信息的表征，有利于信息反饋的輸入更加具有一致性。

3.2 腦機(jī)交互計算標(biāo)準(zhǔn)化實踐

針對以上腦機(jī)交互標(biāo)準(zhǔn)化的思考，浙江大學(xué)計算機(jī)學(xué)院腦機(jī)融合研究團(tuán)隊正著手設(shè)計腦機(jī)交互計算部分的標(biāo)準(zhǔn)化系統(tǒng)和標(biāo)準(zhǔn)化建議。當(dāng)前已有的腦機(jī)交互計算系統(tǒng)包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛羅里達(dá)大學(xué)的DDDBMI 等。其中，BCI2000 是一個在線軟件平臺，以軟件套件的形式提供服務(wù)，具有數(shù)據(jù)采集，腦電信號處理、學(xué)習(xí)及反饋等功能。BCILab 則以Matlab 的工具箱的形式呈現(xiàn)給用戶，提供的服務(wù)包括：信號采集、特征提取、機(jī)器學(xué)習(xí)、BCI 范式、在線插件等。

OpenViBE 與BCI2000 類似，同樣以軟件套件的形式呈現(xiàn)，通過由用戶定制場景的方式提供BCI 信號的處理和可視化。BioSig 兼容各種主流平臺，提供了Matlab 與Octave 工具箱，也提供了C/C++、Python 等編程語言下的函數(shù)接口庫，專門提供生物醫(yī)學(xué)信號處理，涵蓋神經(jīng)、腦機(jī)、心血管等，可以用來進(jìn)行信號采集、處理、分類以及建模與可視化。DDDBMI 是最有代表性的腦機(jī)交互計算平臺，其目標(biāo)是設(shè)計一個自適應(yīng)的中間件與工作站，能夠管理實驗信號采集、閉環(huán)機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、在線解碼等所有與其相關(guān)的工作。

DDDBMI 已開發(fā)了部分中間件功能模塊，其服務(wù)包括提供實時操作的閉環(huán)機(jī)器學(xué)習(xí)系統(tǒng)。目前，DDDBMI 已開發(fā)了一個支持在線/ 離線實驗的工作站，內(nèi)含一個分布式計算系統(tǒng)，方便遠(yuǎn)程和本地用戶參與的在線和離線實驗計算根據(jù)需求動態(tài)分配資源。

現(xiàn)有的腦機(jī)交互計算系統(tǒng)存在以下不足：絕大多數(shù)系統(tǒng)僅針對1-2 類數(shù)據(jù)來實現(xiàn)相關(guān)的信號處理算法，可擴(kuò)展性、可配置性較差。

因此，設(shè)計開發(fā)一個更普式的腦機(jī)交互計算標(biāo)準(zhǔn)平臺十分必要，該系統(tǒng)解決以下問題：

(1) 數(shù)據(jù)表示不統(tǒng)一、解碼算法設(shè)計不一致，導(dǎo)致無法對解碼算法性能進(jìn)行有效的對比；

(2) 實驗范式設(shè)計復(fù)雜，負(fù)責(zé)設(shè)計與計算的通常不是同一個人，如何將范式的設(shè)計模塊獨(dú)立出來，以最大化不同人員的優(yōu)勢；

(3) 對于一些計算量較大的任務(wù)，應(yīng)該考慮使用分布式架構(gòu)。

為此，我們設(shè)計了一個統(tǒng)一數(shù)據(jù)表示方式、支持分布式計算、支持算法組件可配置、支持算法組件可擴(kuò)展、同時支持在/ 離線任務(wù)的腦機(jī)交互計算標(biāo)準(zhǔn)平臺。

圖3 顯示了腦機(jī)交互計算標(biāo)準(zhǔn)系統(tǒng)的架構(gòu)。

用戶可以使用拖拽的形式選擇數(shù)據(jù)輸入模塊、預(yù)處理模塊、算法訓(xùn)練模塊以及測試模塊等，然后配置相關(guān)實驗參數(shù)，點(diǎn)擊執(zhí)行，計算系統(tǒng)便立刻自動檢測相關(guān)模塊、數(shù)據(jù)依賴，將計算任務(wù)交給后臺進(jìn)行處理，對于離線任務(wù)可以進(jìn)行分布式以提高計算性能，同時實時將中間結(jié)果傳遞給前端界面以提供數(shù)據(jù)的可視化分析的功能。對于需要擴(kuò)展的算法，只需要按照所提供的算法模塊的接口進(jìn)行實現(xiàn)即可。