腦機交互技術是探索大腦功能,治療大腦疾病的重要手段,目前已經被廣泛應用于腦信息解碼、腦控、腦疾病生物標記物檢測、腦功能監測及腦疾病干預等多個方面。為了推動腦機交互技術的智能化發展,為腦科學研究及腦疾病診治提供新技術,復旦大學類腦人工智能科學與技術研究院副院長王守巖教授團隊開創性地應用NVIDIA Jetson 邊緣計算平臺,打造了可移動智能腦機交互平臺,并應用該平臺進行了一系列腦疾病相關的科學及轉化研究。
王守巖教授和他的課題組團隊
NVIDIA Jetson 軟硬件賦能
腦機交互技術如虎添翼
為了滿足腦機交互技術的智能化需求,平臺負責人李巖博士將目光放在了NVIDIA Jetson Nano身上。“我們要打造的是一個具備可移動、高實時性、易拓展的智能腦機交互平臺,NVIDIA Jetson Nano 套件在硬件及軟件支持上都是非常合適的選擇。”李巖博士說。
很快,團隊就利用 NVIDIA Jetson Nano 套件構建了一個原型機,其核心結構主要包含三個模塊:Jetson Nano Kit、有線電生理信號采集模塊以及有線電刺激模塊。模塊與模塊之間通過有線連接的方式集成,在系統響應層面能夠實現毫秒級別的實時性。

腦機平臺的原型
整個原型機以 NVIDIA Jetson Nano 邊緣計算芯片為計算核心,基于 L4T 系統搭建了實時處理的軟件框架,該框架具備應用 NVIDIA 加速神經網絡推理工具的能力,例如 TensorRT。
除了支持深度學習通用框架的編碼和模型加速能力外, Jetson Nano 平臺還包含了豐富的外設接口,包括 SPI、UART、USB 等,非常適合控制多種不同類型的外設,結合不同的外設,使得該原型機能夠拓展控制更多的外部設備,從而使得平臺具備多維信號感知和刺激能力。目前,該平臺支持多通道的人體電生理信號(腦電、心電、肌電)、運動信號(旋轉角、加速度、轉速)及姿勢(視頻監測)的多維度信息采集能力,具備高速在線數字信號處理及推理人工智能模型的計算能力,以及控制聲光電設備對人體進行刺激的治療能力。
“由于可以便捷地利用 NVIDIA Jetson 的軟硬件資源,我們的平臺能夠快速兼容新的信號感知和刺激輸出硬件,使得平臺的應用拓展更加順利,進一步推動平臺的應用轉化。”平臺軟件框架負責人聶英男博士說道。
智能腦機交互平臺初顯鋒芒
為帕金森病的診斷、監護和治療提供幫助
隨著我國社會老齡化程度的加深,與年齡密切相關的腦疾病患者呈上升趨勢,而帕金森病就是一種常見的神經系統變性疾病,在老年人群中多發。該疾病在全人群中的患病率約為 0.3%,但患病率有會隨年齡的增高而增加的趨勢,在 65 歲以上的老年人群中,帕金森病的患病率為 1-2%,而在 85 歲以上人群其患病率增加到了 3-5%。
“帕金森病首發癥狀通常是一側肢體的震顫或活動笨拙,進而累及對側肢體。臨床上主要表現為靜止性震顫、運動遲緩、肌強直和姿勢步態障礙。患者往往需要忍受極大的生理和心理上的痛苦。”李巖博士介紹說,“對帕金森病運動癥狀的量化評估、監護及新療法研究,會在改善病人生活質量和緩解社會壓力方面發揮巨大的作用。”
目前,智能腦機交互的原型機可以實現運動行為記錄、基于腦電信號的注意力分析、基于肌電信號的運動姿態判別、模擬神經振蕩信號分類任務,以及基于帕金森大鼠深部腦電信號的閉環神經治療任務。
在日常監護方面,平臺通過視頻和運動傳感,分析病人在生活中的異常姿勢狀態,在可能出現的危害人身安全的情境下進行報警或聯系病人家屬等操作,盡可能保護病人的正常生活,避免疾病帶來的進一步損傷。
在新療法研究方面,平臺通過實時分析病人的腦電信號,在特定的疾病相關的信號特征出現后給予電刺激治療,形成一種閉環的治療方式。“大腦深部腦電信號中的神經振蕩活動是反應帕金森病的重要標記物,我們模擬了 beta(13-30Hz)振蕩信號的狀態分類任務,” 李巖博士介紹:“為了保證分類的實時性,我們使用了NVIDIA TensorRT加速了 CNN 網絡,速度提升了 6 倍左右。”
與 NVIDIA Jetson 系列共同成長
隨著云計算、網絡通信以及智能終端的發展,智能邊緣計算平臺必將融入到這種新型模式下,實現長時間的大數據分析、個性化建模、病程預測、干預等任務,以更好的計算效率、體系化的數據處理以保證高精度、高效率的個性化建模及預測。
“我們很高興成為 NVIDIA Jetson 百萬開發者的一員,非常感謝 NVIDIA 人工智能中心、中國教育領域合作團隊持續的有力支持,使得我們有可能將前沿技術轉化應用到腦科學研究中,未來我們將集成更強大的 Jetson 計算核心,目前已經在Jetson AGX Orin上進行整體軟件框架的調試。我們希望平臺可以面向更多的腦功能探索和腦疾病展開應用,服務于神經科學家、臨床醫生,為腦疾病特別是老齡化相關的腦疾病的監護、評估和治療發展提供助力!”王守巖教授說。
王守巖教授在“腦科學與類腦研究”重大項目、科技部國家重點研發計劃、上海市科技重大專項等國家和上海市科研項目的支持下,帶領人工智能算法、智能電子、臨床神經生理等科學家團隊加速推動以人工智能算法、移動邊緣計算為核心的腦機交互神經調控技術在臨床的轉化應用。
像王守巖教授及團隊一樣的開發者朋友們可以免費報名參加 GTC 的Jetson 邊緣 AI 開發者日活動。NVIDIA 專家將在活動上介紹最新的 Jetson 硬件、軟件和合作伙伴。內容包括:
-
使用 NVIDIA Jetson 軟件加速邊緣 AI 的開發
(https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675122992275001FUuE)
-
使用 NVIDIA Jetson Orin 平臺提升邊緣 AI 和機器人技術水平
(https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1668040615028001N01j)
-
使用 NVIDIA Nsight 開發者工具充分發揮 Jetson Orin 的作用
(https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675124636163001GyIr)
-
使用 NVIDIA Jetson 生態系統加快產品上市速度
(https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675125146374001Sj7X)
另外,GTC 期間更有一場以 Jetson 平臺為主題的專家交流分會,屆時參加者可以與 NVIDIA 嵌入式平臺工程師開展深度問答。這場互動交流會提供了一個獨家機會,讓您可以團隊或個人形式與 NVIDIA 產品幕后人員見面,答疑解惑。活動席位有限,先到先得。
復制鏈接粘貼至瀏覽器進行注冊:
https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1670472065129001rf2z
如果您想要更加深入地了解如何利用 NVIDIA 技術助力醫療健康領域,也歡迎加入GTC23 醫療健康與生命科學精選會議:
https://www.nvidia.cn/gtc-global/sessions/healthcare-life-sciences/?ncid=so-wech-481805
//
Jetson “百萬開發者”有獎征集活動正在火熱進行中。作為 Jetson “百萬開發者”的一員,感謝您陪伴 Jetson 走過的開發之路。無論是企業、工程師、發燒友還是學生,我們相信每一位開發者都和 Jetson 有著不一樣的故事。快來參與有獎征集活動,說出您與 Jetson 的故事,無論是開發創造的經典案例,還是學習構建的心得體驗,都歡迎您暢所欲言,更有驚喜好禮等您拿!
推薦閱讀
Jetson 開發者破百萬,快來說出你的開發故事吧
點擊 “閱讀原文” 或掃描下方海報二維碼,即可免費注冊 GTC23,在 3 月 24 日 聽 OpenAI 聯合創始人與 NVIDIA 創始人的爐邊談話,將由 NVIDIA 專家主持,配中文講解和實時答疑,一起看 AI 的現狀和未來!
原文標題:Jetson 百萬開發者故事 | NVIDIA Jetson 如何成為可移動智能腦機交互平臺
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3920瀏覽量
93107
原文標題:Jetson 百萬開發者故事 | NVIDIA Jetson 如何成為可移動智能腦機交互平臺
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
研華NVIDIA Jetson Orin Nano系統支持Super Mode

探索NVIDIA Jetson與DeepSeek融合的無限可能

云驥智行借助NVIDIA Jetson打造“域腦”通用計算平臺
NVIDIA JetPack 6.2引入Super模式

開發者的開源鴻蒙故事
NVIDIA Jetson Orin Nano開發者套件的新功能

NVIDIA發布小巧高性價比的Jetson Orin Nano Super開發者套件
NVIDIA 推出高性價比的生成式 AI 超級計算機

u-blox深化與NVIDIA Jetson和NVIDIA DRIVE Hyperion平臺合作
初創公司借助NVIDIA Metropolis和Jetson提高生產線效率
Made with KiCad(二):Jetson Origin Baseboard

使用NVIDIA Jetson打造機器人導盲犬
使用機器學習和NVIDIA Jetson邊緣AI和機器人平臺打造機器人導盲犬
NVIDIA JetPack 6.0版本的關鍵功能

使用myAGV、Jetson Nano主板和3D攝像頭,實現了RTAB-Map的三維建圖功能!

評論