在創(chuàng)建顯著改善手術(shù)工作流的系統(tǒng)和應(yīng)用時，圖像引導(dǎo)手術(shù)和手術(shù)視覺領(lǐng)域的開發(fā)者面臨著特殊的挑戰(zhàn)，包括如何有效組合術(shù)前 3D 患者圖像、術(shù)中視頻等多模態(tài)圖像數(shù)據(jù)。這是在微創(chuàng)或機(jī)器人輔助手術(shù)中為外科醫(yī)生提供準(zhǔn)確實(shí)時指導(dǎo)的關(guān)鍵所在。

本文將帶您了解最先進(jìn)的 AI 和成像技術(shù)的應(yīng)用，并重點(diǎn)介紹 ImFusion 與NVIDIA Holoscan的集成如何實(shí)現(xiàn)實(shí)時傳感器處理、AI 和 I/O。本文還將探討 NVIDIA Holoscan 如何使我們能夠?qū)⒘鞒绦阅芴岣咭槐?，并解釋兩種成像模態(tài)的結(jié)合如何幫助提高手術(shù)準(zhǔn)確性、減少并發(fā)癥和改善療效。

整合多模態(tài)手術(shù)數(shù)據(jù)所面臨的挑戰(zhàn)

在微創(chuàng)或機(jī)器人圖像輔助手術(shù)中，準(zhǔn)確的導(dǎo)航和對患者解剖結(jié)構(gòu)的詳細(xì)了解對于手術(shù)的成功至關(guān)重要。

在術(shù)前規(guī)劃中，外科醫(yī)生通常需要依靠多模態(tài)成像技術(shù)（包括計(jì)算機(jī)斷層掃描（CT）等 3D 診斷成像模態(tài)）來識別異常、指定目標(biāo)區(qū)域，并精確定位血管等關(guān)鍵結(jié)構(gòu)。

但如何在實(shí)時手術(shù)過程中將這些術(shù)前 3D 圖像數(shù)據(jù)集與術(shù)中視頻無縫整合仍是一項(xiàng)重大的挑戰(zhàn)，因?yàn)橥饪漆t(yī)生在手術(shù)過程中往往無法充分利用這些寶貴的術(shù)前數(shù)據(jù)。

下一代醫(yī)療設(shè)備能夠在手術(shù)室中提供手術(shù)指導(dǎo)，前提是具有使用術(shù)前和術(shù)中多模態(tài)數(shù)據(jù)的應(yīng)用。這些應(yīng)用必須同時執(zhí)行多個計(jì)算密集型流程與以下功能：

實(shí)時追蹤解剖結(jié)構(gòu)：在手術(shù)過程中準(zhǔn)確監(jiān)測目標(biāo)組織和器官的表面。

融合術(shù)前和術(shù)中數(shù)據(jù)：將 3D 術(shù)前圖像與實(shí)時手術(shù)視頻無縫融合。

提供低延遲的可視化圖：在手術(shù)過程中提供融合的多模態(tài)信息，并將端到端延遲控制在 100 毫秒以內(nèi)，從而實(shí)現(xiàn)充分的手眼協(xié)調(diào)和實(shí)時決策。

為此，需要以特殊的方式將 AI、加速計(jì)算和先進(jìn)的可視化功能結(jié)合到一起。

NVIDIA Holoscan 是一個針對特定領(lǐng)域的計(jì)算平臺，它所提供的全棧加速基礎(chǔ)設(shè)施能夠在臨床邊緣對流數(shù)據(jù)進(jìn)行可擴(kuò)展、軟件定義的實(shí)時處理。該平臺包含一個參考應(yīng)用庫，可幫助開發(fā)者快速構(gòu)建和優(yōu)化部署到生產(chǎn)中的 AI 應(yīng)用。

NVIDIA 合作伙伴為 Holoscan AI 傳感器處理社區(qū)提供此庫以共享應(yīng)用程序，用戶可以反復(fù)使用和貢獻(xiàn)組件與示例應(yīng)用、推動創(chuàng)新，并加快先進(jìn)醫(yī)療設(shè)備的開發(fā)。

融合術(shù)前數(shù)據(jù)和實(shí)時數(shù)據(jù)

的實(shí)時 3D 手術(shù)指導(dǎo)

總部位于慕尼黑的 ImFusion 是 NVIDIA Connect 計(jì)劃成員。為了打破實(shí)時數(shù)據(jù)的局限性，該公司使用 NVIDIA Holoscan 開發(fā)了一種能夠?qū)⑿g(shù)前數(shù)據(jù)與實(shí)時術(shù)中成像相集成的系統(tǒng)。

3D 網(wǎng)格是一種數(shù)字模型，能夠準(zhǔn)確描繪出結(jié)構(gòu)的形狀和輪廓。該新型系統(tǒng)以 3D 網(wǎng)格的形式追蹤目標(biāo)解剖結(jié)構(gòu)的表面，并將其平滑地融合到外科醫(yī)生的視圖中。網(wǎng)格從術(shù)前 CT 掃描中提取，然后被近乎實(shí)時地疊加到腹腔鏡攝像頭的實(shí)時視頻上。

這樣一來，外科醫(yī)生就能直觀地看到融合的術(shù)中和術(shù)前病人信息，并做出更加明智的實(shí)時決策。

使用 NVIDIA Holoscan 和 NVIDIA IGX

實(shí)現(xiàn)實(shí)時手術(shù)數(shù)據(jù)融合

ImFusion 的解決方案基于其自主開發(fā)的 ImFusion SDK 構(gòu)建，該 SDK 將圖像處理、疊合、分析和可視化算法捆綁在一起。將 NVIDIA Holoscan 集成到 ImFusion SDK 進(jìn)一步提升了性能、效率和靈活性。

ImFusion 計(jì)算機(jī)視覺部門主管 Alexander Ladikos 解釋道：“將 Holoscan 集成到 ImFusion SDK 中，幫助我們實(shí)現(xiàn)了近乎實(shí)時的性能，這對外科手術(shù)應(yīng)用至關(guān)重要。它加快了我們的開發(fā)進(jìn)程，為我們節(jié)省了時間，使我們能夠在未來的項(xiàng)目中重復(fù)使用現(xiàn)有和自定義運(yùn)算符?！?/p>

這一集成使 ImFusion 能夠構(gòu)建和運(yùn)行低延遲的 AI 增強(qiáng)型傳感器流式傳輸應(yīng)用，為下一代軟件即醫(yī)療設(shè)備（SaMD）奠定了基礎(chǔ)，使外科醫(yī)生能夠同時查看實(shí)時和融合的術(shù)前數(shù)據(jù)。

ImFusion 系統(tǒng)的核心是三個關(guān)鍵的神經(jīng)網(wǎng)絡(luò)。每個網(wǎng)絡(luò)都使用了 Holoscan 加速功能[以及開源參考應(yīng)用庫]：

立體深度估算：該神經(jīng)網(wǎng)絡(luò)使用在合成數(shù)據(jù)上訓(xùn)練而成的先進(jìn) CNN 模型，從內(nèi)窺鏡立體視頻幀中生成深度信息。憑借其實(shí)時處理能力，Holoscan 能夠從視頻流中即時估算深度，提供手術(shù)指導(dǎo)所需的重要空間信息。

光流估算：該神經(jīng)網(wǎng)絡(luò)計(jì)算幀間的 2D 像素位移，可確保在各種手術(shù)場景中保持穩(wěn)定的性能。Holoscan 支持 2D 光流快速估算，該光流隨后被投影到 3D 空間，增強(qiáng)了系統(tǒng)追蹤手術(shù)區(qū)域內(nèi)移動情況的能力。

分割：該深度學(xué)習(xí)分割模型由總部位于比利時的全球領(lǐng)先機(jī)器人手術(shù)訓(xùn)練機(jī)構(gòu) ORSI Academy 開發(fā)。該模型可識別手術(shù)器械和目標(biāo)組織，這對于精確的追蹤和疊加至關(guān)重要。Holoscan 能夠快速分析已分割組織區(qū)域的 3D 血流估算值，使系統(tǒng)可以實(shí)時、精確地識別和追蹤特定的解剖結(jié)構(gòu)與器械。

圖 1. 三個模型對深度、光流和

目標(biāo)組織的分割進(jìn)行估算

在這三個神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，ImFusion 系統(tǒng)實(shí)現(xiàn)了驚人的實(shí)時性能。

來自術(shù)前 CT 的表面網(wǎng)格與底層解剖結(jié)構(gòu)手動疊合，然后就能在整個手術(shù)過程中自動追蹤。通過使用搭載NVIDIA GPU的NVIDIA IGX開發(fā)者套件，該系統(tǒng)實(shí)現(xiàn)了約 13.5 赫茲的幀速率中值和低于 75 毫秒的端到端延遲。

雖然這一延遲將繼續(xù)得到優(yōu)化，但它已經(jīng)帶來了性能的大幅提升：Holoscan 數(shù)據(jù)流基準(zhǔn)測試顯示，與之前的硬件配置和NVIDIA TensorRT AI模型推理優(yōu)化前相比，端到端延遲減少了 50%。

改進(jìn)手術(shù)導(dǎo)航并加速開發(fā)

這一高性能使外科醫(yī)生能夠獲得即時視覺反饋，并且提供了前所未有的手術(shù)場景視圖，因此對于實(shí)時手術(shù)應(yīng)用至關(guān)重要。

歐洲最大的機(jī)器人手術(shù)訓(xùn)練中心 ORSI Academy 與 NVIDIA 和 ImFusion 一同指導(dǎo)了開發(fā)工作，并加強(qiáng)其臨床實(shí)用性，對這一進(jìn)步做出了貢獻(xiàn)。

領(lǐng)導(dǎo) Orsi Innotech（ORSI Academy 的外科手術(shù) AI 部門）的工程師兼外科住院醫(yī)師 Pieter De Backer 博士表示：“將實(shí)時視頻與疊加的 3D 網(wǎng)格投影無縫融合，能夠提高外科醫(yī)生在微創(chuàng)或機(jī)器人輔助手術(shù)中的復(fù)雜解剖結(jié)構(gòu)導(dǎo)航能力。例如在高難度的腎臟手術(shù)病例中，如果能夠?qū)崿F(xiàn)內(nèi)生腫瘤表面網(wǎng)格的實(shí)時可視化，就可以更加清楚地標(biāo)明腫瘤的邊界，并最大程度地減少對健康組織的損傷?！?/p>

為實(shí)現(xiàn)低延遲任務(wù)和 AI 推理工作負(fù)載而集成的 Holoscan-SDK 加速了 AI 增強(qiáng)型 SaMD 的開發(fā)。它與 ImFusion-SDK 等特定領(lǐng)域框架的兼容性創(chuàng)造了一個強(qiáng)大的開發(fā)環(huán)境，既縮短了開發(fā)時間，又降低了成本。

生態(tài)協(xié)作與開源貢獻(xiàn)

ImFusion 與 NVIDIA Holoscan 的合作正在提升微創(chuàng)手術(shù)和機(jī)器人輔助手術(shù)的技術(shù)水平，通過將 AI、加速計(jì)算與特定領(lǐng)域相結(jié)合，提高手術(shù)的精準(zhǔn)度、效果和安全性。ImFusion 在醫(yī)療技術(shù)行業(yè)的客戶可以集成 ImFusion 對 Holoscan 參考應(yīng)用所作出的貢獻(xiàn)，并在此基礎(chǔ)上進(jìn)行構(gòu)建。ImFusion 的多模態(tài)數(shù)據(jù)融合應(yīng)用也即將推出。