醫療科技的未來是機器人化——醫院將全面自動化，由 AI 驅動的手術系統、機器人助手和自主患者護理徹底改變現有醫療模式。

構建 AI 驅動的機器人系統面臨幾項關鍵挑戰。首要挑戰是將數據收集與專家見解相融合，另一項挑戰則是為逼真的解剖結構、傳感器和機器人創建詳細的生物力學仿真，這些仿真對于生成合成數據和訓練機器人至關重要。確保從虛擬部署無縫過渡到現實場景同樣關鍵，此外還需在操作過程中管理高帶寬、多模態傳感器 AI 的超低延遲問題。

這些技術瓶頸凸顯了對整體性框架的需求——該框架需包含三個核心計算模塊：用于訓練先進模型的 AI 計算，用于在高保真虛擬環境中開發和驗證機器人行為的仿真計算，以及用于臨床環境實時執行的運行時計算。

NVIDIA Isaac for Healthcare是一款用于 AI 醫療健康機器人的開發者框架，能幫助開發者應對這些挑戰。Isaac for Healthcare 適用于醫療健康特定領域，基于 NVIDIA三臺計算機實現物理 AI。

該框架包含用于采用 MONAI 提供預訓練模型和代理式 AI 框架，其中 MAISI、Vista-3D 等模型可生成仿真工作流所需的解剖合成數據；其次，它包含用于仿真的NVIDIA Omniverse（包括NVIDIA Isaac Sim和NVIDIA Isaac Lab），開發者可以導入醫療設備/機器人、傳感器及解剖結構，以構建具有物理精確性的虛擬環境，讓機器人系統能安全地學習技能；第三，它包含NVIDIA Holoscan，用于實現在機器人端部署和進行實時傳感器處理。

該框架能夠提供數字原型設計、硬件在環（HIL）產品開發測試、用于 AI 訓練的合成數據生成、策略訓練，以及實時部署等，適用于各類型醫療機器人，包括：

手術與介入機器人

影像診斷機器人

康復輔助與服務機器人

NVIDIA 三臺計算機解決方案，正在為醫療健康領域的下一代 AI 機器人發展提供支持

Isaac for Healthcare：

引領醫療 AI 機器人技術新浪潮

Isaac for Healthcare 通過數字孿生與物理 AI 技術的融合，為醫療領域提供以下核心能力：

針對下一代醫療機器人系統、傳感器及器械的數字化原型設計。

利用高保真仿真環境生成的真實數據與合成數據訓練 AI 模型。

在具備硬件在環（HIL）的數字孿生環境中驗證 AI 模型。

通過在數字孿生環境中實現對機器人系統的擴展現實（XR）和 / 或具備觸覺反饋的遠程操作，收集用于通過模仿學習來訓練機器人策略的數據。

利用 GPU 并行計算來訓練強化學習和模仿學習算法，提升機器人靈巧操作能力（比如在機器人輔助手術的場景中）。

通過硬件在環數字孿生系統，對機器人進行持續測試（CT）。

構建從仿真到現實的部署應用，實現物理手術機器人的落地。

最新版本重點推出兩大端到端參考工作流：手術子任務自動化與自主機器人超聲掃描，全面覆蓋外科手術和醫學影像機器人應用場景，旨在加速實現用戶特定場景下的自主機器人能力開發。

下文將詳細解析這兩大工作流的技術實現。

機器人手術子任務自動化工作流

本工作流為開發者構建和部署手術子任務自動化解決方案提供標準化模板。通過整合數字孿生、強化學習與模仿學習、高保真合成數據生成以及實時機器人評估等技術，該方案為 AI 驅動的手術自動化提供了可擴展的實施路徑。

該工作流基于 ORBIT-Surgical 項目開發，該項目由 NVIDIA、PAIR 實驗室（多倫多大學與佐治亞理工學院聯合實驗室）及 AUTOLAB（加州大學伯克利分校）共同推進，并得到蘇黎世聯邦理工學院的研究協作支持。

ORBIT-Surgical 現正遷移至 Isaac for Healthcare 平臺，并逐漸演變為機器人手術子任務自動化工作流。未來，來自學術界、產業界和臨床醫療機構的現有合作伙伴及新伙伴，將共同協作推動該工作流的進一步發展。

Isaac for Healthcare 工作流 1——機器人手術子任務自動化，幫助開發者構建手術子任務自動化策略

約翰霍普金斯大學和斯坦福大學的合作團隊，將一個經過數小時手術視頻訓練的視覺語言模型（VLM）與達芬奇研究套件（dVRK）集成，該系統可自主執行三個關鍵手術任務：小心提起身體組織、使用手術針和縫合傷口（如上圖所示）。

借助這一工作流，開發人員可以將自己的手術機器人、傳感器、器械和患者模型引入 NVIDIA Omniverse，創建高保真手術數字孿生模型。這使他們能夠在不接觸患者的情況下，對縫合、切割和組織操作等復雜手術過程進行仿真，同時大規模生成大量基于物理原理的、逼真的合成數據，用于訓練機器人策略。

然后，這些合成生成的數據集將在 Isaac Lab 中用于訓練強化學習和模仿學習流程，或者微調現有的通用視覺語言動作模型（例如 π0），以使手術機器人能夠掌握人類外科醫生的技能和靈活性。

最后，在數字孿生中經過充分訓練的策略，實現了從仿真到現實的過渡，并部署到一臺物理手術機器人上（本例中為 dVRK）。

Isaac for Healthcare 在手術子任務自動化工作流中的關鍵能力包括：

自帶（BYO）組件：使用自定義機器人、器械、耗材和解剖結構

具備仿真環境：逼真、基于物理的數字孿生模型

數據生成和收集：合成數據以及專家示范操作數據

策略訓練：用于技能獲取的強化學習和模仿學習

評估和測試：在數字孿生中進行基于 HIL 測試的基準測試

Sim2Real 遷移：將 AI 從仿真環境部署到真實手術中

Isaac for Healthcare 機器人手術子任務自動化工作流是一個主要基于 NVIDIA Omniverse 和 NVIDIA Holoscan 構建的框架

BYO 解剖學

該流程創建逼真解剖模型的步驟如下：從 AI 輔助的合成 CT 生成（使用NVIDIA MAISI）和分割操作（使用NVIDIA VISTA3D或 Auto3DSeg）開始，隨后進行網格轉換、網格清理和優化、逼真紋理處理，最終將所有帶紋理的器官組裝成統一的 OpenUSD 文件。

該工作流能夠創建針對特定患者的模型，用于罕見或復雜病例的仿真。這一點尤為重要，因為此類病例的真實患者數據往往非常稀缺，這就使得仿真成為了用于培訓和術前準備的極為寶貴的工具。

逼真人體器官模型可在 GitHub 獲取：

https://github.com/isaac-for-healthcare/i4h-asset-catalog

BYO 機器人 / 儀器

該工作流基于達芬奇研究套件（dVRK）開發，但所提供的模板能夠推廣應用到其他機器人平臺。導入手術機器人的流程需要遵循 Isaac Sim 通用導入指南。詳細指導請參考 Isaac Sim URDF 導入教程。

Isaac Sim 4.5 提供了簡化的工作流，通過將機器人 CAD 模型轉換為 USD 格式來準備仿真模型。轉換為 USD 后，可進行關節裝配的關鍵步驟，包括添加關節物理特性和定義機器人的運動學屬性。完成這些關鍵準備工作后，您的機器人模型即可集成到仿真場景（數字孿生模型）中，以物理精確的方式與器官或其他物體交互。

BYO 傳感器

該工作流為 AI 策略學習提供多種感知模式。開發者可集成不同的成像傳感器（如立體相機、內窺鏡相機、深度傳感器）來定制 AI 感知流程。

專家示范數據采集

（通過遠程操作技術）

該工作流還提供方案/示例，支持通過不同手術任務的遠程操作，生成高質量示范數據，這些數據對于訓練和評估手術機器人中的 AI 模型至關重要。

各種外圍設備，包括鍵盤、空間鼠標、游戲手柄、VR 控制器和達芬奇研究套件（dVRK）的主工具操作器（MTM），都可以與數字孿生體進行通信，并提供輸入指令，來控制 Cartesian 空間中的機器人。

策略學習

對于任務自動化，支持各種先進的強化學習和模仿學習算法，例如 Action Chunking Transformer（ACT）和 https://arxiv.org/abs/2303.04137，以便獲取高效的手術技能。

自主機器人超聲工作流

超聲成像具有無創、便攜和安全等優勢。然而，要獲得高質量的超聲圖像需要熟練的超聲技師操作。但是由于訓練有素的專業人員面臨日益短缺的情況，超聲成像充分展現了任務自動化在擴大醫療服務可及性、支持及時準確診斷方面的潛在優勢。

該參考工作流提供了一個可復現、可定制且模塊化的框架，通過 AI、數字孿生和更廣泛的三臺計算系統框架，構建超聲機器人自動化方案。該工作流的主要功能大多與機器人手術子任務自動化工作流重疊，因此本文僅重點闡述超聲工作流特有的核心能力。

Isaac for Healthcare 工作流 2——自主機器人超聲，使開發者能夠開發機器人超聲自動化策略

使用此工作流，開發者可以將機械臂、相機傳感器、超聲探頭和患者模型導入 NVIDIA Omniverse，以創建高保真超聲檢查的數字孿生模型。開發人員可以構建逼真的解剖模型和虛擬探頭，對超聲波與不同密度組織的相互作用進行仿真，生成豐富的訓練數據集。

這種方法使開發人員能夠在不受物理實驗室限制的情況下，探索不同的掃描角度、壓力水平以及解剖結構的變化情況。開發者可以利用 Isaac Lab，獲取來自仿真和專家示范操作的數據，以采用強化學習或模仿學習，訓練機器人系統進行最佳定位，并調整超聲波探針的方向以捕獲高質量圖像。

Isaac for Healthcare 自主機器人超聲工作流框架

Isaac for Healthcare 的

早期采用者與生態系統合作伙伴

Isaac for Healthcare 正通過與手術機器人、介入機器人、影像機器人以及機械臂供應商等領域的領先機構合作，加速 AI 驅動的醫療機器人的發展。

在手術機器人領域，Virtual Incision正在評估 Isaac for Healthcare 在手術合成數據生成（SDG）方面的能力，以開發其未來手術機器人系統的自主任務能力，并利用真實仿真環境提升手術精度。

Moon Surgical正在對自主機器人設置進行原型設計，使機器人能夠動態適應外科醫生的技術和手術流程，從而提高手術的精準度和效率。

在介入機器人領域，Neptune Medical使用 NVIDIA Omniverse 和 Isaac Sim 設計與仿真機器人內窺鏡檢查，以增強診斷能力。

XCath正字利用 Isaac for Healthcare 為其血管介入機器人、治療設備和人體血管系統創建全面的數字孿生，在其基于導管的機器人系統中實現自主導航的運動規劃和控制。

Kinova和Franka等領先機械臂提供商，正在通過在 Isaac for Healthcare 中提供可直接用于仿真的預構建機械臂，推動開發者生態系統的發展。

結合全面的參考工作流，這些解決方案為開發者提供了堅實的技術基礎，使他們能夠快速制作原型，并將自主功能部署到醫療設備中，推動醫療機器人領域的創新發展。

立即開始

借助全面的資源套件來探索Isaac for Healthcare，這些資源能夠加速由 AI 驅動的醫療機器人的開發進程。

從手術子任務自動化工作流（Surgical Subtask Automation Workflow）或自主機器人超聲工作流（Autonomous Robotic Ultrasound Workflow）中進行選擇，以啟動您的項目。