在物理 AI 快速發展的推動下，機器人領域正在經歷一場重大變革。它正在加快新機器人解決方案的上市時間，增強人們對其安全性的信心，并推動物理 AI 在工廠和倉庫中的應用。

在 GTC 上發布的 Newton 是一個開源、可擴展的物理引擎。該引擎由 NVIDIA、谷歌 DeepMind 和 Disney Research 專為推進機器人的學習與開發而共同打造。

NVIDIA Cosmos是一個以開放模型許可證形式發布的世界基礎模型（WFM）平臺，它將加速自動駕駛汽車、機器人等自主機器的物理 AI 開發。

最新版本NVIDIA Omniverse Kit SDK 107是機器人應用領域的又一個重要里程碑。該套件已升級到 OpenUSD 24.05 版本，并且更新了 Python、C++ 和 Linux 應用二進制接口（ABI）。NVIDIA Isaac Sim 5.0 將在 Kit 107 的基礎上進行開發。這些增強功能大幅提升了傳感器仿真、語言支持和二進制兼容性，可極大地促進機器人應用的開發。

用于機器人開發的系統和工具

無論是工業機器還是人形助手，AI 驅動的機器人在部署到現實世界之前都必須經過大量訓練、測試和驗證，其中最基礎的工作是整合來自專業工具集的異構數據。目前有許多方法可用于促進機器人的開發：

CAD 軟件：創建詳細的機器人 3D 模型。

數字內容創建工具：創建動畫、仿真等內容。

仿真器：針對虛擬環境中真實傳感器模型所感知到的各種情況，測試并驗證機器人的行為。

機群管理軟件：在一個環境中協調和管理多個機器人。

Schema（定義機器人完成任務行為的數據模型）是每個機器人的核心。它是存儲高級數據和元數據的通用接口，包含以下內容：

運動學屬性：有關機器人運動和結構的信息。

機器人語義：定義機器人用途和能力的數據。

機體層次結構：機器人組件的組織結構。

配置參數：控制機器人操作的設置。

圖 1 機器人 Schema 示例

數據管理方面的挑戰

目前，各個機器人領域的開發者都需要管理多個數據源，使得整個機器人生態系統相互脫節。機器人的各個子系統往往依賴于多個分散的數據源，而打通這些數據源十分耗時。另外，開發者還面臨以下挑戰：

不同的機器人格式：機器人的設計和表示格式多種多樣，目前缺乏通用的銜接方式。

不同的機器人數據：機器人數據類型有 CAD 設計、機器人裝配、電氣和機械信息、傳感器數據、物聯網指標等等。

各種仿真求解器：目前針對特定機器人組件沒有統一的專用求解器。

為了解決這些挑戰，必須以統一的方式整合所有數據，才能通過復制真實世界的感知來訓練、優化和操作機器人。

OpenUSD 的作用

通用場景描述（OpenUSD）是統一來自不同數據源的內容和進行大規模仿真的關鍵。OpenUSD 的主要優點有：

互操作性：OpenUSD 具有與生俱來的可擴展性，能夠支持當前來自 CAD 和 URDF 的機器人數據源，在仿真環境中導入達到物理學精度的材料和運動學，并傳輸來自機器人傳感器或工業設施傳感器的實時運行數據。

聚合：OpenUSD 使用文件格式插件和引用來實現數據集的聚合，同時保持數據源的規范。

協作：OpenUSD 的合成和非破壞性編輯功能幫助人類、AI 和仿真器之間搭建起新的協同工作流。

推出適用于機器人的

OpenUSD 資產結構管線

在 GTC 2025 上，NVIDIA 與 Disney Research 和 Intrinsic AI 共同推出了適用于機器人的 OpenUSD 資產結構管線。這一全新結構和數據管線使用 OpenUSD 中的最佳實踐統一機器人工作流并提供適用于所有數據源的通用語言。

圖 2 適用于機器人的 OpenUSD 資產結構管線

在圖 2 中，從左到右的箭頭表示工作流，從右到左的箭頭表示組件依賴關系。

OpenUSD 資產結構管線能夠在機器人資產用于仿真和開發前，簡化其準備和增強過程。該工作流能夠在對資產進行高效管理、優化和增強的同時，保持資產的原始完整性和層次結構。

OpenUSD 資產結構管線的各個階段

通過使用基于提取、轉換和加載（ETL）的 OpenUSD 資產結構管線，可以將機器人資產無縫集成到仿真環境中，從而更加輕松地在各種應用中測試、完善和部署這些資產。

資產來源

將資產直接導入 USD（使用 Omniverse CAD 轉換器或開源文件格式插件進行轉換）。

將資產分成各個機器人組件的 USD 層或組合成一個完整機器人層。

保留資產的原始組織和層次結構，以方便管理和引用。

轉換

通過重組資產優化其結構或提高其性能。

確保資產完全達到仿真就緒狀態，同時保持其完整性。

功能

為每個資產添加仿真功能。

通過可使用變體進行配置的有效載荷組合所有仿真功能。

使用模塊化方法實現各種工作流和提高仿真效率。

主要優點

該管線支持從來源到仿真的內容結構轉換重塑，可在運行時環境（例如機器人仿真參考應用 NVIDIA Isaac Sim）內進行大規模訓練和實時仿真優化。

其設計兼顧了可重用性和模塊性，可支持當前的工作流和未來的創新。單一接口層可通過變體集進行配置，既統一了機器人資產結構管線，又具有根據手頭任務定制資產的靈活性。

該管線使用引用保持與 CAD 數據源的鏈接，確保任何更新或更改都可以向下游推送或拉取。

它還能使用新的 Cosmos 世界基礎模型將結構化仿真轉換成逼真的視頻，以此生成更豐富的合成數據用于訓練物理 AI 模型。

注意事項

OpenUSD 非常靈活，因為其合成引擎與領域無關。在最基礎的層面上，OpenUSD 無須知道鍵值對的 3D 含義就能組合鍵值對。不過，這也意味著在聚合 OpenUSD 格式的數據時，必須考慮與領域相關的因素。因此，OpenUSD 的標準化對于保證互操作性和數據互換性至關重要。

其中最需要考慮的因素之一是場景單位。當在 Isaac Sim 等運行時環境中使用 USD 進行機器人仿真時，建議使用將 metersPerUnit 設置為“meters”的根層，引用已經以“meters”為單位的機器人，并使用度量單位匯編器確保引用到仿真中的任何環境都已按適當比例縮放（需要時以“meters”為單位）。不建議在任何未以“meters”為單位的內容中劃分子層。

OpenUSD 聯盟（AOUSD）還將探索更加全面的方法處理 USD 層棧中的混合單位和其他階段指標。但為了滿足以下要求，必須對這些方法進行仔細斟酌：

保持性能

減少代碼和內容的不兼容性

集中計算最終轉換和其他受單元影響的值

圖 3 OpenUSD 場景單元

即將推出的 OpenUSD 功能

適用于機器人的 OpenUSD 發展藍圖包含以下內容：

機器人格式概念數據映射：將 URDF、MJCF、SDFormat 等機器人格式的數據模型映射到 OpenUSD，并根據需要發布 Schema 提議，以填補概念空白。

AOUSD 宣布在新領域成立 OpenUSD 工作組：推動特定行業的創新并擴大 OpenUSD 應用在各個新興領域的應用，擴展對象包括工業與工程數字孿生（IEDT）專項工作組和網絡專項工作組。

AOUSD 關于可變形體和 B-reps 的提議：AOUSD 物理學工作組提議在 UsdPhysics 中添加可變形體（軟體動力學），用于訓練機器人機械手和抓手。AOUSD 幾何工作組正在開發 B-reps 的初步 Schema。該 Schema 可用于根據需求為同一工業環境中的各種物理求解器推導 CAD 幾何體的不同曲面細分（tessellation）。

USD + FMI 提議：通過 OpenUSD 與功能模擬接口（FMI）之間的標準化協同和概念數據映射實現協同仿真（例如多個求解器對同一機器人的不同組件或其周圍環境進行仿真）。

動態行為提議：能夠實現機器人動作仿真所需的動態行為，例如封裝在 ROS 橋中的動態行為或對安全區域進行仿真所需的動態行為。該提議將確定在皮克斯即將推出的 OpenExec 計劃基礎上實現此類動態行為所需的 OmniGraph 功能要求。

開始使用

現在可以下載基于 Omniverse 構建的 Isaac Sim，并訪問 Hugging Face 上的 NVIDIA Cosmos 和 NVIDIA Isaac GR00T 基礎模型。