人形機(jī)器人是機(jī)電一體化、控制理論和 AI 交叉領(lǐng)域的一道綜合性難題。人形機(jī)器人的動(dòng)力學(xué)和控制十分復(fù)雜，它們需要先進(jìn)的工具、技術(shù)和算法才能在移動(dòng)和操作任務(wù)中保持平衡。由于人形機(jī)器人需要融合復(fù)雜的傳感器和高分辨率攝像頭，才能有效感知環(huán)境并推理如何與周圍環(huán)境進(jìn)行實(shí)時(shí)互動(dòng)，因此另一大難題是機(jī)器人數(shù)據(jù)的采集和各種傳感器的集成。此外，為了滿足實(shí)時(shí)處理感知數(shù)據(jù)和決策所需要的算力，還需要有功能強(qiáng)大的機(jī)載計(jì)算機(jī)。

當(dāng)前的研究重點(diǎn)仍是開發(fā)能夠?qū)崿F(xiàn)機(jī)器人自適應(yīng)行為并促進(jìn)人與機(jī)器人自然交互的技術(shù)、工具與機(jī)器人基礎(chǔ)模型。我們正在積極開展 NVIDIA Project GR00T 研究計(jì)劃，旨在幫助人形機(jī)器人生態(tài)系統(tǒng)構(gòu)建者加快下一代先進(jìn)機(jī)器人的開發(fā)工作。本文將討論用于開發(fā)人形機(jī)器人的全新 GR00T 工作流，包括：

GR00T-Gen 多樣化環(huán)境生成工作流

GR00T-Mimic 機(jī)器人運(yùn)動(dòng)和軌跡生成工作流

GR00T-Dexterity 精細(xì)靈巧操作工作流

GR00T-Mobility 移動(dòng)和導(dǎo)航工作流

GR00T-Control 全身控制（WBC）工作流

GR00T-Perception 多模態(tài)感知工作流

GR00T-Gen 多樣化環(huán)境

生成工作流

GR00T-Gen 是一套在 OpenUSD 中生成機(jī)器人任務(wù)和仿真就緒環(huán)境的工作流，用于訓(xùn)練通用機(jī)器人執(zhí)行操縱、移動(dòng)和導(dǎo)航。

為了讓機(jī)器人學(xué)習(xí)得更“扎實(shí)”，需要在具有各種物體和場景的多樣化環(huán)境中進(jìn)行訓(xùn)練。但通常情況下，在現(xiàn)實(shí)世界中生成大量不同環(huán)境既昂貴又耗時(shí)，而且大多數(shù)開發(fā)者還無法使用，因此仿真成為了一個(gè)極佳的替代方案。

GR00T-Gen 使用大語言模型（LLM）和 3D 生成式 AI 模型創(chuàng)建并提供以人為本的逼真、多樣化環(huán)境。它擁有 2500 多個(gè) 3D 資產(chǎn)，涵蓋了 150 多個(gè)物體類別。為了創(chuàng)建視覺多樣化場景，在仿真中加入了多種紋理以實(shí)現(xiàn)域隨機(jī)化。域隨機(jī)化使訓(xùn)練而成的模型和策略在部署到現(xiàn)實(shí)世界中時(shí)能夠有效地泛化。

GR00T-Gen 為移動(dòng)機(jī)械臂和人形機(jī)器人提供了跨具身支持并且包含了 100 多種任務(wù)，例如開門、按鍵和導(dǎo)航。

GR00T-Mimic 機(jī)器人運(yùn)動(dòng)

和軌跡生成工作流

GR00T-Mimic 是一個(gè)強(qiáng)大的工作流，它可從遠(yuǎn)程操作演示中生成用于模仿學(xué)習(xí)的運(yùn)動(dòng)數(shù)據(jù)。模仿學(xué)習(xí)是一種訓(xùn)練機(jī)器人的方法，機(jī)器人通過觀察和復(fù)制教師演示的動(dòng)作來掌握技能。該訓(xùn)練過程的一個(gè)關(guān)鍵要素是可用演示數(shù)據(jù)的數(shù)量和質(zhì)量。

人形機(jī)器人要想有效、安全地在以人為中心的環(huán)境中移動(dòng)，其“老師”必須是人類示范者，這樣才能讓機(jī)器人通過模仿人類行為來學(xué)習(xí)。但現(xiàn)有的高質(zhì)量訓(xùn)練數(shù)據(jù)十分匱乏，這就帶來了巨大的挑戰(zhàn)。

為了解決這個(gè)問題，需要開發(fā)能夠捕捉人類行為的大量數(shù)據(jù)集。生成這種數(shù)據(jù)的可行方法之一是遠(yuǎn)程操作，即人類操作員遠(yuǎn)程控制機(jī)器人演示特定任務(wù)。雖然遠(yuǎn)程操作可以生成高保真的演示數(shù)據(jù)，但在特定時(shí)間能夠訪問這些系統(tǒng)的人數(shù)有限。

GR00T-Mimic 旨在擴(kuò)大數(shù)據(jù)采集流程的規(guī)模。該方法包括在物理世界中使用擴(kuò)展現(xiàn)實(shí)（XR）和空間計(jì)算設(shè)備（如 Apple Vision Pro）采集數(shù)量有限的人類演示。然后利用這些初始演示生成合成運(yùn)動(dòng)數(shù)據(jù)，從而有效地?cái)U(kuò)大演示數(shù)據(jù)集。我們的目標(biāo)是創(chuàng)建一個(gè)全面的人類動(dòng)作庫供機(jī)器人學(xué)習(xí)，從而提高它們?cè)谡鎸?shí)世界環(huán)境中執(zhí)行任務(wù)的能力。

為了進(jìn)一步支持 GR00T-Mimic，NVIDIA Research 還發(fā)布了 SkillMimicGen。這是利用最少的人類演示解決實(shí)機(jī)操縱任務(wù)的第一步。

GR00T-Dexterity 精細(xì)靈巧

操作工作流

GR00T-Dexterity 是一套用于精細(xì)靈巧操作的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的機(jī)器人抓取需要集成從識(shí)別抓取點(diǎn)到規(guī)劃運(yùn)動(dòng)和控制手指等多個(gè)復(fù)雜環(huán)節(jié)。對(duì)于有許多執(zhí)行器的機(jī)器人來說，管理這些系統(tǒng)（尤其是使用狀態(tài)機(jī)來處理抓取失敗等故障）使端到端抓取成為了一大難題。

GR00T-Dexterity 引入了一個(gè)借鑒研究論文 DextrAH-G 的工作流。該工作流是一種基于強(qiáng)化學(xué)習(xí)（RL）的機(jī)器人靈巧性策略開發(fā)方法。借助它，可以創(chuàng)建出像素到動(dòng)作的端到端抓取系統(tǒng)。該系統(tǒng)經(jīng)過仿真訓(xùn)練后，可部署到物理機(jī)器人上。該工作流專為生成能夠根據(jù)輸入的深度數(shù)據(jù)流進(jìn)行快速、反應(yīng)性抓取的策略而設(shè)計(jì)，并且可以泛化到新物體。

該流程涉及創(chuàng)建一個(gè)幾何織物定義機(jī)器人的運(yùn)動(dòng)空間和簡化抓取動(dòng)作，同時(shí)針對(duì)并行化訓(xùn)練進(jìn)行優(yōu)化。通過使用 NVIDIA Isaac Lab，可在多顆 GPU 上使用強(qiáng)化學(xué)習(xí)訓(xùn)練織物引導(dǎo)的策略，從而泛化抓取行為。最后，通過模仿學(xué)習(xí)，可利用輸入的深度將學(xué)習(xí)到的策略提煉為適用于現(xiàn)實(shí)世界的版本，從而在數(shù)小時(shí)內(nèi)制定出穩(wěn)健的策略。

請(qǐng)注意，GR00T-Dexterity 工作流預(yù)覽版基于研究論文 DextrAH-G：使用幾何織物實(shí)現(xiàn)像素到動(dòng)作的靈巧機(jī)械臂-手抓取，并已從 NVIDIA Isaac Gym（已廢棄）遷移到 Isaac Lab。如果您是 Isaac Gym 用戶，請(qǐng)按照教程和遷移指南開始使用 Isaac Lab。

GR00T-Mobility 移動(dòng)和

導(dǎo)航工作流

GR00T-Mobility 是一套用于移動(dòng)和導(dǎo)航的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的導(dǎo)航方法在雜亂環(huán)境中難以發(fā)揮作用并且需要進(jìn)行大量的調(diào)整，而基于學(xué)習(xí)的方法難以泛化到新的環(huán)境。

GR00T-Mobility 引入了一套基于 Isaac Lab 支持的強(qiáng)化學(xué)習(xí)（RL）和模仿學(xué)習(xí)（IL）構(gòu)建的新型工作流，專門用于創(chuàng)建適用于不同環(huán)境和具身的通用移動(dòng)導(dǎo)航方法。

借助使用 NVIDIA Isaac Sim 構(gòu)建的世界模型，該工作流可生成豐富的環(huán)境動(dòng)態(tài)潛在表示，以此實(shí)現(xiàn)了更具適應(yīng)性的訓(xùn)練。它將世界建模與行動(dòng)策略學(xué)習(xí)和RL微調(diào)分離，從而提高了靈活性，并且由于支持多樣化的數(shù)據(jù)源而具有更高的通用性。

僅在 Isaac Sim 提供的逼真合成數(shù)據(jù)集上（使用該工作流）訓(xùn)練而成的模型實(shí)現(xiàn)了零樣本仿真到現(xiàn)實(shí)轉(zhuǎn)換，并且可應(yīng)用于一系列具身，包括差動(dòng)驅(qū)動(dòng)、Ackermann、四足動(dòng)物和人形等。

該工作流以 NVIDIA 應(yīng)用研究團(tuán)隊(duì)在 X-MOBILITY：通過世界建模實(shí)現(xiàn)端到端可泛化導(dǎo)航中展示的研究成果為基礎(chǔ)。

圖 1. 通過使用 Isaac Sim 通過的合成數(shù)據(jù)集，

GR00T-Mobility 工作流將世界建模和行動(dòng)策略訓(xùn)練相結(jié)合，

實(shí)現(xiàn)了可泛化的導(dǎo)航與零樣本仿真到現(xiàn)實(shí)轉(zhuǎn)換。

GR00T-Control 全身控制工作流

GR00T-Control 是一套用于開發(fā) WBC 的先進(jìn)運(yùn)動(dòng)規(guī)劃和控制程序庫、模型、策略與參考工作流。參考工作流可運(yùn)用于各種平臺(tái)、預(yù)訓(xùn)練模型和加速程序庫。

WBC 對(duì)于實(shí)現(xiàn)精確、靈敏的人形機(jī)器人控制必不可少，尤其是在需要靈巧和移動(dòng)的任務(wù)中。GR00T-Control 引入了一種基于學(xué)習(xí)的傳統(tǒng)模型預(yù)測控制（MPC）替代方案，其工作流與 NVIDIA 應(yīng)用研究團(tuán)隊(duì)開發(fā)的 Isaac Lab 相集成。這項(xiàng)工作基于 OmniH2O：通用和靈巧人類到人形機(jī)器人全身遠(yuǎn)程操作與學(xué)習(xí)中展示的原創(chuàng)研究成果以及最新發(fā)布的 HOVER：人形機(jī)器人多功能中性全身控制器。

該參考工作流可幫助開發(fā)用于遠(yuǎn)程操作和自主控制的人形機(jī)器人全身控制策略（WBC 策略）。OmniH2O 的遠(yuǎn)程操作通過 VR 頭顯、RGB 攝像頭、口頭命令等輸入方法實(shí)現(xiàn)了高精度的人類控制。同時(shí)，HOVER 的多模態(tài)策略提煉框架促進(jìn)了自主任務(wù)模式之間的無縫轉(zhuǎn)換，使其能夠適應(yīng)復(fù)雜的任務(wù)。

WBC 策略工作流采用仿真到真實(shí)學(xué)習(xí)流程。該流程首先使用 Isaac Lab 作為 能夠訪問詳細(xì)運(yùn)動(dòng)數(shù)據(jù)的“教師”模型，通過強(qiáng)化學(xué)習(xí)在仿真中訓(xùn)練特權(quán)控制策略。之后將該模型提煉成可部署的現(xiàn)實(shí)世界版本，該版本能夠在感官輸入有限的情況下運(yùn)行，解決遠(yuǎn)程操作延遲、VR 或視覺追蹤輸入受限（針對(duì) OmniH2O）以及多種自主任務(wù)模式的適應(yīng)性（針對(duì) HOVER）等難題。

（使用 OmniH2O 工作流開發(fā)的）全身控制策略提供了 19 個(gè)自由度，實(shí)現(xiàn)了精確的人形機(jī)器人控制。

GR00T-Perception 多模態(tài)

感知工作流

GR00T-Perception 是一套先進(jìn)的感知程序庫（例如 nvblox 和 cuVSLAM）、基礎(chǔ)模型（例如 FoundationPose 和 RT-DETR）以及基于 Isaac Sim 和 NVIDIA Isaac ROS 構(gòu)建的參考工作流。這些參考工作流展示了如何在機(jī)器人解決方案中結(jié)合使用這些平臺(tái)、預(yù)訓(xùn)練模型和加速程序庫。

ReMEmbR 是 GR00T-Perception 新增的一項(xiàng)重要功能，是一項(xiàng)應(yīng)用研究參考工作流。該工作流通過讓機(jī)器人“記住”長期事件歷史增強(qiáng)人機(jī)交互，大大改善了個(gè)性化和情境感知響應(yīng)，同時(shí)通過集成視覺語言模型、LLM和檢索增強(qiáng)記憶大幅提升人形機(jī)器人的感知、認(rèn)知和適應(yīng)能力。

借助 ReMEmbR，機(jī)器人能夠長期保留上下文信息，通過整合圖像、聲音等感官數(shù)據(jù)提高空間感知、導(dǎo)航和交互效率。該工作流遵循結(jié)構(gòu)化的記憶構(gòu)建和查詢流程，可部署在真實(shí)機(jī)器人上的 NVIDIA Jetson AGX Orin 上。

想要了解有關(guān) ReMEmbR 的更多信息，請(qǐng)參閱使用生成式 AI 使機(jī)器人借助 ReMEmbR 進(jìn)行推理和行動(dòng)：

https://developer.nvidia.com/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/

圖 2. ReMEmbR 高級(jí)工作流包含兩個(gè)階段，

分別是記憶構(gòu)建階段和信息查詢階段。

結(jié)論

通過 NVIDIA Project GR00T，我們正在構(gòu)建能夠根據(jù)人形機(jī)器人開發(fā)者需求單獨(dú)或組合使用的先進(jìn)技術(shù)、工具與 GR00T 工作流。這些改進(jìn)有助于開發(fā)智能化水平更高、適應(yīng)性和能力更強(qiáng)的人形機(jī)器人，推動(dòng)人形機(jī)器人在現(xiàn)實(shí)世界應(yīng)用中的發(fā)展。

進(jìn)一步了解領(lǐng)先機(jī)器人公司如何使用 NVIDIA 平臺(tái)，包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、波士頓動(dòng)力、Field AI、傅利葉、銀河通用、Mentee Robotics、Skild AI、Swiss-Mile、宇樹科技和小鵬機(jī)器人。