NVIDIA在機器人領域放了一個大招, 發布全球首個開源人形機器人基礎模型 Isaac GR00T N1;并推出開源物理引擎Newton;加速機器人的開發。
? 推出完全可定制的 GR00T N1 基礎模型,為人形機器人賦予通用技能與推理技能
? NVIDIA、Google DeepMind 和 Disney Research 合作開發新一代開源物理引擎 Newton
? 用于合成數據生成的全新 Omniverse Blueprint 和開源數據集快速開啟物理 AI 的數據飛輪
NVIDIA Isaac GR00T N1詳細解讀文檔免費下載
NVIDIA GR00T N1 訓練數據和任務評估場景的GitHub下載地址:
https://github.com/NVIDIA/Isaac-GR00T
NVIDIA 今日宣布推出一系列全新技術,助力人形機器人開發。其中包括全球首個開源且完全可定制的基礎模型 NVIDIA Isaac GR00T N1,該模型可賦能通用人形機器人實現推理及各項技能。
其他技術包括仿真框架和藍圖,如用于生成合成數據的 NVIDIA Isaac GR00T Blueprint,以及和 Google DeepMind 及 Disney Research 共同開發的、專為機器人開發而構建的開源物理引擎 Newton。
已推出的 GR00T N1 是 NVIDIA 一系列可完全定制模型中的首個模型。NVIDIA 將對這一系列模型進行預訓練,并面向全球機器人開發者發布。對于受全球勞動力短缺困擾的行業而言(勞動力缺口預計超過 5,000 萬),這一模型的推出將有助于加速這些行業的轉型。
“通用機器人的時代已經到來,”NVIDIA 創始人兼 CEO 黃仁勛表示。 “借助 NVIDIA Isaac GR00T N1 以及新的數據生成和機器人學習框架,全球機器人開發者將開啟 AI 時代的全新篇章。”
GR00T N1 推動人形機器人開發者社區發展
受人類認知原理的啟發,GR00T N1 基礎模型采用雙系統架構。“系統 1”是一個快速思考的動作模型,反映人類的本能反應或直覺。“系統 2”是慢思考模型,用于進行經過深度思考的決策制定。
系統 2 由視覺語言模型提供支持,它會對所處環境和接收到的指令進行推理,從而規劃行動。系統 1 隨后將這些規劃轉化為精確、連續的機器人運動。系統 1 基于人類演示數據和 NVIDIA Omniverse?平臺生成的海量合成數據進行訓練。
GR00T N1 可輕松適應并完成通用任務,如單手或雙手抓取、移動物體,將物體從一只手臂轉移到另一只手臂,或執行需要長語境和通用技能組合的多步驟任務。這些功能可應用于物品搬運、包裝和檢查等各種使用場景中。
開發者和研究人員可以使用真實數據或合成數據針對特定人形機器人或任務對 GR00T N1進行后訓練。
在 GTC 主題演講中,黃仁勛展示了 1X 的人形機器人自主執行室內清理任務的過程,該過程利用了基于 GR00T N1 的后訓練策略。該款機器人的自主能力是 1X 與 NVIDIA AI 訓練協作的成果。
“人形機器人的未來開發重點在于適應能力和學習能力,”1X Technologies 首席執行官 Bernt B?rnich 表示。 “NVIDIA 的 GR00T N1 模型在機器人推理和技能方面實現了重大突破。 我們僅需最少量的后訓練數據,就能在 NEO Gamma 上全面部署,這進一步推進了我們的使命——我們創造的機器人不是工具,而是伙伴,可以為人類提供有意義、有無限價值的幫助。”
全球其他優先使用 GR00T N1 的領先機器人公司包括 [Agility Robotics]、[波士頓動力]、Mentee Robotics 和 [NEURA Robotics]。
NVIDIA、Google DeepMind 和 Disney Research 專注物理學
NVIDIA 宣布與 Google DeepMind 和 Disney Research 合作,共同開發開源物理引擎 Newton,可讓機器人學習如何以更高的精度處理復雜任務。
Newton 基于 [NVIDIA Warp] 框架構建,將針對機器人學習進行優化,并與 Google DeepMind MuJoCo 和 [NVIDIA Isaac? Lab] 等仿真框架兼容。此外,三家公司還計劃讓 Newton 能夠利用迪士尼的物理引擎。
Google DeepMind 正在和 NVIDIA 合作開發 MuJoCo-Warp,預計將機器人機器學習工作負載處理速度提升至 70 倍以上,并將通過 Google DeepMind 的 MJX 開源庫和 Newton 提供給開發者。
Disney Research 將成為首批使用 Newton 以推動其機器人角色平臺發展的公司之一,該平臺為下一代娛樂機器人提供支持,比如此次 GTC 主題演講中和黃仁勛一起登臺、以*星球大戰? *為靈感設計的富有表現力的 BDX 機器人,就是該平臺的成果。
“BDX 機器人只是一個開始。我們致力于以前所未有的方式,為更多角色賦予生命,而與 Disney Research、NVIDIA 和 Google DeepMind 的合作是實現這一愿景的關鍵,”Walt Disney 想象工程研發部門高級副總裁 Kyle Laughlin 說。 “此次合作將使我們能夠創造出比以往更具表現力、更具吸引力的新一代機器人角色,并以迪士尼獨有的方式與我們的游客建立聯系。”
NVIDIA 還將和 Disney Research 及 Intrinsic 進一步合作,為機器人數據流構建 [OpenUSD 管線和最佳實踐]。
更多數據推動機器人后訓練發展
大型、多樣化且高質量的數據集對機器人開發至關重要,但捕獲成本高昂。真實世界中,每人一天只有 24 小時,由此產生的人類演示數據,對于人形機器人來說是遠遠不夠的。
今天宣布的[用于合成運動生成的 NVIDIA Isaac GR00T Blueprint] 有助于應對這一挑戰。 該藍圖基于 Omniverse 和 [NVIDIA Cosmos Transfer] 世界基礎模型構建,讓開發者可以通過少量的人工演示生成大量合成運動數據,以用于操作任務。
利用為藍圖提供的首批組件,NVIDIA 能夠在短短 11 小時內生成 780,000 個合成軌跡,相當于 6,500 小時或連續九個月的人類演示數據。然后,通過將合成數據與真實數據相結合,與僅使用真實數據相比,NVIDIA 將 GR00T N1 的性能提高了 40%。
GTC 上還宣布,為了進一步為開發者社區提供有價值的訓練數據,NVIDIA 將發布 GR00T N1 數據集,作為更大的[開源物理 AI 數據集]的一部分,現在可通過 [Hugging Face]下載。
可用性
NVIDIA GR00T N1 訓練數據和任務評估場景現在可以通過 [Hugging Face]和 [GitHub] 下載。用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 現在也以交互式演示形式在 [build.nvidia.com]展示,也可以通過 [GitHub] 下載。
GTC 還宣布推出了 [NVIDIA DGX Spark],一款個人 AI 超級計算機,為開發者提供一站式系統,可將 GR00T N1 的功能擴展到新機器人、任務和環境,而無需進行大量自定義編程。
Newton 物理引擎預計將在今年晚些時候推出。
-
機器人
+關注
關注
213文章
29726瀏覽量
212810 -
NVIDIA
+關注
關注
14文章
5308瀏覽量
106345 -
AI大模型
+關注
關注
0文章
374瀏覽量
609
發布評論請先 登錄
NVIDIA Isaac 機器人平臺利用最新的生成式 AI 和先進的仿真技術,加速 AI 機器人技術的發展

深度解讀GR00T N1:英偉達開源人形機器人功能模型的技術革新與行業影響
NVIDIA發布人形機器人重磅更新!Isaac GR00T Blueprint厲害在哪?

NVIDIA發布GR00T N1基礎模型等方案,人形機器人開發效率顯著提升
NVIDIA發布一款人形機器人通用基礎模型—Project GR00T
NVIDIA推出Isaac GR00T Blueprint
NVIDIA發布Isaac GR00T Blueprint,加速人形機器人開發
NVIDIA 發布全球首個開源人形機器人基礎模型 Isaac GR00T N1——并推出加速機器人開發的仿真框架

機器人Blue亮相 搭載英偉達最新GR00T N1人形機器人通用基礎模型

NVIDIA發布全球首個開源人形機器人基礎模型Isaac GR00T N1
NVIDIA與光輪智能合作實現GR00T N1落地汽車工廠
NVIDIA 通過云端至機器人計算平臺驅動人形機器人技術,賦能物理 AI

評論