AI 智能體利用 LLM 自動生成獎勵算法，訓練機器人完成復雜任務。

NVIDIA Research 開發的一款名為 Eureka 的新型 AI 智能體可以教機器人復雜的技能，它教會了機器人手快速轉筆，并且第一次轉得像人類一樣好。

上面視頻中所展示的令人驚嘆的“魔術”是機器人通過 Eureka 學會熟練完成的近 30 項任務之一，Eureka 可以自動編寫獎勵算法來訓練機器人。

Eureka 還教會了機器人完成打開抽屜和柜子、拋接球、操作剪刀等任務。

于 10 月 20 日發布的這一 Eureka 研究包含一篇論文和該項目的 AI 算法，開發者可以使用 NVIDIA Isaac Gym（一款用于強化學習研究的物理模擬參考應用）進行實驗。Isaac Gym 基于 NVIDIA Omniverse 而構建，后者是一個用于基于 OpenUSD 框架構建 3D 工具和應用的開發平臺。Eureka 自身是由 GPT-4 大型語言模型驅動的。

NVIDIA AI 研究高級總監、Eureka 論文作者之一的 Anima Anandkumar 表示：“在過去十年，強化學習取得了空前成功，但依然面臨許多挑戰，比如獎勵設計需要不斷試錯才能完成。Eureka 是朝著開發將生成式和強化學習方法結合以解決這些艱巨的任務的新算法邁出的第一步?！?/p>

點擊視頻，觀看 Eureka 用 LLM 訓練機器人靈巧操作

AI訓練機器人

據該論文介紹，Eureka 生成的獎勵程序（可讓機器人進行試錯學習）在超過 80% 的任務上優于人類專家編寫的程序，這使得機器人的平均性能提高了 50% 以上。

Eureka 教機械臂打開一個抽屜。

該 AI 智能體使用 GPT-4 LLM 和生成式 AI 編寫軟件代碼，為機器人進行強化學習提供獎勵。它不需要任何特定任務提示或預定義的獎勵模板，并且能夠隨時結合人類的反饋改進其獎勵，使結果更加精準地符合開發者的愿望。

利用 Isaac Gym 中的 GPU 加速模擬，Eureka 能夠快速評估大批獎勵候選者的質量，從而提高訓練效率。

Eureka 隨后會基于訓練結果匯總關鍵統計數據，并指導 LLM 改進其獎勵函數的生成。通過這種方式，AI 可以自我完善。Eureka 教會了各類機器人，包括四足機器人、雙足機器人、四旋翼機器人、靈巧手、協作機器人臂等，來完成不同類型的任務。

該研究論文對 20 個 Eureka 訓練任務進行了深入評估，這些任務基于開源的靈巧性基準，要求機器人手展示一系列復雜的雙手任務。

這些來自九個 Isaac Gym 環境的測試結果通過使用 NVIDIA Omniverse 生成的可視化進行了展示。

類人型機器人通過 Eureka 學習跑步步態。

該項目的貢獻者之一、NVIDIA 高級研究科學家 Linxi “Jim” Fan 表示：“Eureka 是一個獨特的組合，將大型語言模型與 NVIDIA GPU 加速的模擬技術相結合，可以實現靈巧的機器人控制，并且為藝術家提供了一種制作物理逼真動畫的新方法。”

除了 NVIDIA Research 最近取得的進展（比如使用 GPT-4 構建的能夠自主玩 《我的世界》的 AI 智能體 Voyager）之外，這項突破性的研究成果也必將讓開發者們腦洞大開。

NVIDIA Research 由全球數百名科學家和工程師組成，團隊專注于 AI、計算機圖形學、計算機視覺、自動駕駛汽車、機器人學等領域的研究。

了解 Eureka 與 NVIDIA Research 的更多信息，請查看：

• Eureka:

https://eureka-research.github.io/

• NVIDIA Research:

https://www.nvidia.com/en-us/research/