NVIDIA Isaac Sim是一款基于 NVIDIA Omniverse 構建的參考應用,使開發者能夠在基于物理的虛擬環境中模擬和測試 AI 驅動的機器人開發解決方案。NVIDIA Isaac Lab是一個適用于機器人學習的開源模塊化框架,其模塊化高保真仿真適用于各種訓練環境,Isaac Lab 同時支持模仿學習(模仿人類)和強化學習(在嘗試和錯誤中進行學習),為所有機器人具身提供了靈活的訓練方法。它能夠為各種訓練場景提供用戶友好的環境,幫助增加或更新機器人技能。
在上一篇的機器人仿真教程里,我們教大家如何安裝 Isaac Sim 4.5.0 以及 Isaac Lab 2.0,本篇教程將帶大家了解Isaac Lab 2.0 的可用環境以及如何使用強化學習腳本進行配置。
一、Isaac Sim 預置資產庫
Isaac Sim 中提供了豐富的預置資產庫,這些資產是構建機器人仿真場景的基石。所有資產均經過物理屬性優化,可直接用于高精度仿真。
我們可以在 Isaac Sim 窗口下方的“Isaac Sim Assets[Beta]”菜單欄進行查看,資產會在線加載并提供預覽。
二、Isaac Lab 強化學習環境
Isaac Lab 提供了開箱即用的強化學習環境,可與 Isaac Sim 資產庫深度集成。
Single-agent 環境列表
首先,在 Isaac Lab 文件夾運行以下腳本,將會列出最新的可用環境列表。
./isaaclab.sh -p scripts/environments/list_envs.py
Isaac Lab 提供 7 類強化學習環境,涵蓋從基礎控制到復雜工業場景的全方位需求:
2025 麗臺(上海)信息科技有限公司
本圖表由麗臺科技制作,如果您有任何疑問或需要使用,
請聯系麗臺科技
Comprehensive List of Environments
Comprehensive List of Environments 是 Isaac Lab 環境與推理任務的官方對照表,主要解決以下問題:
訓練與推理環境分離:部分環境在訓練和推理階段需要不同的配置(如關閉隨機擾動、固定目標位置等)
框架兼容性指引:明確每個環境支持的強化學習框架(RL-Games/RSL-RL/SKRL/SB3)及推薦算法
版本控制:確保訓練完成的模型能夠無縫部署到推理環境
具體每個類別所對應的環境 ID 可以在官網詳細獲取:
https://isaac-sim.github.io/IsaacLab/main/source/overview/environments.html
(復制鏈接至瀏覽器打開)
三、Isaac Lab 強化學習腳本實操
Isaac Lab 提供 30 多個即用型訓練環境,支持 RL-Games、RSL-RL、SKRL 和 Stable-Baselines3 等主流強化學習框架,同時支持多智能體強化學習。
提示:
以上強化學習框架均已在安裝 Isaac Lab 時一并安裝,如果只想安裝特定框架,可以將框架的名稱作為參數傳遞。比如:
./isaaclab.sh -i rl_games
./isaaclab.sh -i rsl_rl
./isaaclab.sh -i skrl
./isaaclab.sh -i sb3
基本流程
1. 關鍵參數說明:
--headless:不進行渲染顯示,顯卡性能集中提升訓練速度
--num_envs:根據 GPU 顯存調整(NVIDIA RTX 5880 Ada 建議 128)
--video_length:控制視頻時長(默認 200 幀)
2. 所有強化學習框架在 Isaac Lab 中遵循標準化命令格式:
# 1安裝框架依賴 ./isaaclab.sh -i {框架名} # 2啟動訓練任務 ./isaaclab.sh -p scripts/reinforcement_learning/{框架名}/train.py --task {環境ID} --headless # 無GUI模式 --num_envs {并行數} # 建議值:32-128 # 3模型驗證與可視化 ./isaaclab.sh -p scripts/reinforcement_learning/{框架名}/play.py --task {推理環境ID} # 使用Inference Task Name --checkpoint /path/to/model --video # 錄制視頻(需ffmpeg) # 4使用TensorBoard監控與日志分析 ./isaaclab.sh -p -m tensorboard.main --logdir=logs
實操演示
我們本次以 Isaac-Velocity-Rough-G1-v0 為例運行 Demo,通過 Comprehensive List of Environments 可以查詢到該環境支持 rsl_rl (PPO)、skrl (PPO) 框架。
1. 使用 RSL-RL 進行訓練:
./isaaclab.sh-pscripts/reinforcement_learning/rsl_rl/train.py --tasklsaac-Velocity-Rough-G1-v0 --headless --numenvs128 --maxiterations100 --experimentname g1 rough
2. 進行實時渲染測試查看效果:
./isaaclab.sh-pscripts/reinforcement_learning/rsl_rl/play.py --taskIsaac-Velocity-Rough-G1-Play-v0 --checkpointlogs/rsl_rl/g1_rough/2025-07-01_16-08-48/model_99.pt --real-time --num_envs4
3. 使用 TensorBoard 監控與日志分析:
./isaaclab.sh -p -m tensorboard.main --logdir=logs
4. 最后還可以進行視頻錄制,具體命令參數如下:
./isaaclab.sh-pscripts/reinforcement_learning/rsl_rl/play.py --taskIsaac-Velocity-Rough-G1-Play-v0 --checkpointlogs/rsl_rl/g1_rough/2025-07-01_16-08-48/model_99.pt --headless --video --video_length500
5. 錄制完成后可在對應 log 目錄下查看:
四、機器人仿真環境推薦硬件配置
以下是麗臺針對個人開發者/研究人員的機器人仿真環境推薦配置,能流暢運行 Isaac Lab 以及機器人訓練和仿真所需的算力,同時可再與企業級多卡集群方案形成互補,能夠完全滿足中小規模的實驗需求。
▲ LEADTEK WS3008 工作站
LEADTEK WS3008 產品特性
支持選配 2 張 NVIDIA RTX 5880 Ada GPU
支持單 Intel Xeon W-3400、W-2400 系列處理器
Intel W790 芯片組
支持最高至 350W CPU TDP
支持最多 DDR5-4800MHz x8 內存
支持 4 PCIe 5.0 x16 插槽
支持 1 M.2 NVMe PCI-E 4.0 x4
支持 2 個 10GbE BaseT、1 個 2.5GbE BaseT 和 1 個 1GbE BaseT 網口
支持 1 個 IPMI 管理口
支持 2 個 USB-A
支持 1 個 VGA 口,1 個 COM 口
支持 1 個 1200W/1300W 鉑金電源
機箱體積:400.0×278.0×167.6 mm
-
機器人
+關注
關注
213文章
29718瀏覽量
212773 -
NVIDIA
+關注
關注
14文章
5304瀏覽量
106329 -
仿真
+關注
關注
52文章
4276瀏覽量
135779
原文標題:機器人仿真教程丨Isaac Lab 可用環境與強化學習腳本使用指南
文章出處:【微信號:Leadtek,微信公眾號:麗臺科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
深度強化學習實戰
將深度學習和強化學習相結合的深度強化學習DRL
什么是強化學習?純強化學習有意義嗎?強化學習有什么的致命缺陷?

機器學習中的無模型強化學習算法及研究綜述

評論