項目思路

現有跨形態機器人控制需為不同硬件單獨設計策略，開發成本高且泛化性差。本課題嘗試使用語言指令統一接口，用戶用自然語言指揮不同形態機器人完成同一任務，通過分層強化學習框架，高層視覺語言模型（VLM）解析任務生成中間指令，再通過低層強化學習策略適配不同形態的底層動作，通過仿真器快速訓練跨形態通用策略，最后部署到真機運行———田和坤 、馮紫嫣 、殷孟浩

現有跨形態機器人（如四足、輪式、人形）控制通常需為不同硬件單獨設計策略，開發成本高且泛化性差。本課題提出一種基于語言-視覺分層強化學習的跨形態機器人通用控制架構，旨在通過自然語言指令統一接口，實現多形態機器人的任務適配與高效控制。具體而言，高層視覺語言模型（VLM）解析用戶指令并生成標準化中間指令（如“左轉30度”），低層強化學習策略則根據機器人形態參數化編碼，將中間指令映射為具體形態的底層動作（如四足步態或輪式轉向）。通過NVIDIA Isaac Sim仿真器快速訓練跨形態通用策略，并結合X5 RDK人形機器人及四足機器人進行真機驗證，本課題展示了同一語言指令在不同形態機器人上的高效執行能力。實驗結果表明，該框架在動態避障、復雜地形適應及任務重規劃等方面具有顯著優勢，為跨形態機器人控制提供了一種低成本、高泛化的解決方案。

擬采用技術方案

擬采用分層強化學習架構，使用高層VLM完成從圖像與自然語言輸入到標準化中間指令的輸出的轉換，再使用底層RL策略完成最終動作序列的生成。采用mujoco+多形態機器人模型進行仿真驗證，最終嘗試跨機器人平臺的真機部署。

預期展示效果

仿真環境下完成同一指令“繞過障礙物進入右側房間”驅動四足/輪式機器人進行不同路徑規劃與動作執行，真機使用自己搭建輪式小車+Petoi Bittle進行展示。后續增加更多語言交互。

X5 RDK用法

整合X5的RGB攝像頭、IMU數據，輸入高層VLM和低層策略，通過ROS2橋接，接收低層策略輸出的關節目標角度，轉換為電機控制指令。

仿真器驗證內容

訓練四足策略后，凍結高層VLM，僅微調低層進行人形機器人與輪式機器人的適配。仿真環境中隨機生成障礙物、地形起伏、光照變化，驗證策略魯棒性，同時對比端到端的RL策略的效率與所需算力差異。

真機演示內容

輪式機器人執行“沿走廊前進，在第二個門口右轉”，足式機器人完成“避開地面雜物，將指定物品放置到指定位置”。

項目預算

一臺用于強化訓練的工程機（或云服務器算力支持），3D打印，舵機升級電機（待定）

項目進度與計劃

仿真方面目前已完成仿真環境的搭建與模型構建，后續會注重數據獲取、強化訓練與真機部署。

方案驗證

高層VLM

目標：完成自然語言到中間動作指令的轉化，在簡單任務（如移動）上不依賴機器人特定形態。

使用VLM完成Navigation任務，實則更接近VLA而不是VLN，前者更關注場景內容理解與交互，后者則專注于路徑規劃。

采用開源VLM模型微調。

1. openVLA：直接輸出端到端數據，依賴特定形態，不適用
2. LLaVA：本地部署7B模型，對空間感知太差，且運行速度達不到要求（約1item/min）
   

1. Qwen-72B：直接暴力增加參數數量，缺點是無法本地部署，優點是在特定場景效果較好，不需要微調即可進行一定程度的空間感知：
   

1. 
   
   對Qwen-72B進行數據采集并微調：前后手動拍攝了80+場景照片與對應描述prompt，使用官方api進行微調，可惜微調后的模型部署太貴（160r/h），最終放棄。

轉變方案：不要求VLM實現精確的位置估計（尤其是不使用深度相機的情況下），而是粗略判斷距離，輸出下一步的任務指令。這樣原生的Qwen-72B就可以實現了。

低層PPO

目標：完成中間動作指令到機器人關節角度與力矩的轉化，可能的情況下實現這部分的跨形態（未驗證，需要解決變長輸出的問題）。
RL主要針對四足機器人，實現一個基于Stable-Baselines3的mujoco仿真環境進行訓練?；疽笫潜３制椒€的情況下直走、轉彎，考慮到VLM頻率很低（1item/s），后續需要加一個速度的跟蹤用來實時避障，這部分也由RL實現。

項目進度

• week1：仿真場景搭建，足式、輪式機器人建模與控制測試
  

• week2：搭建高層VLM，完成多模態控制目標輸入，實現生成中間指令正確率>80%，X5RDK完成輪式sim2real優化與演示
  

• week3：部署低層四足PPO策略訓練仿真，初步完成跨形態任務測試
  2.20仿真：
  

• 
  
  2.21實機：
  
  

• week4：嘗試3dgs場景下的高精度仿真