開(kāi)源：Github：https://github.com/Hello-XSJ/RDK\_vlm\_demo.git-
本項(xiàng)目聚焦腿臂機(jī)器人在多模態(tài)環(huán)境感知、自然語(yǔ)言交互和自主行為控制方面的技術(shù)瓶頸，基于RDK X3平臺(tái)進(jìn)行AI大模型算法開(kāi)發(fā)，提出了一種融合AI大模型的創(chuàng)新性解決方案，提升腿臂機(jī)器人的綜合性能。-
項(xiàng)目首先強(qiáng)化了機(jī)器人的多模態(tài)感知能力，利用雷達(dá)、攝像頭和語(yǔ)音傳感器數(shù)據(jù)，通過(guò)AI大模型進(jìn)行深度信息融合與智能分析，實(shí)現(xiàn)對(duì)作業(yè)環(huán)境的全面理解與精準(zhǔn)感知。在自然語(yǔ)言交互方面，AI大模型的語(yǔ)義解析與邏輯推理能力顯著提升了人機(jī)交互的效率，賦予機(jī)器人情感交互的能力，提供了個(gè)性化的交互體驗(yàn)。-
自主行為控制方面，設(shè)計(jì)了基于AI大模型的智能行為調(diào)度策略，將自然語(yǔ)言指令轉(zhuǎn)化為可執(zhí)行的語(yǔ)義信息，并通過(guò)任務(wù)子函數(shù)實(shí)現(xiàn)行為規(guī)劃與動(dòng)態(tài)調(diào)整。系統(tǒng)還集成了高層反饋機(jī)制，確保任務(wù)規(guī)劃的準(zhǔn)確性和執(zhí)行效率。-
本項(xiàng)目展示了腿臂機(jī)器人在自然語(yǔ)言交互下進(jìn)行多模式作業(yè)和多場(chǎng)景導(dǎo)航的能力，提升了機(jī)器人的自主性和適應(yīng)性，為其在多樣化任務(wù)場(chǎng)景中的應(yīng)用提供了廣闊前景，也為智能機(jī)器人技術(shù)的發(fā)展提供了新思路和方向——賽博汪汪團(tuán)隊(duì)-

791×352 0 Bytes

一、 方案論證與設(shè)計(jì)-
1.1 研究目標(biāo)-
當(dāng)前，四足機(jī)器人在自然語(yǔ)言交互、自主行為控制及功能多樣性方面存在顯著局限。本研究旨在融合人工智能大模型技術(shù)，重點(diǎn)突破多模態(tài)環(huán)境感知與自主導(dǎo)航、自然語(yǔ)言交互和自主行為控制三大關(guān)鍵領(lǐng)域。-
在多模感知與指令式導(dǎo)航上，通過(guò)集成雷達(dá)、相機(jī)、語(yǔ)音等多源傳感器，利用 AI 大模型融合分析感知數(shù)據(jù)，使機(jī)器人能精準(zhǔn)感知環(huán)境動(dòng)態(tài)變化，實(shí)現(xiàn)復(fù)雜環(huán)境下的自主導(dǎo)航與任務(wù)執(zhí)行。-
自然交互層面，借助 AI 大模型強(qiáng)大的語(yǔ)義解析和邏輯推理能力，實(shí)現(xiàn)機(jī)器人對(duì)自然語(yǔ)言的理解與生成，不僅能執(zhí)行指令，還能識(shí)別情感并提供個(gè)性化交互體驗(yàn)，通過(guò)語(yǔ)音、姿態(tài)等多方式互動(dòng)提升用戶滿意度。-
自主行為控制方面，AI 大模型深度融合自然語(yǔ)言語(yǔ)義信息與傳感器圖像信息，基于指令分析與環(huán)境識(shí)別，生成任務(wù)指令和控制決策，無(wú)需復(fù)雜算法即可顯著提升機(jī)器人自主行動(dòng)能力。-
1.2系統(tǒng)方案設(shè)計(jì)-
為全面提升四足機(jī)器人性能，設(shè)計(jì)包含四部分的系統(tǒng)方案：基于動(dòng)力學(xué)模型的多模式運(yùn)動(dòng)控制、多模態(tài)環(huán)境感知與指令式導(dǎo)航、基于 AI 大模型的智能行為調(diào)度、實(shí)驗(yàn)仿真與物理樣機(jī)測(cè)試。-
1.21 基于動(dòng)力學(xué)模型的四足機(jī)器人多模式運(yùn)動(dòng)控制-
基于動(dòng)力學(xué)模型的多模式運(yùn)動(dòng)控制是四足機(jī)器人技術(shù)核心。通過(guò)構(gòu)建動(dòng)力學(xué)模型分析機(jī)器人力學(xué)特性，優(yōu)化靜態(tài)與特征參數(shù)獲取最優(yōu)控制參數(shù)，實(shí)現(xiàn)步態(tài)、姿態(tài)和速度的靈活調(diào)整。-
采用基于模型預(yù)測(cè)的全身運(yùn)動(dòng)控制策略，開(kāi)發(fā)強(qiáng)魯棒性控制器。該控制器處理本體傳感器數(shù)據(jù)，經(jīng)濾波降噪后，運(yùn)用高頻反饋與高維預(yù)測(cè)技術(shù)，實(shí)現(xiàn)站立、行走、跑跳等多種運(yùn)動(dòng)模式平滑切換，保障機(jī)器人執(zhí)行指令時(shí)的穩(wěn)定性。-
1.22 環(huán)境感知與指令式導(dǎo)航-
融合 AI 大模型的導(dǎo)航系統(tǒng)，使四足機(jī)器人具備復(fù)雜環(huán)境理解與決策能力。通過(guò)深度學(xué)習(xí)結(jié)合大語(yǔ)言模型，利用感知網(wǎng)絡(luò)編碼環(huán)境狀態(tài)，為導(dǎo)航提供精準(zhǔn)信息。-
路徑規(guī)劃網(wǎng)絡(luò)中的指令式導(dǎo)航規(guī)劃器解析目標(biāo)指令，借助最優(yōu)軌跡優(yōu)化器反向傳播優(yōu)化運(yùn)動(dòng)軌跡。以增強(qiáng)簽名距離場(chǎng)為代價(jià)地圖，結(jié)合差分器實(shí)現(xiàn)動(dòng)態(tài)避障與路徑調(diào)整，最終由運(yùn)動(dòng)控制器將規(guī)劃軌跡轉(zhuǎn)化為實(shí)際運(yùn)動(dòng)指令。-
1.23 基于 AI 大語(yǔ)言模型的智能行為調(diào)度-
基于 AI 大語(yǔ)言模型的智能行為調(diào)度方法，賦予機(jī)器人智能決策能力。在線調(diào)用大語(yǔ)言模型解析自然語(yǔ)言指令，轉(zhuǎn)化為機(jī)器人可理解的語(yǔ)義指令，實(shí)現(xiàn)人機(jī)自然交互。-
基于語(yǔ)義指令進(jìn)行子任務(wù)規(guī)劃，結(jié)合高層反饋糾錯(cuò)機(jī)制保障任務(wù)準(zhǔn)確性。在執(zhí)行階段，運(yùn)動(dòng)狀態(tài)機(jī)與規(guī)劃將高層指令轉(zhuǎn)化為運(yùn)動(dòng)序列，運(yùn)動(dòng)控制器實(shí)時(shí)評(píng)估調(diào)整。遇錯(cuò)時(shí)底層反饋觸發(fā)重新規(guī)劃，同時(shí)通過(guò)自然語(yǔ)言處理持續(xù)優(yōu)化機(jī)器人行為 。-
二、系統(tǒng)設(shè)計(jì)-
2.1 四足機(jī)器人硬件系統(tǒng)設(shè)計(jì)-
四足機(jī)器人運(yùn)動(dòng)控制由 Upboard 嵌入式 PC 主控制器實(shí)現(xiàn)，通過(guò) PREMAP 補(bǔ)丁運(yùn)行實(shí)時(shí) linux 系統(tǒng)。其經(jīng) USB 口與 IMU 以 500Hz 頻率通信采集姿態(tài)信息，通過(guò) SBUS 與 AT9S 遙控器交互指令。關(guān)節(jié)執(zhí)行器與控制器間采用 CAN 總線通信，利用基于 STM32f446 的轉(zhuǎn)接板解決 Upboard 無(wú) CAN 接口問(wèn)題，完成 SPI、TTL 與 CAN 的轉(zhuǎn)換。-
硬件布局及總體框架中，感知與語(yǔ)音系統(tǒng)共用 NUC 處理器，千兆交換機(jī)組建局域網(wǎng)，支持遠(yuǎn)程筆記本通過(guò) Rviz 可視化界面監(jiān)控操控。Ouster-64 雷達(dá)經(jīng)網(wǎng)口連交換機(jī)，相機(jī)、音頻設(shè)備分別通過(guò) USB 和藍(lán)牙接入 NUC，傳感器數(shù)據(jù)在 NUC 處理后，經(jīng)網(wǎng)口傳輸控制指令至運(yùn)動(dòng)控制器，驅(qū)動(dòng)機(jī)器人執(zhí)行動(dòng)作。-
供電方面，配備兩塊鋰電池。46.2V、30A 電池經(jīng)隔穩(wěn)壓模塊，輸出 42V 供關(guān)節(jié)驅(qū)動(dòng)器，5V 供運(yùn)動(dòng)控制器；25.2V 電池經(jīng)穩(wěn)壓模塊，輸出 19.5V 為 NUC 供電，12V 為雷達(dá)供電，續(xù)航 1 小時(shí) 。-
2.2 軟件系統(tǒng)設(shè)計(jì)-
2.2.1 開(kāi)發(fā)平臺(tái)-
本文算法開(kāi)發(fā)和實(shí)驗(yàn)平臺(tái)均基于 Ubuntu 操作系統(tǒng)，四足機(jī)器人運(yùn)動(dòng)控制算法基于 C++開(kāi)發(fā)，同時(shí)控制器上安裝有 PREEMPT-RT 補(bǔ)丁，作為一個(gè) Linux 內(nèi)核的實(shí)時(shí)拓展補(bǔ) 丁，可以提高系統(tǒng)對(duì)實(shí)時(shí)性要求的響應(yīng)性，通過(guò)減小 Ubuntu 系統(tǒng)內(nèi)核的搶占延遲，使 其更適用于四足機(jī)器人這種對(duì)實(shí)時(shí)控制要求較高的平臺(tái)。 本文的感知算法和指令式導(dǎo)航算法基于 ROS 機(jī)器人開(kāi)發(fā)系統(tǒng)并利用了可視化工具 Rviz，在窗口中直接顯示語(yǔ)義分割結(jié)果和四足機(jī)器人規(guī)劃的導(dǎo)航路線等信息，進(jìn)一步豐 富了實(shí)驗(yàn)過(guò)程的視覺(jué)呈現(xiàn)。-
2.2.2 通信子系統(tǒng)-
在通信系統(tǒng)設(shè)置上本文在通信方式的選擇上根據(jù)不同階段采用了不同策略，其中主 要分為兩種，語(yǔ)音識(shí)別算法是直接在線調(diào)用 AI 大語(yǔ)言模型，通過(guò) WIFI 網(wǎng)絡(luò)通信；在感 知算法內(nèi)部采用的是基于 ROS 的通信機(jī)制，而在與四足機(jī)器人進(jìn)行通訊時(shí)，由于四足 機(jī)器人控制器上并沒(méi)有配置 ROS 開(kāi)發(fā)系統(tǒng)，因而選擇了一種輕量化的通訊框架：LCM 通訊。感知模塊處理完的信息先通過(guò)在線調(diào)用 AI 大語(yǔ)言模型進(jìn)行信息推理，然后通過(guò) LCM 將圖像信息和導(dǎo)航指令消息傳遞給四足機(jī)器人運(yùn)動(dòng)控制器，實(shí)現(xiàn)四足機(jī)器人建圖 以及導(dǎo)航功能的視線。-
2.2.3 軟件系統(tǒng)架構(gòu)-
本軟件系統(tǒng)架構(gòu)圖展示了一個(gè)高度集成的四足 機(jī)器人智能交互和任務(wù)規(guī)劃執(zhí)行流程。系統(tǒng)通過(guò)語(yǔ)音文本識(shí)別和自然人機(jī)交互模塊，實(shí) 現(xiàn)與用戶的高效溝通。利用 AI 大語(yǔ)言模型進(jìn)行語(yǔ)義解析，將輸入的自然語(yǔ)言轉(zhuǎn)化為精 確的語(yǔ)義指令。結(jié)合感知網(wǎng)絡(luò)和訓(xùn)練參數(shù)優(yōu)化，系統(tǒng)能夠生成適應(yīng)環(huán)境的感知信息。任 務(wù)規(guī)劃和運(yùn)動(dòng)規(guī)劃模塊通過(guò)代價(jià)計(jì)算和高層反饋，實(shí)現(xiàn)對(duì)機(jī)器人行為的智能規(guī)劃和路徑優(yōu)化。關(guān)鍵點(diǎn)路徑和三次樣條曲線的應(yīng)用，確保了軌跡跟蹤的平滑性和控制指令的精確性。整個(gè)系統(tǒng)架構(gòu)通過(guò)底層反饋機(jī)制，實(shí)現(xiàn)了對(duì)規(guī)劃執(zhí)行的實(shí)時(shí)監(jiān)控和動(dòng)態(tài)調(diào)整，確保了機(jī)器人在復(fù)雜環(huán)境中的高效、穩(wěn)定和自適應(yīng)的運(yùn)行。-
第 3 章 算法原理分析-
3.1 基于動(dòng)力學(xué)模型的多模式運(yùn)動(dòng)控制原理-
采用零空間映射全身運(yùn)動(dòng)控制（WBC）方法，將低優(yōu)先級(jí)任務(wù)映射至高優(yōu)先級(jí)任務(wù)零空間，實(shí)現(xiàn)多任務(wù)運(yùn)動(dòng)。四足機(jī)器人運(yùn)動(dòng)控制任務(wù)按優(yōu)先級(jí)分為軀干位置、姿態(tài)、支撐腿及擺動(dòng)腿任務(wù)，通過(guò)零空間映射獲取關(guān)節(jié)位置、速度與加速度。其中，關(guān)節(jié)位置和速度利用 PD 控制穩(wěn)定姿態(tài)；關(guān)節(jié)加速度結(jié)合模型預(yù)測(cè)控制（MPC）計(jì)算的前饋支撐力，通過(guò) QP 優(yōu)化調(diào)整誤差，最終由動(dòng)力學(xué)方程算出加速度。該方法通過(guò) MPC 確定最優(yōu)反力分布，WBC 據(jù)此計(jì)算關(guān)節(jié)力矩、位置與速度，降低控制復(fù)雜度。-
3.2 基于指令式學(xué)習(xí)的四足機(jī)器人自主導(dǎo)航原理-
3.2.1 環(huán)境語(yǔ)義構(gòu)建-
將雷達(dá)、相機(jī)采集信息傳入大語(yǔ)言模型，利用其語(yǔ)義理解能力提取關(guān)鍵信息并生成優(yōu)化指令，再通過(guò)百度文本合成模塊播報(bào)，助力機(jī)器人在復(fù)雜環(huán)境下快速?zèng)Q策。-
3.2.2 指令式學(xué)習(xí)路徑規(guī)劃-
基于度量的可微分優(yōu)化訓(xùn)練策略，構(gòu)建可微分代價(jià)圖計(jì)算路徑穿越成本，指導(dǎo)網(wǎng)絡(luò)更新。訓(xùn)練后的策略從自身觀察提取環(huán)境信息，解碼為可穿越性數(shù)據(jù)，規(guī)劃行動(dòng)路徑。端到端訓(xùn)練使觀察特征可依目標(biāo)優(yōu)化，提升實(shí)際應(yīng)用性能。-
3.3 基于 AI 大語(yǔ)言模型的智能行為調(diào)度-
3.3.1 自然人機(jī)交互的語(yǔ)義解析-
使用百度 Appbuilder 語(yǔ)音識(shí)別極速版（ASR）處理語(yǔ)音指令，通過(guò)認(rèn)證創(chuàng)建請(qǐng)求，采用 RAW 音頻傳輸提高效率。識(shí)別文本經(jīng)短文本語(yǔ)音合成（TTS）輸出，調(diào)用時(shí)控制文本長(zhǎng)度優(yōu)化處理。針對(duì)中文多音字標(biāo)注實(shí)現(xiàn)自定義發(fā)音。-
基于提示語(yǔ)言模型，將輸入文本預(yù)處理后，由提示生成模塊創(chuàng)建任務(wù)提示，大語(yǔ)言模型分析生成內(nèi)部表示，輸出模塊轉(zhuǎn)化為文本，反饋模塊依據(jù)用戶反饋優(yōu)化。通過(guò)提示工程，ASR 將語(yǔ)音轉(zhuǎn)換文本并提取關(guān)鍵詞，大語(yǔ)言模型將其轉(zhuǎn)為標(biāo)準(zhǔn)化控制指令，TTS 反饋結(jié)果，實(shí)現(xiàn)人機(jī)交互。-
3.3.2 邏輯推理與智能調(diào)度-
利用大語(yǔ)言模型邏輯推理能力解析用戶指令，在復(fù)雜場(chǎng)景中提供替代方案、處理倫理判斷。提出智能行為調(diào)度策略，將人類指令轉(zhuǎn)化語(yǔ)義信息，通過(guò)高層反饋糾錯(cuò)、動(dòng)態(tài)調(diào)整任務(wù)子函數(shù)，運(yùn)動(dòng)狀態(tài)機(jī)與規(guī)劃轉(zhuǎn)化為具體運(yùn)動(dòng)，底層反饋應(yīng)對(duì)執(zhí)行問(wèn)題，實(shí)現(xiàn)機(jī)器人復(fù)雜環(huán)境下的智能決策與自主調(diào)度。