隨著邊緣AI與嵌入式系統(tǒng)的發(fā)展，智能小車、服務(wù)機器人等場景中亟需融合「高層智能決策」與「低層實時控制」。然而當(dāng)前常見系統(tǒng)架構(gòu)存在以下痛點：

決策系統(tǒng)與控制系統(tǒng)分離：AI模型通常運行在云端或高性能主控中，而運動控制仍依賴分離式MCU，通信鏈路長、時延大。

通信方式低效：傳統(tǒng)使用串口、網(wǎng)絡(luò)Socket或CAN等方式連接Linux與MCU，不僅通信開銷大，且存在不穩(wěn)定性與延遲瓶頸。

系統(tǒng)集成困難：多個獨立組件難以統(tǒng)一管理，部署復(fù)雜，調(diào)試成本高，難以快速遷移與擴展。

缺乏標(biāo)準(zhǔn)化接口：上層應(yīng)用缺乏便捷控制底層運動單元的標(biāo)準(zhǔn)方式，導(dǎo)致AI決策落地困難。

本文介紹一種基于虛擬化技術(shù)的嵌入式虛擬化集成開發(fā)平臺（vmRTThread），其架構(gòu)如下圖所示：

可滿足不同安全等級、實時性要求及用戶體驗與運算能力需求。基于該平臺可將決策系統(tǒng)與控制系統(tǒng)同時運行于同一塊SOC；構(gòu)建一套AI驅(qū)動+實時控制的一體化系統(tǒng)；其中該平臺提供系統(tǒng)間共享內(nèi)存通信方式，具有低延遲和零拷貝的跨系統(tǒng)數(shù)據(jù)傳輸?shù)忍攸c，且通信速度不低于100MB/s（同步），可取代傳統(tǒng)串口或網(wǎng)絡(luò)等方式，并且無需改變原有開發(fā)方式，其示例如下圖：

該平臺在開發(fā)階段提供配套工具，可對多系統(tǒng)進行統(tǒng)一管理、構(gòu)建和部署：

AI側(cè)可采用MCP（Model Context Protocol）或Function Calling方式完成與實時控制間的交互。

基于上述方式，采用8核開發(fā)板來部署AI小車，通過大模型完成對小車的控制，系統(tǒng)架構(gòu)如下：

具體分為以下幾個階段執(zhí)行：

01虛擬化系統(tǒng)部署

在開發(fā)板上部署vmRT-Thread；

創(chuàng)建兩個Guest系統(tǒng)，為每個系統(tǒng)分配物理資源（CPU、內(nèi)存和外設(shè)），配置共享內(nèi)存通信：運行Ubuntu與RT-Thread。

02控制系統(tǒng)（RT-Thread)

實現(xiàn)對電機、傳感器的實時控制；

實現(xiàn)電機控制算法；

提供小車前進、后退、左轉(zhuǎn)和右轉(zhuǎn)接口；

創(chuàng)建線程，監(jiān)聽共享內(nèi)存內(nèi)的指令并執(zhí)行動作。

03決策系統(tǒng)（Ubuntu)

提供AI大模型運行環(huán)境；

準(zhǔn)備MCP Server和MCP Client；

MCP Server：通過標(biāo)準(zhǔn)化的模型上下文協(xié)議暴露特定功能 ，如：

move_forward(distance)

move_backward(distance)

MCPClient ：與MCP server 保持 1:1 的連接，管理大模型與MCP Server的交互流程，包括工具調(diào)用、資源訪問、數(shù)據(jù)傳輸?shù)取?/span>

04系統(tǒng)聯(lián)調(diào)與驗證

通過語言指令如“向前移動一米”驗證AI→MCP→RTOS→執(zhí)行器的完整鏈路；評估系統(tǒng)整體響應(yīng)時延、控制精度與穩(wěn)定性。

通過輸入語言命令控制小車移動：

決策系統(tǒng)（Ubutnu）：通過語言指令控制小車移動

控制系統(tǒng)（RT-Thread）：控制電機執(zhí)行移動動作

當(dāng)前嵌入式與邊緣AI場景中存在決策與控制系統(tǒng)分離、通信低效、集成復(fù)雜以及無法充分利用AI功能，因此，本文基于vmRT-Thread通過虛擬化技術(shù)將AI決策與實時控制集成于單一SoC，使其具備良好的可移植性與多場景適應(yīng)能力；采用共享內(nèi)存機制替代傳統(tǒng)通信方式，提升整體鏈路性能；為AI Agent控制具身智能提供模板。既滿足了人機交互的可能，又能滿足AI與嵌入式結(jié)合，為邊緣AI應(yīng)用提供創(chuàng)新解決方案。