在智能座艙感知系統(tǒng)（如 DMS、OMS、安全帶識別、兒童遺留檢測等）逐漸從研發(fā)進入大規(guī)模部署的階段，數(shù)據(jù)成為模型性能提升的核心瓶頸。尤其在現(xiàn)實采集成本高、隱私受限、長尾樣本稀缺的前提下，越來越多客戶將目光投向了“艙內(nèi)合成數(shù)據(jù)”。

在與算法供應商和主機廠諸多客戶的交流過程中，我們也觀察到三個始終被反復提出的核心問題，本文為大家詳細揭秘：

一、模態(tài)是否豐富，能否覆蓋多任務模型需求？

相較于傳統(tǒng)車外感知任務，艙內(nèi)感知往往涉及多種任務并發(fā)：

（1）駕駛員狀態(tài)監(jiān)測（DMS）需提供 RGB、NIR、深度圖、紅外熱圖等；

（2）艙內(nèi)目標識別（OMS）需識別成人、兒童、寵物及其關(guān)鍵點；

（3）安全帶/手勢/打電話等行為檢測需使用語義分割或姿態(tài)估計；

（4）基于時序的行為識別模型還需高幀率、長時間段的時序一致數(shù)據(jù)。

1、客戶普遍反饋

“不是只有圖像就夠了，我們訓練要同時用 RGB、深度、語義 mask，還需要完整的關(guān)鍵點標注。”

因此，一個面向艙內(nèi)場景的合成平臺，必須具備多模態(tài)輸出能力：

（1）支持同步輸出：RGB、NIR、IR、深度圖、分割圖、關(guān)鍵點、動作標簽；

（2） 每一幀支持完整 2D/3D 標注（如人臉姿態(tài)、骨架、Bounding Box）；

（3）模態(tài)間具備嚴格的像素級對齊與時間同步。

不同分割標準的傳感器真值掩膜（左：材料分割掩膜 右：標注分割掩膜）

二、是否支持高度可控的“邊緣艙內(nèi)場景”構(gòu)建？

現(xiàn)實座艙中的極端情況是艙內(nèi)模型失效的最大來源，例如：

（1）小孩被遺留在車內(nèi)后座但被玩具遮擋；

（2）夜間父母懷抱嬰兒但光照極弱；

（3）多人乘坐，后排座椅被倒下遮擋視野；

（4）駕駛員佩戴口罩、墨鏡、低頭、側(cè)臉、疲勞、抽煙等行為混合出現(xiàn)。

1、客戶直接表達

“這些是我們在真實測試中經(jīng)常出錯的場景，能不能直接構(gòu)造出來，用來補訓練集？”

所以平臺需要具備：

（1）多乘員、多體態(tài)、多遮擋物控制能力；

（2）情緒、疲勞、注意力偏移等狀態(tài)標簽控制；

（3）光照條件（夜間、背光）、遮擋類型（雨傘、雜物）、視角模糊模擬能力；

（4）可腳本控制的場景生成引擎，如配置文件中直接設(shè)定“后排有兒童+玩具遮擋+車內(nèi)弱光”組合。

只有能合成這些“長尾”和“不可采集”的場景，合成數(shù)據(jù)才具備真正補全實采數(shù)據(jù)盲區(qū)的價值。

駕駛員佩戴墨鏡的場景

三、合成數(shù)據(jù)真實度是否支持模型訓練與部署？

相比單純用于驗證，艙內(nèi)合成數(shù)據(jù)平臺的客戶越來越傾向于用模型直接訓練，這也就對“擬真程度”提出了更高要求：

1、客戶真實需求

“我們擔心合成圖太假，訓練完上車精度掉得厲害。你們的合成數(shù)據(jù)真實度有保證嗎？”

為了讓數(shù)據(jù)能用于實際訓練，平臺需要從三方面確保高擬真性：

（1）真實人物建模

-多體型、種族、性別、穿著、年齡段（尤其是兒童與老人）；

-姿態(tài)逼真（靠座、打瞌睡、回頭、躺倒）；

-動作/表情基于真實骨骼驅(qū)動，避免“動畫感”。
（2）真實座艙還原

-車輛內(nèi)飾結(jié)構(gòu)完整，覆蓋不同車型、座位布局；

-可配置裝飾物（抱枕、飾品）、反光材質(zhì)（玻璃、顯示屏）；

-支持模擬不同車型的FOV、分辨率、攝像頭位置偏移等。
（3）物理光照/材質(zhì)真實感

- 支持真實 HDR 光照渲染；

- 模擬 IR/熱紅外成像特性；

- 加入模糊、噪聲、運動拖影、畸變等現(xiàn)實感知特性。

為了達到可用于實際訓練的效果，合成數(shù)據(jù)平臺需要在圖像質(zhì)量、行為表現(xiàn)和傳感器建模等多個維度具備高保真能力，確保模型在部署后具備良好的泛化性能。

例如，圖像應能準確模擬真實攝像頭的曝光、模糊和遮擋；人物動作需基于真實骨骼驅(qū)動而非靜態(tài)拼接；同時還應支持多種模態(tài)協(xié)同輸出，以滿足訓練對數(shù)據(jù)質(zhì)量的一致性要求。

四、平臺實現(xiàn)參考：Anyverse 的應用實踐

在平臺實現(xiàn)層面，Anyverse 提供了一個相對成熟的參考范式，覆蓋了艙內(nèi)感知數(shù)據(jù)合成中的多個關(guān)鍵環(huán)節(jié)。

1、模態(tài)生成方面

平臺支持多通道同步輸出，包括 RGB、NIR、深度圖、紅外圖、語義圖、關(guān)鍵點和動作標簽等，滿足多種感知模型的數(shù)據(jù)輸入需求；

2、場景構(gòu)建方面

平臺可以靈活配置人物數(shù)量、姿態(tài)、遮擋物、光照條件等變量，以生成多樣化甚至極端條件下的艙內(nèi)場景；

3、圖像與行為建模方面

平臺使用物理渲染與骨骼動畫系統(tǒng)，對座艙結(jié)構(gòu)、乘員動作及其與環(huán)境交互過程進行了細致建模，提升了數(shù)據(jù)的真實感與一致性。

這些工程機制協(xié)同構(gòu)成了一個面向規(guī)模化訓練的合成數(shù)據(jù)生成基礎(chǔ)，也為艙內(nèi)感知模型在復雜環(huán)境中的表現(xiàn)提供了有力支撐。

五、合成數(shù)據(jù)應為艙內(nèi)感知系統(tǒng)“數(shù)據(jù)主力軍”

從客戶反饋出發(fā)，我們始終認為：

合成數(shù)據(jù)的價值，不僅在于節(jié)省成本，更在于它能合成“你永遠采不到、但必須要有”的關(guān)鍵場景。

真正面向工程落地的艙內(nèi)合成數(shù)據(jù)平臺，應同時滿足以下三點：

（1）模態(tài)豐富、標注完整

（2）邊緣場景可控、可批量

（3）圖像逼真、擬合實車部署

這將是支撐下一階段艙內(nèi)智能感知系統(tǒng)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施。

我是分享自動駕駛技術(shù)的康謀~