車(chē)輛自動(dòng)駕駛包括感知、判斷和執(zhí)行，而感知是整個(gè)過(guò)程的源頭，是自動(dòng)駕駛系統(tǒng)的重要模塊。在車(chē)輛行車(chē)過(guò)程中，感知系統(tǒng)會(huì)通過(guò)傳感器實(shí)時(shí)采集周邊環(huán)境的信息，相當(dāng)于自動(dòng)駕駛汽車(chē)的“眼睛”，幫助汽車(chē)實(shí)現(xiàn)類(lèi)似于人類(lèi)駕駛員一樣效果的觀(guān)察能力。感知系統(tǒng)主要由攝像頭、超聲波雷達(dá)、毫米波雷達(dá)、激光雷達(dá)（可選）等傳感器構(gòu)成。攝像頭作為主要的環(huán)境感知傳感器起著非常重要的作用，可以實(shí)現(xiàn)360°全面視覺(jué)感知，彌補(bǔ)雷達(dá)在物體識(shí)別上的缺陷，是最接近人類(lèi)視覺(jué)的傳感器。隨著自動(dòng)駕駛技術(shù)的發(fā)展，要求的車(chē)載攝像頭數(shù)量越來(lái)越多，清晰度越來(lái)越高，穩(wěn)定性越來(lái)越強(qiáng)。

目前L2+、L3級(jí)別車(chē)輛搭載的攝像頭根據(jù)安裝位置主要分為前視攝像頭、環(huán)視攝像頭、后視攝像頭、側(cè)視攝像頭以及內(nèi)置攝像頭五種類(lèi)別。在行車(chē)時(shí)，前視、側(cè)視、后視與毫米波、激光雷達(dá)共同感知融合，提供給算法模塊可行駛區(qū)域、目標(biāo)障礙物等信息，實(shí)現(xiàn)ACC/ICA/NCA、AEB、LKA、TSR等功能，同時(shí)內(nèi)置攝像頭會(huì)監(jiān)控駕駛員的狀態(tài)，實(shí)現(xiàn)疲勞監(jiān)測(cè)功能；在泊車(chē)時(shí)，環(huán)視攝像頭和超聲波雷達(dá)共同感知停車(chē)位環(huán)境，實(shí)現(xiàn)APA功能。 車(chē)載攝像頭在汽車(chē)高級(jí)駕駛輔助系統(tǒng)（ADAS）中扮演著重要角色，為我們的行車(chē)安全提供了強(qiáng)大的支持。

那么在做ADAS HiL測(cè)試時(shí)如何實(shí)現(xiàn)Camera仿真呢？ 北匯信息提供以下兩種實(shí)現(xiàn)方案
視頻暗箱視頻暗箱是將虛擬仿真場(chǎng)景視頻信號(hào)連接到暗箱中的顯示器上，使用真實(shí)攝像頭對(duì)著顯示器拍攝視頻，通過(guò)同軸線(xiàn)纜將拍攝到的視頻信號(hào)傳輸給自動(dòng)駕駛控制器，使控制器認(rèn)為處于實(shí)車(chē)環(huán)境中，從而達(dá)到對(duì)ADAS控制器測(cè)試的目的。 圖2視頻暗箱方案示意圖暗箱設(shè)備主要由箱體、滑軌、顯示器、透鏡、攝像頭及相關(guān)支架、底座組成。視頻暗箱不需要主機(jī)廠(chǎng)或者Tire1提供圖像采集模塊與圖像處理模塊之間的通信協(xié)議，其采用真實(shí)的攝像頭，這種方式容易實(shí)現(xiàn)、成本較低，但是需要根據(jù)顯示器的大小，精確的設(shè)定攝像頭的擺放位置和角度，易受光線(xiàn)和顯示器的影響，同時(shí)顯示器的頻率有可能會(huì)造成圖像識(shí)別的延遲。此方案適用于單目攝像頭，并且攝像頭視場(chǎng)角要小于120°（環(huán)視攝像頭無(wú)法使用此方案），視頻暗箱設(shè)備較大，一個(gè)暗箱只支持一路攝像頭，精度也較低。 圖3視頻暗箱整體結(jié)構(gòu)

攝像頭標(biāo)定分兩部分，首先是硬件設(shè)備位置標(biāo)定，保持?jǐn)z像頭、透鏡、顯示器中心在一條水平線(xiàn)上；其次要在仿真場(chǎng)景中對(duì)拍攝到的車(chē)道線(xiàn)進(jìn)行標(biāo)定。 視頻注入視頻注入系統(tǒng)可用于攝像頭原始數(shù)據(jù)流視頻注入，使用VX1161視頻回灌硬件對(duì)ADAS系統(tǒng)的車(chē)載攝像頭傳感器進(jìn)行替換。攝像頭仿真設(shè)備通過(guò)HDMI/DVI接口接收虛擬仿真場(chǎng)景不同Camera視角的視頻信號(hào)，內(nèi)部進(jìn)行圖像處理后以特定協(xié)議的視頻信號(hào)注入給ADAS控制器。

圖4視頻注入方案示意圖視頻注入技術(shù)不受光線(xiàn)的影響，仿真精度高，支持在線(xiàn)調(diào)節(jié)攝像頭信號(hào)顏色空間（RGB，YUV，RAW等）。一個(gè)VX1161視頻回灌硬件同時(shí)支持多路攝像頭仿真，設(shè)備體積較小，在仿真多路攝像頭信號(hào)時(shí)，各通道視頻信號(hào)可通過(guò)串行器來(lái)同步信號(hào)觸發(fā)，適用于多目攝像頭、多通道注入。視頻注入需要特定的視頻協(xié)議信息，需要主機(jī)廠(chǎng)或者Tire1提供圖像采集模塊與圖像處理模塊之間的通信協(xié)議，開(kāi)發(fā)存在畸變標(biāo)定、色差調(diào)節(jié)等技術(shù)難點(diǎn)，成本較高。視頻注入系統(tǒng)支持對(duì)多種Camera安裝位置和特征進(jìn)行配置（包括Resolution、Frame rate、Optics和Sensor特性等），適用于各類(lèi)基于攝像頭的應(yīng)用。使用DYNA4作為場(chǎng)景和動(dòng)力學(xué)仿真軟件，視頻注入+攝像頭模型還能在仿真環(huán)境中實(shí)現(xiàn)其他鏡頭特性效果，例如屏閃、鏡頭畸變、魚(yú)眼、運(yùn)動(dòng)模糊等，模擬由于環(huán)境光線(xiàn)突變導(dǎo)致的攝像頭短時(shí)間曝光過(guò)度或不足、部分或全部通道增益調(diào)節(jié)錯(cuò)誤、攝像頭成像噪點(diǎn)或圖像失真、鏡頭被雨霧或污泥遮擋導(dǎo)致的成像故障。

對(duì)于視頻注入方案，攝像頭仿真模型需要根據(jù)真實(shí)畸變數(shù)據(jù)、FOV、像素大小、分辨率等參數(shù)生成，但仿真模型仍與真實(shí)車(chē)載攝像頭存在細(xì)微畸變差異，需要進(jìn)行標(biāo)定。標(biāo)定有兩種方法，方法一是獲取攝像頭模型拍攝的圖片，計(jì)算出圖片的畸變參數(shù)，修改ADAS控制器配置的攝像頭畸變參數(shù)；方法二是使用模型生成的黑白棋盤(pán)格圖像和真實(shí)攝像頭圖像比照，細(xì)微調(diào)整仿真模型的參數(shù)，以達(dá)到畸變參數(shù)一致。

ADASHiLADAS HiL中，仿真的攝像頭視頻流數(shù)據(jù)與動(dòng)力學(xué)模型數(shù)據(jù)及其他傳感器數(shù)據(jù)共同傳輸給控制器，在CANoe軟件中做實(shí)驗(yàn)管理，形成閉環(huán)鏈路。

1

仿真攝像頭可以模擬真實(shí)世界中的各種場(chǎng)景和情況，包括不同的道路條件、天氣條件和交通情況。通過(guò)模擬這些場(chǎng)景，可以評(píng)估控制器在各種情況下的性能和魯棒性。

2

ADAS控制器接收視頻流原始數(shù)據(jù)、激光雷達(dá)點(diǎn)云數(shù)據(jù)、毫米波雷達(dá)和超聲波雷達(dá)目標(biāo)列表數(shù)據(jù)，評(píng)估控制器對(duì)不同傳感器數(shù)據(jù)的融合和處理能力。

3

攝像頭仿真還可以用于測(cè)試和驗(yàn)證控制算法和功能。通過(guò)模擬各種場(chǎng)景和情況，可以驗(yàn)證控制器的目標(biāo)檢測(cè)、目標(biāo)跟蹤、車(chē)道保持、自動(dòng)緊急制動(dòng)等功能的準(zhǔn)確性和可靠性。

4

視頻流數(shù)據(jù)模擬全黑、全白、噪聲疊加、運(yùn)動(dòng)模糊、丟幀、延遲等故障，注入給控制器，驗(yàn)證控制器功能安全機(jī)制。

總結(jié)

本文首先介紹了車(chē)載攝像頭在ADAS系統(tǒng)中的作用，重點(diǎn)描述了在ADAS HiL中視頻暗箱和視頻注入兩種攝像頭仿真方案的差異，最后簡(jiǎn)要介紹了車(chē)載攝像頭仿真在ADAS HiL中的應(yīng)用。
北匯信息作為Vector的技術(shù)合作伙伴，覆蓋智能駕駛系統(tǒng)MiL/HiL/ViL測(cè)試、車(chē)聯(lián)網(wǎng)測(cè)試，傳感感知測(cè)試等，為客戶(hù)提供優(yōu)質(zhì)的智駕測(cè)試解決方案、測(cè)試集成系統(tǒng)和服務(wù)，助力智能駕駛仿真測(cè)試系統(tǒng)的快速驗(yàn)證和測(cè)試。