自動駕駛正成為影響未來行業(yè)的關鍵技術，車載傳感器是自動駕駛系統(tǒng)中感知外部世界的關鍵，它們就像車輛的“眼耳口鼻”，幫助車輛感知外部世界，聽覺視覺等缺一不可，這幾種感知的協(xié)作性能也直接決定自動駕駛車輛的安全性。

今天我們就來一起聊聊，自動駕駛中的“眼耳口鼻”共用——多傳感器融合是怎么一回事。

常見的車載傳感器有哪些？

目前業(yè)界主要使用三種傳感器，包括攝像頭、激光雷達、毫米波雷達。各種傳感器各有優(yōu)缺點，因此在自動駕駛系統(tǒng)中通常有不同的任務劃分。

攝像頭可以獲取光學圖像，并從一定角度準確記錄物體的顏色、紋理、色彩分布等信息。因此，一些研究使用攝像頭完成目標識別和目標跟蹤任務，包括道路檢測、行人和車輛識別以及局部路徑規(guī)劃。為了克服攝像頭可測量角度范圍窄的問題，在實際應用中，自動駕駛系統(tǒng)通常采用多臺攝像頭對周圍環(huán)境進行全方位監(jiān)控。

毫米波雷達通過脈沖壓縮測量物體的距離，并通過多普勒頻移測量物體的速度，這在障礙物檢測、行人識別和車輛識別中有廣泛的應用。

激光雷達的主要應用包括定位、障礙物檢測和環(huán)境重建。由于三維（3D）數(shù)據(jù)與二維數(shù)據(jù)相比具有一定的信息表示優(yōu)勢，它可以最大限度地恢復真實環(huán)境中的交通條件。結(jié)合毫米波雷達目標的動態(tài)特性、激光雷達的變化優(yōu)勢以及光學圖像中目標的細節(jié)，利用綜合信息有助于車輛執(zhí)行各種任務，如意圖分析、運動規(guī)劃和自動駕駛。

為什么一定要多傳感器融合呢？

使用多傳感器融合技術的主要原因是為了揚長避短、冗余設計，提高整車安全系數(shù)。多傳感器融合系統(tǒng)所實現(xiàn)的功能要遠超這些獨立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和，相當于1+1>2。使用不同的傳感器種類可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（例如，濃霧天氣）或是人為現(xiàn)象（例如，對攝像頭或雷達的電子干擾或人為干擾）導致。各傳感器優(yōu)缺點如下：

多傳感器融合的挑戰(zhàn)

目前市面上大多數(shù)自動駕駛的方案均包含攝像頭、激光雷達和毫米波雷達，使用同一個系統(tǒng)來采集并處理數(shù)據(jù)，我們需要對這些傳感器統(tǒng)一坐標系和時鐘，目的就是為了實現(xiàn)三同一不同：即在同一時刻，同一地理坐標，同一目標出現(xiàn)在不同類別的傳感器中。

想必看到這里，聰明的你能意識到，這也不是一件容易的事情，想要達到三同一不同，就要克服不少挑戰(zhàn)。

挑戰(zhàn)1：統(tǒng)一時鐘

在這里要做的就是同步不同傳感器的時間戳，本次我們主要介紹兩種方法。

GPS時間戳的時間同步方法：該種方法中，傳感器硬件需支持GPS時間戳，如果支持，則傳感器輸出的數(shù)據(jù)包會有全局的時間戳，這些時間戳以GPS為基準，那么就相當于不同的傳感器均以GPS為基準，等同于使用了相同的時鐘，而非傳感器各自的時鐘了。

另外一種方法叫硬同步方法：這種方法可以減小查找時間戳造成的誤差。該方法可以以激光雷達作為觸發(fā)源，輸出給其它傳感器，當激光雷達轉(zhuǎn)到某個角度時，才觸發(fā)該角度的攝像頭，這可以大大減少時間差的問題。這套時間同步方案可以做到硬件中，這樣可以大大降低同步誤差，提高數(shù)據(jù)同步效果。

挑戰(zhàn)2：統(tǒng)一坐標系

統(tǒng)一坐標系有兩步，一是運動補償，二是傳感器標定。由于所有的傳感器都裝在車上，車是運動的剛體。因此傳感器在采集數(shù)據(jù)時，周期開始的時間點和結(jié)束時間點車輛是處于不同位置的，導致不同時刻采集的數(shù)據(jù)所處坐標系不同，因此需要根據(jù)車體的運動對傳感器采集的數(shù)據(jù)進行運動補償。

傳感器標定分為內(nèi)參標定和外參標定，內(nèi)參標定，解決的是單獨的每個傳感器與世界坐標系間的變換；外參標定是在世界坐標系下，解決的不同傳感器間的變換。傳感器外參校準依賴于傳感器的精確內(nèi)參校準。

挑戰(zhàn)3：融合方法

經(jīng)過以上幾步，可以拿到的信息有：做好運動補償及時間同步的傳感器源數(shù)據(jù)、傳感器內(nèi)參、傳感器外參，有了這些信息后，我們可以做相應的融合方法了。到底如何做呢？下面舉兩個例子：

攝像頭和激光雷達融合：激光雷達數(shù)據(jù)是包含了明確的(x，y，z)數(shù)據(jù)的3D觀測，通過標定參數(shù)與攝像頭本身的內(nèi)參，多傳感器深度融合可以實現(xiàn)把3D點投到圖像上，圖像上的某些像素也就打上了深度信息，幫助感知系統(tǒng)進行基于圖像的分割或者訓練深度學習模型。

毫米波雷達和激光雷達融合：毫米波雷達和激光雷達的融合方式比較簡單。在笛卡爾坐標系下，它們擁有完整的( x，y )方向的信息。因此在笛卡爾坐標系下，激光雷達和毫米波雷達可以實現(xiàn)基于距離的融合。另外，毫米波雷達還可以探測到障礙物速度，而激光雷達通過位置的追蹤，也會得到對障礙物速度的估計，對這些速度的信息進行融合，更能幫助篩選錯誤的匹配候選集。

從目前國內(nèi)對于自動駕駛的策略來看，多種傳感器提高安全冗余是普遍采用的路線。那對于多傳感器融合的硬件在環(huán)測試也是必要的一環(huán)。

講了這么多，你對多傳感器融合是否有了一些了解呢？針對這樣的自動駕駛趨勢，是德科技也在全面布局，不僅針對單個雷達有測試解決方案，對雷達場景模擬以及多傳感器融合方向也在推陳出新，推出ADE(Autonomous Driving Emulation)解決方案以及發(fā)布不久的雷達場景模擬器。