文章導讀

本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。

目錄

傳感器

相機標定

數據標注

功能劃分

模塊架構

視覺感知系統主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：

道路目標檢測（車輛、行人和非機動車）

交通標識檢測（交通標志和紅綠燈）

可行駛區域（道路區域和車道線）

這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統的檢測速度，減少計算參數，而且可以通過增加主干網絡的層數的方式提高檢測和分割精度。如下圖所示：可以將視覺感知任務分解成目標檢測、圖像分割、目標測量、圖像分類等。

傳感器

1. 前視線性相機：視角較小，一般采用52°左右的相機模組安裝于車輛前擋風玻璃中間，主要用來感知車輛前方較遠的場景，感知距離一般為120米以內。

2. 周視廣角相機：視場角相對較大，一般采用6顆100°左右的相機模組安裝在車輛周圍一圈，主要用來感知360°的周身環境（安裝方案與特斯拉大同小異）。廣角相機存在一定的畸變現象，如下圖所示：

3. 環視魚眼相機：環視魚眼相機視角較大，可以達到180°以上，對近距離的感知較好，通常用于APA，AVP等泊車場景，安裝于車輛左右后視鏡下方以及前后車牌下方等4個位置做圖像的拼接、車位檢測、可視化等功能。

相機標定

相機標定的好壞直接影響目標測距的精度，主要包括內參標定和外參標定。

內參標定用于做圖像的畸變校正，外參標定用于統一多個傳感器的坐標系，將各自的坐標原點移動到車輛后軸中心處。

最耳熟能詳的標定方法就是張正友的棋盤格方法，在實驗室里一般會做一個棋盤格板子標定相機，如下圖：

1. 出廠標定

但是自動駕駛做前裝量產，由于批量生產的緣故，無法一輛輛使用標定板做標定，而是構建一個場地用于車輛出廠時標定，如下圖所示：

2. 在線標定

另外考慮到車輛運行一段時間或者在顛簸的過程中攝像頭位置的偏移，感知系統中也有在線標定的模型，常利用消失點或車道線等檢測得到的信息實時更新俯仰角的變化。

數據標注

自然道路場景存在各種各樣的突發狀況，所以需要采集大量的實車數據用來訓練。高質量的數據標注成了一件至關重要的工作，其中感知系統需要檢測的全部信息均需要進行標注。標注形式包括目標級標注和像素級標注：

目標級標注如下圖：

像素級標注如下圖：

由于感知系統中的檢測和分割任務常采用深度學習的方式實現，而深度學習是一項數據驅動的技術，所以需要大量的數據和標注信息進行迭代。為了提高標注的效率，可以采用半自動的標注方式，通過在標注工具中嵌入一個神經網絡用于提供一份初始標注，然后人工修正，并且在一段時間后加載新增數據和標簽進行迭代循環。

功能劃分

視覺感知可以分為多個功能模塊，如道路目標檢測、目標測量、可行駛區域、車道線檢測、交通標識檢測等。

1. 道路目標檢測

對車輛（轎車、卡車、電動車、自行車）、行人等動態物體的識別，輸出被檢測物的類別和3D信息并對幀間信息做匹配，確保檢測框輸出的穩定和預測物體的運行軌跡。神經網絡直接做3D回歸準確度不高，通常會對車輛拆分成車頭，車身，車尾，輪胎多個部位的檢測拼成3D框。

目標檢測難點：

小目標檢測問題

多目標重疊問題

部分被遮擋問題

外觀相似的問題

目標多樣性問題

對于視覺目標檢測，在惡劣天氣環境下，感知性能會有一定的下降；在夜晚燈光昏暗時，容易出現漏檢的問題。如果結合激光雷達的結果進行融合，對于目標的召回率會大幅提高。

具體解決方案：

目標檢測任務現在大多采用深度學習的方法來做位置的回歸和類別的區分。在設計神經網絡的時候，可以考慮以下Tricks：

降低下采樣率并結合空洞卷積，減少小物體特征的損失；

采用FPN結構進行深層特征和淺層特征的融合來增強目標的特征信息；

加入Mosiac，MixUp等混疊形式的數據增強方法，提供模型對重疊和遮擋場景的魯棒性；

多種算法或傳感器的聯合校驗，降低在特定場景下的誤檢或漏檢率；

但是深度學習作為一種概率形式的算法，即使提取特征能力強大，也不能覆蓋掉所有的動態物體特征。在工程開發中可以依據現實場景增加一些幾何約束條件（如尺寸信息，空間位置信息，運動連貫性等）。

增加幾何約束的好處是提高檢測率，降低誤檢率，如轎車不可能誤檢為卡車。可以訓練一個3D檢測模型再配合后端多目標追蹤優化以及基于單目視覺幾何的測距方法完成功能模塊。

2. 目標測量

目標測量包括測量目標的橫縱向距離，橫縱向速度等信息。根據目標檢測跟蹤的輸出借助地面等先驗知識從2D的平面圖像計算車輛等動態障礙物的距離信息、速度信息等或者通過NN網絡直接回歸出現世界坐標系中的物體位置。如下圖所示：

單目測量難點：

如何從缺乏深度信息的單目系統中計算出前方的物體距離。那么我們需要弄清楚以下幾個問題：

功能需求的測距范圍

場景提供的先驗知識

需要做到的橫縱向精度

如果大量依賴模式識別技術來彌補深度的不足。那么模式識別是否足夠健壯能滿足串行生產產品的嚴格檢測精度要求?

單目測量方案：

其一，就是通過光學幾何模型（即小孔成像模型）建立測試對象世界坐標與圖像像素坐標間的幾何關系，結合攝像頭內、外參的標定結果，便可以得到與前方車輛或障礙物間的距離；

其二，就是在通過采集的圖像樣本，直接回歸得到圖像像素坐標與車距間的函數關系，這種方法缺少必要的理論支撐，是純粹的數據擬合方法，因此受限于擬合參數的提取精度，魯棒性相對較差。

3.可行駛區域

對車輛行駛的可行駛區域進行劃分主要是對車輛、路沿、無障礙物的區域進行劃分，最后輸出自車可以通行的安全區域。

可行駛區域難點：

分割的區域邊緣不夠精細；

數據的類別存在大量不平衡問題；

如何從分割圖中獲取可行駛區域；

可行駛區域方案：

可行駛區域的檢測本質上是一種語義分割的問題，大多采用深度學習進行實現。近些年分割網絡在空洞卷積，池化金字塔，路徑聚合，環境編碼等方法的助力下效果越來越好，但是在靜態或動態障礙物的邊界處還是存在一些毛刺。在工程上可以配合路沿、車道線、目標框的結果來修正語義的邊緣信息并從矢量包絡或柵格圖中定義可行駛區域；數據的不平衡問題往往出在訓練階段，通常可從損失函數的設計以及數據的上下采樣來緩解此類現象。

4. 車道線檢測

車道線檢測包括對實線、虛線、單黃線、雙黃線檢測、匯入線等各種類型的檢測。功能要求上也逐漸從像素級的分割到抽象空間的判斷，如下圖所示：

車道線檢測難點：

車道線的細長形態結構，需要強大的高低層次特征融合，來同時獲取全局的空間結構關系，和細節處的定位精度。

車道線的形態有很多不確定性，比如被遮擋，磨損，以及道路變化時本身的不連續性。需要算法針對這些情況有較強的推測能力。

車輛的偏離或換道過程會產生自車所在車道的切換，車道線也會發生左/右線的切換。一些提前給車道線賦值固定序號的方法，在換道過程中會產生歧義的情況。

車道線檢測方案：

其一，基于傳統的圖像處理方法，通過邊緣檢測濾波等方式分割出車道線區域，然后結合霍夫變換、隨機采樣一致性等算法進行車道線檢測。這類算法需要人工手動去調濾波算子，根據算法所針對的街道場景特點手動調節參數。

其二，基于深度學習的方法，通過二值語義分割產生掩碼圖部分，再對掩碼圖的線進行三次方程擬合。

5.交通標識檢測

交通標識檢測包括對交通紅綠燈、交通標志牌等靜態目標的檢測識別。如下圖所示：

交通標識檢測難點：

小目標問題，往往交通標識目標較??；

多樣性問題，不同地區紅綠燈形態各異；

場景復雜問題，路口處的信號燈安裝位置，加上臨時信號燈，算法應該選擇哪個作為通行標準；

交通標識檢測方案：

雖然對于小目標檢測、目標多樣性問題，也可以采用類似道路目標檢測中的修改神經網絡，堆疊各種Tricks增強特征提取和泛化能力，再用大量數據迭代來覆蓋各種形狀的信號燈。但是最有效直接的手段仍然是基于V2X的普及，通過發送的車端的準確信號，不僅解決了傳感器對交通標識感知的檢測誤差問題，同時也可以避免路口信號燈的選擇問題。

自動駕駛的發展，很大程度上不會是單車的智能，而是依托于智慧城市的建立，在車路協同的過程中各司其職做環境的感知。

模塊架構

目前開源的感知框架Apollo和Autoware，不少研究人員或者中小公司的感知系統開發會借鑒其中的思想，所以在這里介紹一下Apollo感知系統的模塊組成。

相機輸入-->圖像的預處理-->神經網絡-->多個分支（紅綠燈識別、車道線識別、2D物體識別轉3D）-->后處理-->輸出結果（輸出物體類型、距離、速度代表被檢測物的朝向）

即輸入攝像頭的數據，以每幀信息為基礎進行檢測、分類、分割等計算，最后利用多幀信息進行多目標跟蹤，輸出相關結果。整個感知流程圖如下：

上述核心環節仍是神經網絡算法，它的精度、速度、硬件資源利用率都是需要衡量考慮的指標，哪一個環節做好都不容易，物體檢測最容易誤檢或漏檢、車道線檢測擬合方法較難、紅綠燈這類小物體檢測難度大，通行空間的邊界點要求高。

責任編輯：lq