導語:智能駕駛的決策執行依賴于對目標物體識別的精準判斷,因而目標物體識別功能也是最早開始研發的部分。精度、響應度提升是現階段技術關鍵。
物體識別分類對于速度和精度要求極高。一方面,物體的識別和分類是實時的,且結果的置信度要足夠高。由于無人駕駛需要實時做出駕駛決策,而物體識別僅僅是其中一環,在做出判斷前,需要給算法處理、決策效應到執行器留有足夠時間,因此留給物體分類和識別器的時間很短,實時性要求非常高。
另一方面,汽車駕駛關系到乘客的生命安全,在此情況下,物體識別必須將誤報、錯判的概率和可能性降低到極低范圍。一旦發生誤判,系統執行錯誤的指令,則結果將是致命的。
目標物體識別難點
?目標物體差異化。
無人駕駛需要依賴算法來識別道路上的各種差異化目標。道路情況十分復雜,面對的物體多種多樣。即使同一類物體,也存在外形、尺寸差異。同時,路面上的物體也可能以組合形式出現。以行人為例,行人有不同的靜態和動態差異,靜態包括行人的外形、服裝、高矮胖瘦、體貌特征差異;動態差異指行人的運動狀態,可能奔跑、行走或者靜止。這就要求識別算法擁有極高的辨識度,能夠區分路面上各個不同的物體,精準判斷。
?環境和路況差異化。
實際道路行駛中,會碰到不同環境和路況,這就要求識別算法普適所有工況。例如:極端的天氣情況(大雨、大雪、閃電、霧霾等)、不同的光照、不同的路況。
?在動態場景中進行識別。
在實際道路行駛中周圍的場景都是運動的物體,從不同的視角看過去,不同的物體的坐標變化模式、姿態變化模式都會不同,識別難度進一步增加。
物體識別算法的一般路徑
物體識別算法通常分為六個步驟:
前處理→前景分離→物體分類→結果改進→物體追蹤→應用層面處理
前五個部分是算法的核心,第六部分則通常指后續的物體行為預測、路徑規劃、導航和防碰撞算法等。
1
——前處理
此部分為最底層的機器視覺算法,通常包含攝像頭曝光、增益控制、攝像頭標定校準等步驟。由于路況復雜多變而實時性要求很高(例如當車輛快速駛入駛離隧道時,周圍的光照變化劇烈,需要迅速做出調整),無人駕駛中對前處理算法的要求極高。
前處理算法需要保證輸入到后續步驟的圖像質量。圖像質量會直接影響后續分類算法性能。盡管傳統的機器視覺增強算法能夠部分解決這一問題,但是使用高動態范圍(HDR)的視覺傳感器和配套算法將是未來的主要趨勢。高動態范圍傳感器可以通過多次曝光運算增強圖片對比度, “照亮” 場景。汽車上使用的 HDR 攝像頭通常還會將近紅外夜視波段也涵蓋進去,實現夜視功能。
傳感器自身的在線標定也在這一部分完成。由于傳感器始終處于運動狀態中,因此實時確認傳感器自身的姿態尤為重要。單目攝像頭往往通過跟蹤不同圖像幀之間的差別來確認自身姿態,而雙目攝像頭則使用額外的景深信息來實現這一功能。前者的可靠性較差,而后者則需要更多的計算資源。
2
——前景切分
前景切分的目的是盡可能過濾與待識別物體無關的背景信息(例如天空),并且將圖像切分為適宜大小。一個好的前景切分算法可能將原先的 200k- 1000k 個待識別區域縮小到 20k-40k,大大減輕后續處理負擔。主流算法有基于仿生原理的注意力算法等,但是這些算法往往需要依賴于預先收集的數據,這些數據規定了不同場景下的可能的背景區間信息。另外,額外的傳感器輸入(包括定位系統、雙目攝像頭或雷達提供的景深信息等)可以進一步加快前景切分。
一旦有了這些額外的信息,前景切分算法對圖像區域是否處于前景(待識別)的判斷確信度會大幅提升,大量背景區間將會被去除,大幅減少輸入到物體識別器中的待識別區域,提高識別的速度和準確性。
3
——物體識別
將上一步驟生成的大量待識別區間歸類為數百種已知的可能在道路上出現的物體,并且盡量減少誤判。基本上所有的物體識別算法都是以二維圖像作為輸入的。這種輸入分為兩種,一種是將待識別區域圖像中的邊緣提取出來,將邊緣信息輸入分類器(可以輔以激光雷達以獲得更高精度);另一種則是直接將圖像的外觀輸入到分類器(通過攝像頭實現)。前者在性能上基本已經到了極限,而后者則是目前研發的主要方向。
具體到算法,主流的特征提取方法包括梯度方向直方圖法(HOG)和形狀上下文描述符法(SCT),提取特征后進入分類程序。主流的 AI 分類學習算法包括支持向量機(SVM)、迭代分類算法(AdaBoost)和神經網絡(NN)。
4
——驗證與結果改進
這一步驟使用與分類方法不同的判據來驗證分類的結果可靠性,并提取被歸類為特定物體的待識別區間中更加詳細的信息(例如交通標志)。由于雷達、激光雷達等非視覺傳感器往往能夠滿足“冗余傳感信息來源”這一要求,因此在實際算法中,這一部分也將應用大量的傳感器融合。
5
——物體跟蹤
這一步驟的目的有二。除了為應用層提供物體軌跡外,還能為前景切分、物體分類提供輸入(告訴前景切分之前這個地方出現過什么)。目前最為常用的算法是卡爾曼濾波算法(用來跟蹤、預測物體軌跡,根據過去空間位置預測未來位置)。在物體跟蹤環節同樣涉及較多的傳感器融合算法,通過視覺數據預測軌跡,同時同雷達的物體跟蹤數據進行耦合。
精度和響應速度之間的最優選擇
精度是視覺算法的核心,近年來視覺識別算法精度不斷提高。視覺識別算法的精度由誤檢率和漏檢率共同決定。物體識別本身的復雜性決定了這一功能必須以視覺為核心。
縱觀過去十多年,視覺物體識別的精度有了長足的發展。以美國加州理工學院進行的一項行人識別的算法調查為例,當誤判率為每張圖 0.1 個行人時,純視覺算法的漏檢率已由 2004 年最早的 95%降低到了最近幾年的 50%附近。
因此我們有理由相信在無人駕駛真正商用時,即使是純視覺算法也能達到很高的物體識別精確度,而若加以傳感器融合(在相同誤判率下約能降低 10%的漏檢率)和強大的車聯網實時數據,無人駕駛階段的精度要求將得以滿足。
視覺識別算法精度提升途徑
?視覺算法本身的優化。在前處理和前景分離階段提取明確目標值,分類和學習系統的算法不斷優化。這需要技術研發的不斷投入,產生極高的進入壁壘,目前國內從事視覺算法研究的公司只有少數幾家,因而也構成了標的稀缺性。
?通過傳感融合算法冗余信息判斷,提高精度。視覺識別以攝像頭數據為主,同時輔以雷達、激光雷達的邊界、距離信息。數據顯示,在相同誤判率下雷達的決策輔助能降低約 10%的漏檢率。
?利用車聯網、地圖數據的輔助決策。無人駕駛的商用與車聯網應用密不可分,通過 V2X 實時數據傳輸,協助車輛判斷物體信息,同時通過 GPS 高精度定位和地圖數據相結合,輔助物體的分類識別。
另外一個值得關注的問題是各種算法的處理速度。為了保證在高速行駛狀態下的可靠性,物體識別的圖像輸入速率往往達到了 60~90fps (比一般攝像頭幀數高 3-4 倍)。即使前景分離步驟每張圖僅產生 20,000 個待識別區域,流入硬件的待識別區間也達到了每秒1200,000 個。目前算法在一臺普通計算機下運行速度如下圖所示。
面對如此大的計算量,通常情況會有如下幾種解決方法:
第一, 算法上做出妥協。不使用過于復雜的算法,這意味著精度上要做出妥協。
第二, 優化算法架構,在算法上取得突破,分類器的性能往往是主流算法瓶頸,通過加強在前處理和前景分離過程中的數據篩選能力減少傳輸給分類環節的數據量。
第三, 更加強大的運算芯片。
第四, 定制專門的計算單元來處理物體識別計算,這需要較高的研發投入。CPU 用來處理日常的運算、排序、組合,GPU用來處理圖像、著色、點距等信息,DSP 應用于處理時間序列信號。三者結合的定制芯片更為實用。
責任編輯:lq
-
芯片
+關注
關注
459文章
52199瀏覽量
436398 -
識別算法
+關注
關注
0文章
45瀏覽量
10616 -
無人駕駛
+關注
關注
99文章
4152瀏覽量
122907
原文標題:目標物體識別算法:精度和響應度關乎生命
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
評論