[首發(fā)于智駕最前沿微信公眾號(hào)]之前和大家從安全性、可靠性、用戶(hù)體驗(yàn)以及商業(yè)利益保護(hù)等多個(gè)角度聊了為什么自動(dòng)駕駛技術(shù)在落地前一定要進(jìn)行測(cè)試,今天智駕最前沿就繼續(xù)帶大家聊一聊自動(dòng)駕駛測(cè)試到底有哪些方法。
自動(dòng)駕駛技術(shù)有哪些測(cè)試?
對(duì)于自動(dòng)駕駛系統(tǒng)而言,測(cè)試可以分為仿真測(cè)試、實(shí)驗(yàn)室測(cè)試以及道路測(cè)試等多個(gè)層面,每個(gè)層面都有不同的側(cè)重點(diǎn)與目標(biāo),但它們共同構(gòu)成了一個(gè)完整的測(cè)試體系。
仿真測(cè)試是測(cè)試中的第一道關(guān)卡,指的是將算法嵌入到計(jì)算機(jī)模擬環(huán)境中,通過(guò)虛擬的傳感器數(shù)據(jù)和道路場(chǎng)景對(duì)系統(tǒng)進(jìn)行初步驗(yàn)證。在仿真平臺(tái)上,可以定義如車(chē)輛并線、行人突然出現(xiàn)、交通信號(hào)燈變化、復(fù)雜道路標(biāo)志等各種典型交通場(chǎng)景,讓系統(tǒng)在“虛擬世界”中進(jìn)行感知與應(yīng)對(duì)。由于在仿真環(huán)境中測(cè)試成本極低、效率極高,團(tuán)隊(duì)可以在短時(shí)間內(nèi)覆蓋海量場(chǎng)景,快速發(fā)現(xiàn)算法漏洞,驗(yàn)證不同策略的優(yōu)劣。仿真測(cè)試還可以模擬各種極端天氣條件,比如大霧、暴雨、夜間弱光,或者如建設(shè)工地、道路施工區(qū)域等復(fù)雜道路環(huán)境,從而讓系統(tǒng)在進(jìn)入真實(shí)測(cè)試之前,盡可能多地“練習(xí)”各種邊緣場(chǎng)景。
仿真測(cè)試可以有效測(cè)試自動(dòng)駕駛技術(shù)的能力,但仿真畢竟不是現(xiàn)實(shí),在實(shí)際環(huán)境中,感知算法所面臨的光照變化、傳感器噪聲、干擾雜波以及車(chē)輛動(dòng)力學(xué)模型都與虛擬仿真存在差距。為此,硬件在環(huán)(Hardware-in-the-Loop,簡(jiǎn)稱(chēng)HIL)測(cè)試成為第二道關(guān)卡。在這個(gè)階段,系統(tǒng)的核心硬件設(shè)備,如攝像頭、雷達(dá)、激光雷達(dá)控制器乃至整車(chē)的域控制器,會(huì)與仿真平臺(tái)進(jìn)行實(shí)時(shí)交互。仿真平臺(tái)會(huì)通過(guò)專(zhuān)用硬件接口將虛擬的傳感器信號(hào)輸送到真正的電子控制單元(ECU)上,然后再將ECU輸出的決策結(jié)果反饋到仿真環(huán)境,驅(qū)動(dòng)虛擬車(chē)輛模型或觸發(fā)其他虛擬交通參與者的動(dòng)作。通過(guò)這種方式,可以在實(shí)驗(yàn)室中,結(jié)合真實(shí)硬件對(duì)傳感器故障、信號(hào)延遲、網(wǎng)絡(luò)丟包等情形進(jìn)行測(cè)試,檢驗(yàn)系統(tǒng)在硬件集成層面的表現(xiàn)。當(dāng)雷達(dá)信號(hào)出現(xiàn)部分丟失時(shí),系統(tǒng)是否仍能利用其他傳感器進(jìn)行冗余感知并保持安全行駛?當(dāng)ECU處于高負(fù)載狀態(tài)時(shí),決策邏輯是否還能在規(guī)定時(shí)限內(nèi)輸出有效方案?這些都是只有在硬件在環(huán)的環(huán)境下才能真實(shí)還原并檢驗(yàn)的情形。
如果僅僅依賴(lài)仿真和硬件在環(huán),仍然無(wú)法完全覆蓋真實(shí)道路的復(fù)雜性。接下來(lái)就要進(jìn)入封閉場(chǎng)地測(cè)試,以及真正的公開(kāi)道路測(cè)試。封閉場(chǎng)地測(cè)試通常在專(zhuān)業(yè)的試驗(yàn)場(chǎng)或測(cè)試中心進(jìn)行,場(chǎng)地會(huì)鋪設(shè)包括急彎、陡坡、環(huán)形車(chē)道、模擬交叉路口、模擬行人通道等多種道路場(chǎng)景,并且會(huì)搭建各種人造障礙物、交通標(biāo)志以及可移動(dòng)的假人或假車(chē)輛。可以根據(jù)測(cè)試目的,有針對(duì)性地設(shè)計(jì)不同的測(cè)試項(xiàng)目,比如低速自動(dòng)泊車(chē)測(cè)試、環(huán)道跟車(chē)測(cè)試、定點(diǎn)避障測(cè)試等等。與仿真相比,封閉場(chǎng)地測(cè)試最大的優(yōu)勢(shì)在于可以真實(shí)感受傳感器在不同光照、濕度、灰塵環(huán)境下的表現(xiàn),讓車(chē)輛以真實(shí)狀態(tài)完成對(duì)周?chē)h(huán)境的感知與決策。并且測(cè)試車(chē)輛在執(zhí)行過(guò)程中遇到任何問(wèn)題,都可以實(shí)時(shí)收回控制,避免造成不必要的損失。
封閉場(chǎng)地測(cè)試之后,最具挑戰(zhàn)和價(jià)值的就是公開(kāi)道路測(cè)試。在這一步,測(cè)試車(chē)輛會(huì)在城市道路、高速公路、郊區(qū)道路等真實(shí)道路環(huán)境中行駛,與真實(shí)的交通參與者一起互動(dòng)。因?yàn)檐?chē)輛面臨的情況更加不可預(yù)測(cè),測(cè)試團(tuán)隊(duì)往往需要先向當(dāng)?shù)亟煌ü芾聿块T(mén)申請(qǐng)測(cè)試牌照,并配備專(zhuān)門(mén)的安全員坐在駕駛位,隨時(shí)準(zhǔn)備在系統(tǒng)出現(xiàn)錯(cuò)誤判斷或失控風(fēng)險(xiǎn)時(shí)一鍵接管。公開(kāi)道路測(cè)試的目的是讓系統(tǒng)接受最真實(shí)的“實(shí)戰(zhàn)考驗(yàn)”,如會(huì)有人闖紅燈、會(huì)有行人突然橫穿馬路、會(huì)有復(fù)雜的交叉路口,有時(shí)還會(huì)遇到道路施工、信號(hào)燈故障或保護(hù)不良的道路標(biāo)志。在這樣的環(huán)境中測(cè)試,能最直接地檢驗(yàn)系統(tǒng)的魯棒性與安全性,也能夠產(chǎn)生大量寶貴的數(shù)據(jù)供后續(xù)回放分析之用。
除了上述主流的測(cè)試環(huán)節(jié),還有一些針對(duì)特殊場(chǎng)景的測(cè)試方式。所謂極端場(chǎng)景測(cè)試,指的是對(duì)于發(fā)生概率極低卻一旦發(fā)生后果極為嚴(yán)重的場(chǎng)景進(jìn)行專(zhuān)項(xiàng)驗(yàn)證。舉例來(lái)說(shuō),大霧天氣可能導(dǎo)致攝像頭無(wú)法取得清晰畫(huà)面;猛禽或野生動(dòng)物橫穿公路,可能導(dǎo)致雷達(dá)與視覺(jué)系統(tǒng)同時(shí)無(wú)法有效識(shí)別;或是突發(fā)道路塌方、積水、路面坑洼嚴(yán)重等極端路況,會(huì)讓自動(dòng)駕駛系統(tǒng)錯(cuò)誤判斷。為了讓系統(tǒng)具備足夠的魯棒性,測(cè)試團(tuán)隊(duì)會(huì)借助氣象實(shí)驗(yàn)室、沙塵實(shí)驗(yàn)室或?qū)iT(mén)的試驗(yàn)基地,模擬各種天氣條件與路況。在沙塵實(shí)驗(yàn)室里,測(cè)試人員會(huì)制造沙塵暴環(huán)境,讓激光雷達(dá)在模擬的沙塵遮擋下仍然能識(shí)別車(chē)輛與行人;在雨霧實(shí)驗(yàn)室,會(huì)用大型噴霧裝置制造濃霧場(chǎng)景,讓攝像頭感知失效時(shí),雷達(dá)還能否發(fā)揮作用。通過(guò)這種模擬測(cè)試,系統(tǒng)才能在更極端的情況下保持對(duì)環(huán)境的基本感知與判斷。
除了實(shí)際駕駛測(cè)試,還有一種被稱(chēng)為“回放測(cè)試”的方法。回放測(cè)試的核心思路是把在公開(kāi)道路或封閉場(chǎng)地中采集到的海量傳感器數(shù)據(jù)(包括攝像頭視頻、雷達(dá)點(diǎn)云、激光雷達(dá)原始數(shù)據(jù)、慣導(dǎo)衛(wèi)星定位數(shù)據(jù)、車(chē)輛行駛狀態(tài)數(shù)據(jù)等)進(jìn)行標(biāo)注與分類(lèi),然后將這些歷史數(shù)據(jù)輸入到新的算法版本或系統(tǒng)升級(jí)的版本中,看看在相同場(chǎng)景下系統(tǒng)的表現(xiàn)是否有所改進(jìn)。比如在某一次真實(shí)測(cè)試中,系統(tǒng)對(duì)一個(gè)突發(fā)行人場(chǎng)景判斷出現(xiàn)延遲,導(dǎo)致駕駛員不得不緊急介入。這時(shí)就可以將這一段關(guān)鍵數(shù)據(jù)提取出來(lái),回放到新的算法版本中,驗(yàn)證新版本是否能在同樣的場(chǎng)景下提前識(shí)別行人并采取有效制動(dòng)。通過(guò)回放測(cè)試,不僅可以實(shí)現(xiàn)在實(shí)驗(yàn)室環(huán)境下對(duì)歷史問(wèn)題進(jìn)行驗(yàn)證,還可以大規(guī)模批量地對(duì)幾萬(wàn)小時(shí)的真實(shí)駕駛數(shù)據(jù)進(jìn)行再現(xiàn),從而節(jié)省人力物力成本,加速問(wèn)題定位與優(yōu)化過(guò)程。
在測(cè)試過(guò)程中,還少不了一種叫作“模糊測(cè)試”或“隨機(jī)壓力測(cè)試”的方法。簡(jiǎn)單來(lái)說(shuō),就是故意在傳感器數(shù)據(jù)或控制指令中加入噪聲、隨機(jī)丟包或者錯(cuò)誤數(shù)據(jù),看看系統(tǒng)在“擁堵”“干擾”甚至“失聯(lián)”狀態(tài)下,能否通過(guò)內(nèi)部的容錯(cuò)機(jī)制保證安全性。如在硬件在環(huán)的測(cè)試環(huán)境中,可以在CAN總線或以太網(wǎng)通信鏈路上隨機(jī)制造一定比例的丟包或信號(hào)延遲,觀察系統(tǒng)在感知信息不完整或延遲時(shí)如何做出決策;或是在仿真平臺(tái)上給攝像頭模擬各種模糊、偏色、眩光等情況,看看目標(biāo)檢測(cè)模塊是否會(huì)出現(xiàn)誤判,或者是否會(huì)拒絕執(zhí)行指令而進(jìn)入安全模式。這些測(cè)試雖看似“折騰”,但是卻能有效暴露系統(tǒng)在非理想工況下的脆弱環(huán)節(jié),為后續(xù)優(yōu)化提供了寶貴線索。
除了關(guān)注核心功能,測(cè)試還需要關(guān)注人機(jī)交互層面的體驗(yàn)與易用性。即便自動(dòng)駕駛算法足夠精準(zhǔn),如果用戶(hù)在啟用功能時(shí)操作流程復(fù)雜、提示信息含糊,或者在系統(tǒng)異常時(shí)無(wú)法迅速理解提示內(nèi)容,也同樣會(huì)導(dǎo)致安全隱患。這就需要對(duì)HMI(人機(jī)交互界面)進(jìn)行專(zhuān)項(xiàng)評(píng)估,可以統(tǒng)計(jì)駕駛員按下“自動(dòng)駕駛”按鈕后從請(qǐng)求到系統(tǒng)接管所需的時(shí)間;檢測(cè)當(dāng)系統(tǒng)遇到復(fù)雜路況需要駕駛員接管時(shí),儀表盤(pán)提示是否足夠直觀,聲音提示是否夠響亮;分析在高速場(chǎng)景下“自動(dòng)變道”功能啟動(dòng)時(shí),副駕或后座乘客的舒適度,避免車(chē)輛在變道過(guò)程中產(chǎn)生強(qiáng)烈側(cè)傾或加減速幅度過(guò)大而嚇到乘客。通過(guò)這類(lèi)測(cè)試,可以不斷優(yōu)化界面設(shè)計(jì)、調(diào)整提示優(yōu)先級(jí),確保自動(dòng)駕駛功能既安全,也能給使用者帶來(lái)良好的心理體驗(yàn)。
縱觀整個(gè)測(cè)試體系,我們會(huì)發(fā)現(xiàn)它并非簡(jiǎn)單的“從頭到尾跑一遍就完事”,而是一個(gè)持續(xù)迭代、不斷完善的閉環(huán)過(guò)程。從最初的單元測(cè)試到模塊級(jí)的仿真測(cè)試,再到硬件在環(huán)與封閉場(chǎng)地測(cè)試,最后進(jìn)入公開(kāi)道路測(cè)試,每一個(gè)環(huán)節(jié)都需要衡量成本與收益的平衡。同時(shí),任何在后續(xù)階段被發(fā)現(xiàn)的問(wèn)題,都需要反饋到前一個(gè)環(huán)節(jié),回歸到仿真環(huán)境或硬件在環(huán)環(huán)境進(jìn)行驗(yàn)證,直到確認(rèn)問(wèn)題徹底解決才會(huì)進(jìn)入下一階段。這樣一來(lái),整個(gè)測(cè)試流程不僅可以發(fā)現(xiàn)新問(wèn)題,也會(huì)防止舊問(wèn)題再次出現(xiàn)。
自動(dòng)駕駛測(cè)試參考指標(biāo)
在自動(dòng)駕駛技術(shù)測(cè)試中使用的評(píng)價(jià)指標(biāo)其實(shí)非常豐富。在安全指標(biāo)層面需要統(tǒng)計(jì)系統(tǒng)在百萬(wàn)公里行駛里程中出現(xiàn)的碰撞次數(shù)、緊急制動(dòng)次數(shù)、駕駛員接管次數(shù)等,以量化安全風(fēng)險(xiǎn)。功能性能方面,會(huì)對(duì)感知準(zhǔn)確率進(jìn)行統(tǒng)計(jì),比如對(duì)行人、車(chē)輛、交通標(biāo)志的漏檢率、誤報(bào)率,以及對(duì)道路邊緣、障礙物的檢測(cè)距離進(jìn)行衡量。為了測(cè)算定位精度,還要選擇在不同類(lèi)型的道路(高速、城區(qū)、鄉(xiāng)村、隧道等)中,收集車(chē)輛實(shí)際位置與高精地圖定位結(jié)果之間的橫向誤差和縱向誤差。規(guī)劃與決策性能則通過(guò)分析系統(tǒng)生成的路徑和最優(yōu)路徑之間的偏差,尤其在緊急避讓、高速并線等場(chǎng)景下,評(píng)估系統(tǒng)的軌跡平滑性與安全裕度。控制層面,需要關(guān)注如剎車(chē)從指令到實(shí)際制動(dòng)所用的時(shí)間、轉(zhuǎn)向響應(yīng)的延遲等車(chē)輛實(shí)際執(zhí)行指令時(shí)的響應(yīng)延遲和控制誤差。在整個(gè)測(cè)試周期里,這些指標(biāo)不僅用于階段性考核,也為后續(xù)優(yōu)化提供了精準(zhǔn)的方向。
在面臨極端環(huán)境時(shí),還要考慮溫度、濕度等對(duì)傳感器和硬件的影響。在高溫環(huán)境下,傳感器可能出現(xiàn)死機(jī)或性能衰退;在極寒環(huán)境中,攝像頭鏡頭表面會(huì)結(jié)霜,激光雷達(dá)的傳輸信號(hào)也會(huì)受到冰雪反射的干擾。為了驗(yàn)證系統(tǒng)在這些極端環(huán)境下的穩(wěn)定性,有些測(cè)試團(tuán)隊(duì)會(huì)把傳感器和ECU放到高溫烤箱或低溫冷庫(kù)里進(jìn)行長(zhǎng)時(shí)間運(yùn)行測(cè)試,觀察系統(tǒng)是否會(huì)出現(xiàn)死機(jī)、重啟,或者數(shù)據(jù)出現(xiàn)跳變。在高濕度環(huán)境下,團(tuán)隊(duì)甚至?xí)M(jìn)行淋雨實(shí)驗(yàn),讓水霧模擬雨滴打在攝像頭鏡頭和傳感器表面,測(cè)試系統(tǒng)的防水防塵等級(jí)是否達(dá)到設(shè)計(jì)標(biāo)準(zhǔn)。這些極端環(huán)境測(cè)試,雖然看起來(lái)有些偏執(zhí),卻對(duì)保證系統(tǒng)面向各種天氣和路況都能正常運(yùn)行至關(guān)重要,畢竟自動(dòng)駕駛系統(tǒng)真正的使用場(chǎng)景無(wú)法估計(jì),只有確保各個(gè)場(chǎng)景下的安全性,才可以說(shuō)是真正的安全。
自動(dòng)駕駛測(cè)試的未來(lái)趨勢(shì)
隨著自動(dòng)駕駛技術(shù)的不斷演進(jìn),測(cè)試方法也在持續(xù)改進(jìn)與創(chuàng)新。從最早的基于規(guī)則的測(cè)試腳本,到如今結(jié)合機(jī)器學(xué)習(xí)技術(shù)的智能化場(chǎng)景生成,再到未來(lái)可能出現(xiàn)的數(shù)字孿生與虛擬現(xiàn)實(shí)技術(shù)的深度融合,自動(dòng)駕駛測(cè)試正在逐步從“手動(dòng)撰寫(xiě)測(cè)試用例”向“自動(dòng)化生成高危場(chǎng)景”升級(jí)。特別是在大數(shù)據(jù)與人工智能的加持下,可以利用數(shù)據(jù)驅(qū)動(dòng)的方法,從采集到的車(chē)輛行駛數(shù)據(jù)中自動(dòng)挖掘極端風(fēng)險(xiǎn)場(chǎng)景,并生成相應(yīng)的測(cè)試腳本,讓系統(tǒng)在仿真環(huán)境中優(yōu)先“練習(xí)”這些高危場(chǎng)景。這樣一來(lái),測(cè)試效率和覆蓋率都能大幅提高,能夠更快地識(shí)別出系統(tǒng)弱點(diǎn),縮短開(kāi)發(fā)周期。
最后的話
自動(dòng)駕駛功能之所以在落地之前必須進(jìn)行全面系統(tǒng)的測(cè)試,核心原因就在于要確保系統(tǒng)在真實(shí)世界的復(fù)雜環(huán)境中能夠以安全可靠的方式運(yùn)行。測(cè)試不僅是一個(gè)簡(jiǎn)單的“查bug”過(guò)程,而是一個(gè)貫穿技術(shù)驗(yàn)證、安全保障、法規(guī)合規(guī)、用戶(hù)體驗(yàn)提升和商業(yè)利益保護(hù)的多維度環(huán)節(jié)。通過(guò)仿真測(cè)試能夠高效快速地驗(yàn)證算法思路,通過(guò)硬件在環(huán)測(cè)試可以檢驗(yàn)硬件與軟件的協(xié)同能力,通過(guò)封閉場(chǎng)地和公開(kāi)道路測(cè)試則能夠讓系統(tǒng)接受最真實(shí)、最嚴(yán)苛的考驗(yàn)。極端場(chǎng)景測(cè)試、回放測(cè)試和模糊測(cè)試等方法更進(jìn)一步覆蓋滯后于常規(guī)測(cè)試中的特殊風(fēng)險(xiǎn)場(chǎng)景,保證系統(tǒng)在各種可能的情況下都具備足夠的魯棒性。
自動(dòng)駕駛測(cè)試就像一部精密的電影鏡頭,從編劇到剪輯,從演員到現(xiàn)場(chǎng)布景,都必須一絲不茍,才能讓觀眾在真正走進(jìn)電影院時(shí)享受到完整、流暢而真實(shí)的視覺(jué)盛宴。同樣,測(cè)試團(tuán)隊(duì)要做的,就是讓自動(dòng)駕駛系統(tǒng)在“舞臺(tái)”上經(jīng)過(guò)千百次排練,才能在正式上映的時(shí)候不會(huì)出任何差錯(cuò)。只有當(dāng)仿真平臺(tái)上的“虛擬行人”與“虛擬車(chē)輛”都被系統(tǒng)準(zhǔn)確識(shí)別,當(dāng)封閉場(chǎng)地中的“假障礙”與“假信號(hào)燈”都被系統(tǒng)穩(wěn)健應(yīng)對(duì),當(dāng)真實(shí)道路上的“紅燈亂停”與“行人闖入”都能讓車(chē)輛提前預(yù)判并安全避讓之后,我們才可以放心地將自動(dòng)駕駛功能推向更多消費(fèi)者和更廣泛的道路環(huán)境。
審核編輯 黃宇
-
傳感器
+關(guān)注
關(guān)注
2564文章
52634瀏覽量
763985 -
仿真測(cè)試
+關(guān)注
關(guān)注
0文章
97瀏覽量
11546 -
自動(dòng)駕駛
+關(guān)注
關(guān)注
788文章
14212瀏覽量
169618
發(fā)布評(píng)論請(qǐng)先 登錄
自動(dòng)駕駛技術(shù)落地前為什么要先測(cè)試?
新能源車(chē)軟件單元測(cè)試深度解析:自動(dòng)駕駛系統(tǒng)視角
自動(dòng)駕駛大模型中常提的Token是個(gè)啥?對(duì)自動(dòng)駕駛有何影響?
2024加州自動(dòng)駕駛測(cè)試里程驟降50%
自動(dòng)駕駛測(cè)試在設(shè)計(jì)環(huán)節(jié)中有何關(guān)鍵作用?
一文聊聊自動(dòng)駕駛測(cè)試技術(shù)的挑戰(zhàn)與創(chuàng)新

自動(dòng)駕駛汽車(chē)安全嗎?


自動(dòng)駕駛HiL測(cè)試方案案例分析--ADS HiL測(cè)試系統(tǒng)#ADAS #自動(dòng)駕駛 #VTHiL
自動(dòng)駕駛技術(shù)的典型應(yīng)用 自動(dòng)駕駛技術(shù)涉及到哪些技術(shù)

自動(dòng)駕駛HiL測(cè)試方案介紹#ADAS #自動(dòng)駕駛 #VTHiL
FPGA在自動(dòng)駕駛領(lǐng)域有哪些優(yōu)勢(shì)?
FPGA在自動(dòng)駕駛領(lǐng)域有哪些應(yīng)用?
自動(dòng)駕駛識(shí)別技術(shù)有哪些
自動(dòng)駕駛的傳感器技術(shù)介紹
自動(dòng)駕駛仿真測(cè)試實(shí)踐:高精地圖仿真

評(píng)論