摘要：自動駕駛領(lǐng)域最近的發(fā)展表明，這些車輛在不久的將來會出現(xiàn)在每個城市的街道上，而這些城市不會容忍交通事故的發(fā)生。為了保證安全需求，自動駕駛汽車和被使用的軟件必須在盡可能多的條件下進(jìn)行詳盡的測試。通常被考慮的影響因素越多，測試越全面，一般情況下，汽車就越安全。然而，在每次產(chǎn)生或希望產(chǎn)生特定的場景之前，都要反復(fù)地記錄相同的測試集，這是一種非常耗費時間和資源的過程，特別是在使用真實車輛測試的時候。這就需要用環(huán)境模擬進(jìn)行仿真測試。

本課題通過對環(huán)境的仿真模擬，研究了影響自動駕駛車輛傳感器的環(huán)境因素。主要模擬了下雨環(huán)境中，擋風(fēng)玻璃上的雨滴是如何影響攝像頭成像的。我們提出了一種新的方法，利用基于R-樹連續(xù)最近鄰查詢算法來渲染雨滴。攝像頭前的3D場景由立體圖像生成，這些水滴被設(shè)置了真實的物理特性。所構(gòu)建的模擬環(huán)境真實，派生的圖像可以用來擴展用于機器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集，而不必強制獲取新的真實圖像。

這篇論文的第一作者為 Alexander von Bernuth, 來自德國圖賓根大學(xué)Wilhelm Schickard計算機科學(xué)研究所計算機工程系主任。

Rendering Physically Correct Raindrops on Windshields for Robustness Verification of Camera-based Object Recognition

Alexander von Bernuth, Georg Volk and Oliver Bringmann University of Tubingen, ¨ {bernuth, volkg, bringmann}@informatik.uni-tuebingen.de

惡劣天氣狀況仿真模擬測試的必要性

自動駕駛汽車將使世界各地的研究人員和制造商在很長一段時間內(nèi)都處于忙碌的狀態(tài)。這是因為自動駕駛汽車在未來可能會成為公共交通的主導(dǎo)，而且必須經(jīng)過徹底的安全驗證。如果像車輛或行人檢測這樣的關(guān)鍵系統(tǒng)沒有進(jìn)行最全面的測試，這個檢測覆蓋所有能想到的環(huán)境影響，以及所有可能的組合，難以想象會發(fā)生什么。比如在陰天的陽光下，有背光和臟鏡頭的情況。

在測試過程中希望隨機遇到或者刻意設(shè)計所有這些邊緣場景的組合，看起來都非常愚蠢的。根據(jù)分析師的觀點，一輛載有所有待測試技術(shù)的汽車必須以109公里的速度駕駛沒有出錯，才有資格獲得ISO 26262 [1]標(biāo)準(zhǔn)。此外，車輛的任何部分接收到更新時，都需要重新運行所有測試。

因此，許多制造商面臨的主要挑戰(zhàn)之一是時間密集型測試，特別是在原型車中調(diào)度大量的測試驅(qū)動程序。一種可能的解決方案是依靠一個相對較短的驅(qū)動器，并通過模擬不同的環(huán)境影響因素通過隨機組合來生成多個版本。雖然目前已經(jīng)有人對這些環(huán)境影響因素進(jìn)行了一些模擬研究，但尚未探索的天氣條件和影響仍然很多。

我們自己的調(diào)查得出的結(jié)論是，下雨時，如果不是暴雨，不會影響目標(biāo)或交通標(biāo)志檢測算法。因此，本文研究了在相機或相機鏡頭前擋風(fēng)玻璃上放置被渲染的雨滴以及這些雨滴對物體識別算法的影響。本文的第一部分將綜述了其他學(xué)者的研究，重點研究在攝像機前和攝像機上模擬雨和塵埃等影響。第二部分關(guān)注的是水滴的產(chǎn)生，從場景重建開始，到我們的射線追蹤法結(jié)束。之后，第三部分將介紹結(jié)果和應(yīng)用。在第四部分中，我們討論調(diào)查結(jié)果并提出可以改善方法和未來工作。

下雨場景天氣模擬研究現(xiàn)狀

大多數(shù)與天氣和環(huán)境相關(guān)的模擬研究都集中在游戲中的直接使用或合成場景的渲染，只有很少的研究考慮到環(huán)境的物理特性。到目前為止，所有的論文作品都沒有研究雨滴在鏡頭前的影響，但在某些情況下，他們對水滴的描述非常準(zhǔn)確。Starik 和 Werman 的工作使用了3D場景，該場景假設(shè)在任何地方都具有相同深度[2]。他們從視頻中提取雨的特征，并將學(xué)習(xí)過的蒙版應(yīng)用到?jīng)]有下雨的圖像上。然而他們忽略了單個雨滴的物理特性，如果從視差圖中提取場景的深度，考慮更確切的情況可能會有更好的結(jié)果[3]，[4]。實現(xiàn)上述這些是可行的，因為作者在視頻采集時使用的是立體相機，他們用攝像頭和物體把空間分隔成小部分，通過計算這些部分的正確雨量并在OpenGL中渲染雨滴。

Hospach和Muller研究把雨滴抽象成非常薄的三角形，它們呈現(xiàn)出多彩的白色，并且他們混合比例基于降雨強度。這個技巧需要快速顯卡來支持渲染。他們忽略了折射等效果，因為差異很小。

Wang等人使用光線追蹤來渲染雨滴，這種方法依賴于光源精確位置信息[5]。作者將來自不同光源的光線射向所有雨滴，并根據(jù) Phong 照明模型計算像素顏色。不發(fā)光的物體被篩掉，而且不會在雨滴中發(fā)生折射。

與本文相比，最相似的論文是T. Sato的論文，但是他們?yōu)榱藵M足實時約束做了許多簡化的假設(shè)[6]。作者將視頻圖像映射到攝像頭的前面單個半球，而不管物體與攝像頭的真實距離如何。然后，他們向雨滴占領(lǐng)的每個像素投射光線，并檢查這些光線與半球接觸形成的圖像。相應(yīng)的像素值將在渲染雨滴時用作紋理元素。

許多研究雨滴在擋風(fēng)玻璃上的研究人員關(guān)注的是它們的定位、合并和移動。不同的工作大都集中在模擬流體動力學(xué)[7]-[11]。 Extrand等人研究放置在傾斜表面上的水滴的形狀，如玻璃板[12]。 Garg和Nayar [13]做了更多有關(guān)下落過程水形狀的研究。此外，還有人在竭盡全力描述水滴的物理和光學(xué)特性[14]。不同的研究人員采用了完全不同的方法，有人通過檢測并去除圖像中的雨滴，而不是創(chuàng)建這些雨滴[15]，[16]。由于所描述的方法利用了一些有趣的物理性質(zhì)，因此可以從移除雨滴的方法中學(xué)到很多東西。

之前發(fā)表的論文都局限于單一的雨滴，靜止和下降，忽略了相機的環(huán)境是三維場景。要么他們完全忽略了深度，要么作出廣泛的假設(shè)，也忽略了水滴中場景物體的正確折射。我們的方法將所有這些考慮在內(nèi)。仿真結(jié)果接近于真實照片，這對于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集來說是非常必要的。

點云渲染的方法

關(guān)于點云的渲染，現(xiàn)有許多不同的方法。一種是創(chuàng)建一個表示曲面的網(wǎng)格，并將圖像作為紋理映射到它們上[17]。其他人也使用大量的預(yù)處理來創(chuàng)建多個深度圖并逐步細(xì)化渲染[18]。但即使網(wǎng)格劃分簡單且便宜，我們也不得不填補出現(xiàn)在樹木或汽車等物體后面的間隙。如果不是固定的，這些縫隙可能會導(dǎo)致黑點，因為它們可能會將光線折射到通?？床灰姷膮^(qū)域。

Schaufler和Jensen將光線射入點云并搜索超過某個閾值的點密度[19]。在一個范圍內(nèi)的所有點都被用于表面法線和位置的插值。這樣就避免了昂貴的3D重建。不幸的是，如果沒有足夠的點或沒有足夠密集地采樣，表面上可能會出現(xiàn)孔。這些孔將表現(xiàn)為黑色區(qū)域，并且尤其出現(xiàn)在具有非常不同深度的物體的邊緣附近，例如在天空的前方看到一個交通標(biāo)志。 Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]。它們在高維搜索時使用近似值。

Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]，它們在高維搜索時使用近似值。這不一定適用于我們的用例，并且涉及復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，這對我們做三維來說太難了。

上面提到的所有論文都沒有將雨滴的真實渲染環(huán)境和有限場景中找到相應(yīng)的對象并用最先進(jìn)的目標(biāo)檢測算法結(jié)合起來。本文將完成以上所有內(nèi)容，并額外展示了訓(xùn)練渲染圖片的神經(jīng)網(wǎng)絡(luò)模型，這可能會給現(xiàn)代物體識別帶來幫助。

基于最近鄰查詢算法的雨滴下落仿真

為了描述出物體折射和雨滴渲染相結(jié)合的場景，必須將其作為點云以3D形式再現(xiàn)。這個過程需要了解場景的深度?？梢允褂脤O幾何（對應(yīng)于深度的視差圖）或利用LiDAR或其他傳感器來計算每個像素與相機距離的深度圖。場景計算完成后，必須對擋風(fēng)玻璃上的雨滴進(jìn)行建模。我們用一個簡單而強大的抽象模型：每一滴水都被擋風(fēng)玻璃切斷的球體所代表。

這就看起像一個球形帽，起碼在幾何上很容易處理。然后，光線會投射到由投影面積的每個圖像像素上，并在這些像素中發(fā)生折射。產(chǎn)生的射線被發(fā)送到場景中，并搜索點云中最近的位置。這一點的顏色決定了降落的像素顏色。搜索兩百萬個點中的其中一個點的最近鄰點可能是微不足道而且是快速的，用同樣的方法搜索空間中的一條線就顯得非常費勁。只有使用連續(xù)最近鄰搜索才能使此方法可行。

1.場景重建

第一步是攝像機前場景的三維重建。在處理來自（校準(zhǔn)過的）立體相機的圖像時，可以使用立體重建計算相機到每個像素的距離[21]。其他方法也可以用額外的傳感器，如LiDAR來捕捉深度。我們用的數(shù)據(jù)集是Cityscapes[22]中的圖像。它由數(shù)千張包含各種街景的圖片組成，使用立體相機拍攝，并帶有預(yù)先計算的視差圖。這些可以很容易地轉(zhuǎn)換成深度圖。 VIRES虛擬測試驅(qū)動軟件[23]是我們使用的具有相應(yīng)深度圖像的另一個來源。深度圖非常精確，因為它們基于地面實況數(shù)據(jù)。此外，可以使用汽車（用戶或計算機控制的），行人和其他障礙物快速構(gòu)建自定義場景。我們用于物體檢測的圖像來源是KITTI數(shù)據(jù)集[24]。深度圖使用Hirschmuller匹配算法 [25] 的OpenCV來計算。

結(jié)合深度和顏色信息，我們可以定位攝像頭的三維位置。通過公式可以求得所有像素組成的3D點云，如圖1所示。這些點云呈現(xiàn)了在渲染雨滴場景中物體的圖像。

2.下落模型

一旦完成3D表示，就有必要在虛擬擋風(fēng)玻璃上創(chuàng)建和分配雨滴。 單個雨滴被模擬為球帽狀。這個帽子的特點是它的中心c，半徑r，高度和法線n（從基座指向圓頂）。生成雨滴意味著設(shè)置固定的z值（從相機到擋風(fēng)玻璃的距離），隨機或故意設(shè)置每個雨滴的x和y坐標(biāo)，高度和半徑。當(dāng)高度和半徑相關(guān)時，一個值就能通過另一個值求得[26]。 我們選擇h = tan（θ/ 2）·d，其中h表示液滴高度，θ表示液滴的接觸角，d表示液滴直徑。 Park等人在觀察半徑為2mm的液滴時，接觸角θ被確定為大約87° [27]。 相應(yīng)的法線簡單地指向與相機視角矢量相同的方向。當(dāng)向前傾斜擋風(fēng)玻璃時，所有下降中心和法線也圍繞x軸旋轉(zhuǎn)。

3.折射

在折射場景形成之前，我們將從相機發(fā)出的光線照射到圖像平面中的每個像素。為了減少計算工作量，只有光線落在圓點的后面（具有中心，半徑和法線的圓）才被跟蹤。所有其他光線都被丟棄，并且來自原始圖像的像素值被用于最終的圖像。在雨滴下落的過程中，我們折射的射線遵循斯奈爾定律。有關(guān)折射的更多信息，請參閱已建立的文獻(xiàn)[28]。折射的光線落在雨滴內(nèi)， 然后，通過生成垂直于法線的隨機矢量并且只要下降半徑來計算球體的中心。加上正常縮放到半徑長度，我們現(xiàn)在有四個點位于球體上，足以計算球體的中心[29]。在全內(nèi)反射的情況下，所得到的光線不會被進(jìn)一步折射。每種折射的視覺表示可以在圖2中找到。

4.最近鄰查詢算法

接下來，我們將計算光線中最近鄰的像素來推遲光線等效像素的顏色。此點的顏色分配給相應(yīng)的像素，并在展示位置中可見。找到神經(jīng)網(wǎng)絡(luò)的一個非常簡單的方法是查看每條射線的每個點，計算從該點到射線的距離并取最近的點。即使在允許快速最近鄰（NN）查詢的R樹中組織點后，也可以對光進(jìn)行采樣，并搜索每個樣本的NN。最后，我們選擇了連續(xù)最近鄰搜索[31]，因為它不僅提供了一個精確的最近鄰點，而且在包含超過兩百萬個點的大型點云中，很短時間內(nèi)（僅僅是毫秒）就能完成搜索。

在數(shù)據(jù)集里評估該算法的質(zhì)量

為了評估我們的光線跟蹤算法的質(zhì)量，我們用完全渲染場景，忽略雨滴和拍攝光線通過每個像素進(jìn)行對比。這允許進(jìn)行詳細(xì)的錯誤檢測。在圖4中可以由相減圖像和取絕對值的差分圖像。像素越亮，兩個圖像之間的差異越高。顯然，不同深度的物體的邊緣顯示出不同的差異。這是因為前面提到的Z值問題，但遠(yuǎn)好于完全沒有修正情況下的識別。

作為雨滴渲染的例子，我們從Cityscapes數(shù)據(jù)集中獲取一幅圖像，隨機生成雨滴并渲染了這些圖像。結(jié)果可以在圖5中找到。

為了測試物體識別算法的能力，我們將其應(yīng)用于KITTI數(shù)據(jù)集中排名最高的神經(jīng)網(wǎng)絡(luò)模型算法中?？梢灶A(yù)料到的是，大雨滴可能會遮擋像行人的小物體或行駛車輛的部分外觀，可能會讓在完美圖像上訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)產(chǎn)生混淆。

我們使用的網(wǎng)絡(luò)是一個單階段對象檢測網(wǎng)絡(luò)[31]的循環(huán)滾動卷積（RRC）網(wǎng)絡(luò)。它目前在KITTI數(shù)據(jù)集中排名第四。利用相應(yīng)的立體圖像重建了450個KITTI數(shù)據(jù)集的模擬雨滴場景。這些圖像用作RRC網(wǎng)絡(luò)的輸入。使用沒有雨滴的相同圖像做為對比。這個過程的概述可以在圖6中找到。

通過計算中[35]常用的測量平均精度（mAP）來評估結(jié)果。表I中的結(jié)果表明，當(dāng)圖像中存在雨滴時，總體平均精度下降了1.18％，整體平均精度下降了0.37％。 此外，我們發(fā)現(xiàn)像行人這樣的小物體更容易被雨滴遮擋（mAP減少4％），而不像汽車這樣的大物體。在頂部神經(jīng)網(wǎng)絡(luò)的識別率相差百分之零點幾的時候，即使是很小的改進(jìn)，也會給予其他人很多幫助。

該研究的結(jié)果與應(yīng)用

這項研究提出了僅基于一對立體圖像的人為創(chuàng)建雨滴方法。物理上正確的折射和反射包含在我們的模型中，以及一些允許更快開發(fā)的簡化。然而，結(jié)果是顯著的。我們在一個傾斜的擋風(fēng)玻璃上實現(xiàn)了照片真實的雨滴下落，并呈現(xiàn)了他們折射出的所有物體。盡管雨滴用球帽狀做了簡化，但我們的水滴看起來很逼真。

我們的光線跟蹤方法產(chǎn)生了一個3D場景的近乎完美的渲染，沒有昂貴的網(wǎng)格和紋理的預(yù)計算。甚至像交通標(biāo)志這樣的小物體也不會在整個場景中丟失；車牌中的字母也是可讀的。這是可能的，而3D場景重建依賴于特征匹配和具有離散值的視差圖。神經(jīng)網(wǎng)絡(luò)處理的對象檢測，另外訓(xùn)練與雨滴準(zhǔn)備的圖像可以獲得更好的結(jié)果，并超越其他競爭對手。這項工作可以導(dǎo)致更好的整體得分和魯棒性的傳感器缺陷，這些機器學(xué)習(xí)算法。

處理目標(biāo)檢測的神經(jīng)網(wǎng)絡(luò)還額外使用雨滴制作的圖像進(jìn)行訓(xùn)練，取得良好的效果。這項工作可以為這些機器學(xué)習(xí)算法提供更好的總體分?jǐn)?shù)和魯棒性。 到目前為止，我們的連續(xù)NN搜索運行在最多8個CPU內(nèi)核上（這是我們的CPU，Intel i7-7700K提供的最高線程數(shù)）。在那里，每個KITTI圖像的運行時間大約3分鐘。雨滴越小越少，計算速度越快。

該算法的一個有趣的應(yīng)用可能是使用它生成圖像，作為Iseringhausen等人工作的輸入[37]。他們在場景前面的玻璃板上使用水滴作為光場照相機，這些水滴在不同位置上用作多個鏡頭。通過逆向工程設(shè)計投影形狀，他們可以推斷出背后的場景，并能從不同的角度創(chuàng)建3D渲染圖，這正好與我們的工作相反。