1. 引言

研究自動(dòng)駕駛車輛在復(fù)雜路況下的行為決策具有重要意義，但目前大多數(shù)自動(dòng)駕駛數(shù)據(jù)集只關(guān)注結(jié)構(gòu)化場(chǎng)景，很少有人去研究非結(jié)構(gòu)化道路環(huán)境，更少人去研究復(fù)雜非結(jié)構(gòu)化場(chǎng)景中的車輛行為。 本文將介紹一個(gè)重要的慣性框架數(shù)據(jù)集：Berkeley DeepDrive Drone (B3D)，該數(shù)據(jù)集由相機(jī)采集，廣泛包含大量的復(fù)雜非結(jié)構(gòu)化場(chǎng)景，包括有交通事故的高速公路、無(wú)信號(hào)燈交叉路口等。 該

數(shù)據(jù)集有助于研究復(fù)雜路況下的自動(dòng)駕駛車輛行為，并啟發(fā)自動(dòng)駕駛汽車和倉(cāng)庫(kù)機(jī)器人的分散運(yùn)動(dòng)規(guī)劃算法的新設(shè)計(jì)。

2. 摘要

分散式多智能體規(guī)劃一直是機(jī)器人領(lǐng)域的一個(gè)重要研究方向。在該領(lǐng)域的一個(gè)有趣和有影響力的應(yīng)用是非結(jié)構(gòu)化道路環(huán)境中的分散車輛協(xié)調(diào)。 例如，在一個(gè)交叉路口，在沒(méi)有中央?yún)f(xié)調(diào)器的情況下，對(duì)相交路徑的多個(gè)車輛進(jìn)行拆分是有用的，但卻是困難的。

我們從常識(shí)中了解到，要讓車輛通過(guò)這種非結(jié)構(gòu)化的環(huán)境，駕駛員必須理解并遵守附近駕駛員所觀察到的隱含的社交禮儀。為了研究這種隱式駕駛協(xié)議，我們收集了伯克利Deep Drive Drone數(shù)據(jù)集。

該數(shù)據(jù)集包含1 )一組記錄非結(jié)構(gòu)化駕駛的航拍視頻，2 )一組用于訓(xùn)練車輛檢測(cè)模型的圖像和注釋，以及3 )一組用于說(shuō)明典型用法的開(kāi)發(fā)腳本。我們認(rèn)為，該數(shù)據(jù)集對(duì)于研究人類駕駛員所采用的分散多智能體規(guī)劃具有主要意義，對(duì)于遙感環(huán)境中的計(jì)算機(jī)視覺(jué)具有次要意義。

3. 數(shù)據(jù)集介紹

3.1 數(shù)據(jù)集格式

B3D數(shù)據(jù)集中記錄的場(chǎng)景可以分為以下六類：1)無(wú)信號(hào)燈控制的交叉路口，2) 無(wú)信號(hào)燈控制的環(huán)形交叉口，3)追尾事故，4)走走停停的車流，5)道路施工引起的車流合并，以及6)匝道引起的合并。 B3D數(shù)據(jù)集由20個(gè)后處理視頻、16002個(gè)帶注釋的圖像和一個(gè)開(kāi)發(fā)工具包組成，視頻、帶注釋的圖像和開(kāi)發(fā)工具包的大小分別為84.5 GB、1.55 GB和225 MB，總計(jì)約86.3 GB。在20個(gè)經(jīng)過(guò)處理的視頻中，有8個(gè)是在路口上錄制的，12個(gè)是在高速公路上錄制的，視頻格式為mp4，數(shù)據(jù)集的結(jié)構(gòu)如圖1所示。



圖1B3D數(shù)據(jù)集的文件結(jié)構(gòu)

如圖2所示是B3D數(shù)據(jù)集中所展示的追尾事故，分別發(fā)生在hwy00.mp4，以及hwy01.mp4中。在hwy00.mp4的00：45，可以觀察到框架左邊緣附近的第一次事故。在hwy01.mp4的13：10，在幀中間發(fā)現(xiàn)了另一個(gè)碰撞事故。



圖2 hwy00.mp4和hwy01.mp4的追尾碰撞。

第一次事故涉及至少兩輛車，而第二起事件涉及四輛車。 無(wú)信號(hào)控制的交叉路口可以在jnc00.mp4、jnc01.mp4、jnc02.mp4和jnc07.mp4的視頻中找到。如圖3a所示和數(shù)字3b所示，視頻jnc00.mp4和jnc01.mp4是三叉路口的兩種變體。如圖3c和3d所示數(shù)字，視頻jnc02.mp4和jnc07.mp4是四向交叉口的兩種變體。

jnc03.mp4、jnc04.mp4、jnc05.mp4和jnc06.mp4都有無(wú)信號(hào)環(huán)形交叉口。如圖3e所示，視頻jnc03.mp4和jnc04.mp4是兩個(gè)ve-way環(huán)島的記錄。如圖3f和3g所示，視頻jnc05.mp4和jnc06.mp4是四向環(huán)形交叉口的兩種變體。 hwy04.mp4和hwy05.mp4記錄了走走停停的車流。

第一個(gè)走走停停行為在hwy04.mp4時(shí)間02:30到05:07之間形成。第二次停停走走的浪潮出現(xiàn)在hwy04.mp4時(shí)間06:06到08:10之間。第三次停停走走的波動(dòng)出現(xiàn)在hwy04.mp4時(shí)間的10:26到12:25之間。第四次發(fā)生在hwy05.mp4時(shí)間00:00到01:33之間。最后一次出現(xiàn)在hwy05.mp4時(shí)間05:19到06:07之間。停停走走波的形成和消散過(guò)程如圖4所示。

hwy06.mp4、hwy07.mp4和hwy08.mp4都記錄了道路工程引發(fā)的車輛合并。如圖3j所示，該場(chǎng)景的拓?fù)涫且粋€(gè)四車道到兩車道的瓶頸。 hwy09.mp4、hwy10.mp4和hwy11.mp4記錄了匝道誘導(dǎo)合并。如圖3k所示，匝道的拓?fù)浣Y(jié)構(gòu)是一條三車道的入口匝道正在并入一條四車道的擁堵公路。在合并點(diǎn)之前和之后，車流保持堵塞。



圖3 B3D數(shù)據(jù)集中的典型道路拓?fù)洹?br />
(a)-(d)無(wú)信號(hào)燈交叉口，(e)-(g)無(wú)信號(hào)燈環(huán)形交叉口，(h)-(i)高速公路，以及(i)-(k)合流瓶頸。



圖4 走走停停車流的時(shí)間線。 綠色表示正常交通，紅色表示由強(qiáng)降雨引起的擁堵，淺紅色表示由走走停停引起的擁堵。

3.2 圖片標(biāo)注

為了定性分析視頻中觀察到的車輛行為，需要獲得場(chǎng)景中每輛相關(guān)車輛的精確軌跡。為了構(gòu)建車輛的軌跡，作者首先在每一幀中檢測(cè)其位置，然后使用跟蹤算法將跨幀的每個(gè)檢測(cè)位置關(guān)聯(lián)起來(lái)。 為此，作者建立了一個(gè)圖像數(shù)據(jù)集，可用于訓(xùn)練車輛檢測(cè)模型。該數(shù)據(jù)集由16002個(gè)帶注釋的圖像組成，其中80%被分割用于訓(xùn)練，10%用于驗(yàn)證，10%用于測(cè)試。

圖5顯示了一個(gè)示例注釋。 數(shù)據(jù)集中，總共有135303個(gè)邊界框被注釋為路口圖像，總共有129939個(gè)邊界框被創(chuàng)建為高速公路圖像。注意，所有車輛均被不加區(qū)分得定義為vehicle類。



圖5 注釋圖像示例。彩色矩形是場(chǎng)景中車輛的軸向?qū)R邊界框。

3.3 開(kāi)發(fā)工具包

除了視頻和帶注釋的圖片，作者還提供了一個(gè)開(kāi)發(fā)工具包，其中包含三個(gè)示例腳本：train.py、test.py和mask.py。 其中，腳本train.py用于顯示注釋圖像數(shù)據(jù)如何用來(lái)訓(xùn)練用于車輛檢測(cè)的神經(jīng)網(wǎng)絡(luò)模型。在這個(gè)腳本中，作者使用對(duì)象檢測(cè)庫(kù)Detectron2來(lái)訓(xùn)練RetinaNet模型，用于檢測(cè)輸入圖像中車輛的位置。

腳本test.py將通過(guò)train.py腳本訓(xùn)練的訓(xùn)練模型應(yīng)用于輸入圖像，用于訓(xùn)練后的評(píng)估和推理。作者提供了預(yù)訓(xùn)練模型，可以直接用于推理，使用預(yù)訓(xùn)練模型的檢測(cè)結(jié)果的實(shí)例如圖6所示。



圖6 帶有檢測(cè)結(jié)果的示例圖像。

彩色矩形是軸向?qū)R的邊界框。黑色數(shù)字是估計(jì)邊界框的置信分?jǐn)?shù)，其中1.0表示完全確定，0.0表示完全不確定。 最后，mask.py根據(jù)預(yù)先定義的多邊形遮罩來(lái)裁剪圖像。圖7顯示了腳本如何根據(jù)紅色遮罩裁剪掉環(huán)島圖像的不相關(guān)部分。該腳本旨在幫助用戶專注于場(chǎng)景中唯一相關(guān)的部分，其中的相關(guān)性由用戶通過(guò)CVAT工具確定。

要裁剪視頻，只需為視頻的一幀定義一個(gè)多邊形遮罩，然后對(duì)視頻的每一幀應(yīng)用遮罩。此外，作者還提供了Docker文件。



圖7 mask過(guò)程的演示。紅色多邊形面具由CVAT設(shè)計(jì)。蒙版之外的像素被認(rèn)為是不相關(guān)的，并被標(biāo)記為黑色。

4. 視頻采集和處理

4.1 數(shù)據(jù)采集時(shí)間

這20個(gè)航拍視頻是2019年12月11日至12月21日在中國(guó)由DJI Mavic 2 Pro四軸飛行器拍攝的。具體的日期、長(zhǎng)度和地點(diǎn)如表1所示。

表1視頻日期、長(zhǎng)度及定位



在每次視頻拍攝期間，作者將四軸無(wú)人機(jī)直接懸停。然后使用內(nèi)置相機(jī)以4K和30 FPS記錄俯視視頻。實(shí)驗(yàn)設(shè)置的可視化如圖8所示。由于電池容量有限，每次拍攝被限制在15到20分鐘之間。



圖8 實(shí)驗(yàn)裝置的圖解。四軸無(wú)人機(jī)懸停在感興趣的道路上，內(nèi)置攝像機(jī)記錄每個(gè)交通參與者進(jìn)出場(chǎng)景的俯視圖。

為了訓(xùn)練用于車輛檢測(cè)的神經(jīng)網(wǎng)絡(luò)模型，作者從20個(gè)視頻中每15秒提取一個(gè)幀，然后手動(dòng)標(biāo)記一個(gè)軸向?qū)R的邊界框，在選定的幀中的每個(gè)車輛。此外，作者裁剪了視頻幀中不相關(guān)的部分，如樹(shù)木、屋頂和停車場(chǎng)，以此來(lái)減小圖像的大小。

4.2 應(yīng)用領(lǐng)域

B3D數(shù)據(jù)集主要有2個(gè)重要的應(yīng)用場(chǎng)景：運(yùn)動(dòng)規(guī)劃，以及計(jì)算機(jī)視覺(jué)。

在運(yùn)動(dòng)規(guī)劃任務(wù)中，B3D數(shù)據(jù)集典型的應(yīng)用過(guò)程如下： 1)運(yùn)行mask腳本以選擇視頻數(shù)據(jù)集的相關(guān)部分； 2)應(yīng)用檢測(cè)模型提取mask場(chǎng)景中每輛車的位置； 3)檢查檢測(cè)結(jié)果，并且手動(dòng)校正檢測(cè)錯(cuò)誤； 4)使用SORT等跟蹤算法，將檢測(cè)到的位置關(guān)聯(lián)到軌跡中； 5)基于估計(jì)的軌跡學(xué)習(xí)和驗(yàn)證人類駕駛模型。

以此估計(jì)得到的模型可以部署在自動(dòng)駕駛系統(tǒng)上，用于在特殊非結(jié)構(gòu)化場(chǎng)景中導(dǎo)航。此外，所得到的模型可以作為倉(cāng)庫(kù)機(jī)器人開(kāi)發(fā)分散協(xié)調(diào)算法的基線。 在計(jì)算機(jī)視覺(jué)中，B3D主要用于開(kāi)發(fā)或評(píng)估遙感環(huán)境中的小型道路目標(biāo)的CV算法。

從空中視頻中檢測(cè)行人或騎自行車的人對(duì)于最先進(jìn)的計(jì)算機(jī)視覺(jué)來(lái)說(shuō)仍然是一個(gè)挑戰(zhàn)。這很大程度上是由于這些小物體的低分辨率，因?yàn)榈头直媛适刮矬w在視覺(jué)上模糊不清。如圖9所示，檢測(cè)模型可能會(huì)將行人與水印混淆，或弄混行人和騎自行車的人。

為此，B3D可以作為構(gòu)建訓(xùn)練數(shù)據(jù)和驗(yàn)證候選算法的數(shù)據(jù)源。



圖9 低分辨率物體的視覺(jué)模糊

5. 總結(jié)

本文介紹了伯克利DeepDrive無(wú)人機(jī)數(shù)據(jù)集，該數(shù)據(jù)集拓展了自動(dòng)駕駛中的非結(jié)構(gòu)化場(chǎng)景，對(duì)于研究復(fù)雜路況下的自動(dòng)駕駛車輛行為具有重要意義。

該數(shù)據(jù)集包含總共20個(gè)視頻序列、16002個(gè)帶注釋的圖像和一個(gè)開(kāi)發(fā)工具包。它可用于以下應(yīng)用：1)在底層結(jié)構(gòu)道路環(huán)境中模擬駕駛員行為，2)設(shè)計(jì)去中心化運(yùn)動(dòng)規(guī)劃算法，以及3)開(kāi)發(fā)用于低分辨率道路目標(biāo)的檢測(cè)方法。

審核編輯：劉清