本次導(dǎo)讀論文提出了一個(gè)用于研究城市場(chǎng)景感知和重建的大型數(shù)據(jù)平臺(tái)UrbanScene3D。該數(shù)據(jù)集包含超過(guò)12.8萬(wàn)張高分辨率圖像，涵蓋16個(gè)場(chǎng)景，包括總面積136平方公里的大型真實(shí)城市場(chǎng)景和虛擬城市場(chǎng)景。該數(shù)據(jù)集還包含高精度激光雷達(dá)掃描和數(shù)百個(gè)具有不同觀察模式的圖像集，為設(shè)計(jì)和評(píng)估無(wú)人機(jī)路徑規(guī)劃和三維重建算法提供了全面的基準(zhǔn)。此外，基于Unreal引擎和Airsim模擬器，數(shù)據(jù)集中每個(gè)建筑物均手動(dòng)標(biāo)注了唯一的實(shí)例標(biāo)簽，可以生成各種數(shù)據(jù)，例如二維深度圖、二維/三維邊界框和三維點(diǎn)云/網(wǎng)格分割等。帶有物理引擎和照明系統(tǒng)的模擬器不僅可以生成各種數(shù)據(jù)，還可以讓用戶(hù)在提供的城市環(huán)境中模擬無(wú)人車(chē)和無(wú)人機(jī)，為未來(lái)的研究提供幫助。下表展示了UrbanScene3D中不同場(chǎng)景的統(tǒng)計(jì)數(shù)據(jù)：

表1 UrbanScene3D不同場(chǎng)景數(shù)據(jù)統(tǒng)計(jì)

II 數(shù)據(jù)集特點(diǎn)

下表對(duì)比了UrbanScene3D與不同的戶(hù)外場(chǎng)景數(shù)據(jù)集：

表2 不同戶(hù)外場(chǎng)景數(shù)據(jù)集對(duì)比

該論文提出的UrbanScene3D數(shù)據(jù)集具有以下特點(diǎn)：

采集視角大：大多數(shù)戶(hù)外數(shù)據(jù)集是利用地面掃描設(shè)備采集的，不能夠完整地覆蓋整個(gè)場(chǎng)景。UrbanScene3D使用無(wú)人機(jī)根據(jù)不同的算法得到的路徑來(lái)采集場(chǎng)景信息，得到精度更高、更加完整的城市場(chǎng)景數(shù)據(jù)；

場(chǎng)景覆蓋范圍大：UrbanScene3D提供了16個(gè)不同的城市場(chǎng)景，總面積136平方公里。其中包括三個(gè)覆蓋面積超過(guò)24平方公里的大規(guī)模城市場(chǎng)景和兩個(gè)覆蓋面積超過(guò)一平方公里的完整真實(shí)場(chǎng)景；

不同模式的觀測(cè)數(shù)據(jù)：UrbanScene3D針對(duì)同一個(gè)場(chǎng)景提供在不同航拍路徑與不同時(shí)間、不同天氣條件、不同光照條件下采集到的數(shù)據(jù)，增加了觀測(cè)數(shù)據(jù)的多樣性；

融合虛擬數(shù)據(jù)與真實(shí)數(shù)據(jù)的仿真環(huán)境：UrbanScene3D提供的模擬器可以導(dǎo)入虛擬城市模型與真實(shí)世界的重建場(chǎng)景，不僅能夠用于無(wú)人機(jī)、無(wú)人車(chē)的仿真，還可以用于解決虛擬數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的跨領(lǐng)域誤差問(wèn)題；

針對(duì)無(wú)人機(jī)路徑規(guī)劃的數(shù)據(jù)集基準(zhǔn)： UrbanScene3D針對(duì)不同無(wú)人機(jī)路徑規(guī)劃算法在不同的因素下對(duì)最終重建結(jié)果的影響進(jìn)行了詳細(xì)的對(duì)比與測(cè)試，為新的無(wú)人機(jī)路徑規(guī)劃算法與重建算法提供了新的評(píng)估基準(zhǔn)。

圖2 UrbanScene3D提供的模擬器能夠用于實(shí)時(shí)模擬、生成場(chǎng)景物體實(shí)例分割標(biāo)簽與深度圖 III 無(wú)人機(jī)路徑規(guī)劃基準(zhǔn) UrbanScene3D主要針對(duì)傾斜攝影、Smith ［1］等人提出的算法、Zhou ［2］等人提出的算法與Zhang ［3］等人提出的算法進(jìn)行測(cè)試。這四種算法生成的無(wú)人機(jī)路徑如圖3所示：

圖3 不同算法在兩個(gè)場(chǎng)景上生成的路徑示意圖

當(dāng)前的無(wú)人機(jī)路徑規(guī)劃算法主要依賴(lài)于預(yù)先得到的場(chǎng)景粗糙模型，即代理模型，來(lái)進(jìn)行無(wú)人機(jī)路徑的優(yōu)化。同樣的路徑規(guī)劃算法利用精細(xì)的代理模型通常可以得到更好的重建結(jié)果。UrbanScene3D對(duì)虛擬場(chǎng)景提供了從粗糙到精細(xì)四個(gè)層級(jí)的代理模型，對(duì)真實(shí)場(chǎng)景提供了三個(gè)層級(jí)的代理模型，如圖4所示。UrbanScene3D分別使用不同層級(jí)的代理模型在不同的采樣點(diǎn)重疊率下對(duì)以上四種無(wú)人機(jī)路徑規(guī)劃算法進(jìn)行對(duì)比評(píng)估。

圖4 不同層級(jí)的代理模型示意圖 為了對(duì)重建得到的真實(shí)場(chǎng)景模型進(jìn)行重建精度與完整度評(píng)估，UrbanScene3D利用搭載GPS定位設(shè)備的高端激光雷達(dá)掃描儀對(duì)場(chǎng)景中的整棟建筑進(jìn)行掃描，得到高精度的場(chǎng)景掃描點(diǎn)云，如圖5所示：

圖5 兩個(gè)真實(shí)場(chǎng)景的高精度激光點(diǎn)云與對(duì)應(yīng)重建模型的誤差示意圖

由于傾斜攝影具有最簡(jiǎn)單的路徑模式，因此電量消耗最小，但重建結(jié)果最差。Zhang 等人的方法在規(guī)劃路徑的同時(shí)對(duì)生成路徑的質(zhì)量進(jìn)行優(yōu)化，因此能夠在得到高精度模型的同時(shí)減小電量的消耗。Smith 等人與Zhou等人提出的算法都能夠得到更好的重建結(jié)果，但Zhou等人提出的算法的飛行消耗更低。

圖6 不同方法的采集電量消耗對(duì)比

圖7 不同方法的采集重建精度對(duì)比

UrbanScene3D的下載與使用

UrbanScene3D一共包含1.43TB數(shù)據(jù)（壓縮包形式），其中帶有虛擬場(chǎng)景和真實(shí)場(chǎng)景模擬器63GB，帶有真實(shí)場(chǎng)景掃描數(shù)據(jù)的重建結(jié)果評(píng)估程序190MB。我們?cè)陧?xiàng)目主頁(yè) https://vcc.tech/UrbanScene3D/ 中提供UrbanScene3D相關(guān)數(shù)據(jù)的分類(lèi)下載與相關(guān)的使用說(shuō)明，支持Google Drive、Dropbox與百度云網(wǎng)盤(pán)三種下載方式。用戶(hù)可以根據(jù)需求按照不同的場(chǎng)景、不同的算法、不同的代理模型、不同的采樣重疊率下載航拍路徑、圖片與重建結(jié)果，也可以選擇將整個(gè)數(shù)據(jù)集打包下載。從仿真環(huán)境到評(píng)估程序的整套工具能夠有效地幫助相關(guān)研究工作的開(kāi)展和推進(jìn)。

總結(jié)

這篇文章詳細(xì)介紹了一個(gè)大型數(shù)據(jù)集平臺(tái)UrbanScene3D，為廣大用戶(hù)提供了豐富的數(shù)據(jù)標(biāo)簽和六個(gè)代表性場(chǎng)景在不同觀察模式下采集得到的不同數(shù)據(jù)。相應(yīng)的不同重建模型和GT模型/掃描點(diǎn)云可用于評(píng)估路徑規(guī)劃算法和MVS算法。此外，UrbanScene3D中包含的模擬器允許用戶(hù)進(jìn)一步探索和采集具有不同照明模式/天氣條件（如圖9所示）的城市場(chǎng)景數(shù)據(jù)。作者還計(jì)劃在不久的將來(lái)為數(shù)據(jù)集加入更高級(jí)的幾何描述信息，例如不同建筑的三維結(jié)構(gòu)點(diǎn)、橫截面輪廓、線(xiàn)框或面片等，以支持計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)相關(guān)方向的進(jìn)一步探究。

審核編輯：郭婷