自動駕駛需要許多技術，但強大的3D感知是車輛與周圍環境互動的先決條件。目前，最標準的方法是基于Lidar來檢測和識別物體，發現可行駛道路和相關任務。相比于Lidar，基于視覺信息（如圖像或視頻）的3D感知對降低成本也至關重要。

2018計算機視覺歐洲大會（European Conference on Computer Vision，簡稱ECCV）主辦的這一挑戰要求參賽者基于3D視覺系統來完成自動駕駛相關的一些相關任務，ApolloScape作為Apollo開源平臺的一部分，將為本次大會的計算機視覺社區提供一個大規模和高質量的真實場景數據集。本次大會將于9月8日-14日在德國慕尼黑舉辦，該會議與CVPR、ICCV共稱為計算機視覺領域三大頂級學術會議。

ApolloScape是百度在2017年創立的的Apollo自動駕駛開源平臺的一部分。為了刻畫高細粒度的靜態3D世界，我們使用移動激光雷達掃描儀器從Reigl收集點云。這種方法產生的三維點云要比Velodyne產生點云更精確更稠密。在采集車車頂上安裝有標定好的高分辨率相機以每一米一幀的速率同步記錄采集車周圍的場景。而且，整個系統配有高精度GPS和IMU，相機的實時位姿都可以被同步記錄。我們的采集圖像來自于中國的不同城市，比如北京、上海和深圳等。

ApolloScape擁有來自現實世界的高質量的靜態場景的3D標注與動態物體的2D標注。目前，已經產出了14.7萬張標注，覆蓋了來自三個城市的三個站點周圍10KM的地域。而且，每個區域都在不同的天氣和光照條件下進行了重復掃描。最終，ApolloSacpe將會發展成為一個不斷更新進化的數據集，來自新的城市的數據標注也會陸續的加入其中。ApolloSacpe計劃產出至少20萬張圖片用于舉行不同的挑戰賽，其中將會覆蓋來自三個城市的5個站點的20KM的道路。在下文中，我們將會針對不同的挑戰任務進行詳細的介紹。

關于挑戰賽

對于所有的挑戰，除了測試精準度外（精準度會用來給算法排名次），我們也要求參與者具體說明他們所使用的算法的速度和執行細節。我們會鼓勵實時運行的算法，例如30 fps，也會將他們突出標注在排行榜上，因為速度是實際應用的關鍵屬性。

挑戰賽內容：基于視覺的細粒度車道標記分割

具有車道標記的高精地圖通常用作自動駕駛車輛的后端導航。目前，大多數高精地圖的生產主要由手工標記構建。在此挑戰中，我們要求參與者設計實現基于RGB圖像的道路基本元素的自動檢測算法。這些分割結果直接用于高精地圖的生產或更新環節。這項任務的挑戰之處在于不清晰的車道標注和擁擠復雜的交通環境。

整個數據集的Ground truth是在三維點云上標注完成的。然后通過投影得到2D圖像的Ground truth。 此外， 移動障礙物的遮擋問題我們也通過2D圖像上的手動標注來完成了。參與者還可以利用相應的視頻、相機內參和位置來幫助分割任務。我們在圖一中舉例說明了3D車道標記，在圖二中列出了2D的Ground truth。詳細的評估標準請參考我們的ECCV挑戰賽網站（http://apolloscape.auto/ECCV/index.html）。

2.實時自定位

基于視覺的自定位，即通過圖像或視頻估計相機的6自由度位姿。與使用LIDAR相比， 具有成本低的優勢，但同時也具有更高的挑戰。在我們的數據集上我們測試了最新的自定位算法如VidLoc[2],然而我們發現離工業應用仍然有很大的差距（定位精度必須小于15cm）。此外，自我定位算法的實時性對于自動駕駛也至關重要。

在這次挑戰中，我們提供了大量的帶有精度相機位姿的訓練視頻。同時我們的測試視頻也來自于同一個場景，但是在不同的時間、不同的天氣以及交通狀況下采集的。我們的指標與DeLS-3D[3]和PoseNet[4]相同。在圖3中，我們突出標記了地面實況攝像頭姿勢。我們已經將所有的Ground truth與ApolloScape發布的數據結合起來。詳細的評估標準請參考我們的ECCV挑戰賽網站（http://apolloscape.auto/ECCV/index.html）。

3.3D汽車實例了解

對于自動駕駛車輛來說，檢測其他車輛、行人、乘客等是非常重要的。系統必須了解每個圖像幀中每個物體的3D關系，尤其是自動駕駛車輛周圍或附近的物體。在該挑戰中，參賽者需要檢測，重建和估計圖像中所有車輛的3D形狀。圖4中顯示了兩幀標注圖像的樣例。

我們將基于平均精度（AP）來評估車輛的3D邊框果，3D形狀和姿勢。這與2D實例檢測和分割類似。詳細的評估標準請參考我們的ECCV挑戰賽網站（http://apolloscape.auto/ECCV/index.html）。

關于ApolloScape

目前ApolloScape已開放了14.7萬幀的像素級語義標注圖像，向全球的自動駕駛技術研究人員提供更為實用的數據資源。通過高精度的采集、標注，創造了全球最大的三維自動駕駛數據集Scene Parsing（場景解析）。

此外，ApolloScape計劃為數據集拓展更多類型、更多屬性的數據：通過添加紅外圖像，幫助自動駕駛算法更容易進行夜間檢測；提取更稠密的軌跡信息，用于對駕駛行為進行建模；以及通過眾包模式采集立體視覺的駕駛特殊事件圖像。開發者也可以參照我們在CVPR上發表的有關自動駕駛數據集的論文，以便于更好的使用ApolloScape數據集。