現(xiàn)如今，即使可以借助衛(wèi)星圖像和繪制軟件，創(chuàng)建精確的道路圖也依然是一個費時費力的人力加工過程。許多地區(qū)，特別是在發(fā)展中國家也仍是空白。為了縮小這一差距，F(xiàn)acebook 的人工智能研究人員和工程師們開發(fā)了一種新的方法，該方法通過深度學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)，根據(jù)商用高分辨率衛(wèi)星圖像來預(yù)測道路網(wǎng)絡(luò)。由此產(chǎn)生的模型為精確程度設(shè)定了一個新標(biāo)準(zhǔn)，因為它能夠較好地適應(yīng)道路網(wǎng)絡(luò)中的地區(qū)差異，有效地預(yù)測全球范圍內(nèi)的道路。

我們現(xiàn)在正與 Map With AI（一套新的專用道路圖編輯服務(wù)和工具）分享我們模型的具體細(xì)節(jié)，并向全球的繪制機構(gòu)提供數(shù)據(jù)。Map With AI 包含一個編輯器界面 —— RapiD，它讓道路圖專家可以根據(jù)自己的需要很方便地查看、校驗和調(diào)整道路圖。

我們使用了 Map With AI 系統(tǒng)在 Facebook 的 OpenStreetMap（OSM）中繪制了泰國所有此前未曾繪制過的道路（超過了 30 萬英里），這是一項基于社會機構(gòu)的工作，旨在創(chuàng)建免費的、可編輯的世界道路圖。我們僅僅花了一年半的時間就完成這個項目—— 這比有 100 個繪圖專家的團隊手工完成這項任務(wù)花費的時間減少一半多。

準(zhǔn)確的繪制數(shù)據(jù)有助于我們更好地為世界各地的人們提供 Facebook Marketplace 和 Facebook Local 等技術(shù)產(chǎn)品。Map With AI 與 Facebook 人工智能的 population density maps 項目一樣，這些道路圖將為災(zāi)難響應(yīng)、城市規(guī)劃、開發(fā)項目和許多其他任務(wù)提供資源保障。例如，在 2018 年印度喀拉拉邦遭受洪水災(zāi)害時，F(xiàn)acebook 利用 Map With AI 快速地繪制出了該地區(qū)的道路圖，協(xié)助了救災(zāi)工作。

要使用 RapiD，用戶可以在道路圖上選擇一條道路，在提交給 OSM 系統(tǒng)之前，可以根據(jù)實際需要對其進(jìn)行進(jìn)一步的編輯。白線表示現(xiàn)有的 OSM 道路，紫紅線則表示 RapiD 的預(yù)測結(jié)果。選用 Maxar 衛(wèi)星的圖像作為背景。

利用新技術(shù)實現(xiàn)更高效、更精確的繪圖功能

我們已經(jīng)在幾個方面往前推進(jìn)繪制道路圖的研究。在 2018 年的 CVPR 大會上，我們幫助組織了 DeepGlobe 衛(wèi)星挑戰(zhàn)賽（DeepGlobe Satellite Challenge），通過提供數(shù)據(jù)集和競賽平臺來組織和評估計算機視覺和機器學(xué)習(xí)的解決方案，推進(jìn)了衛(wèi)星圖像分析的最高水平。我們還正在開發(fā)新的適合遙感問題空間的學(xué)習(xí)技術(shù)和架構(gòu)，并研究弱監(jiān)督學(xué)習(xí)技術(shù)，以在全球范圍內(nèi)應(yīng)用我們的道路繪制工作，還在與繪制團隊進(jìn)行合作，在全球范圍內(nèi)測試這些用于設(shè)計比例和構(gòu)造方面的工具。

道路分割

在從衛(wèi)星圖像中選取道路的過程中，我們利用了最近在使用完全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Neural Networks）進(jìn)行語義分割，同時結(jié)合大規(guī)模弱監(jiān)督學(xué)習(xí)方面的發(fā)展成果。道路檢測是語義分割方面的應(yīng)用，其中道路是前景，圖像的其余部分作為背景。如下圖所示，過程的輸出是一個柵格化的道路圖，顯示了模型如何預(yù)測輸入的衛(wèi)星圖像的每個像素是否屬于某個道路。對于道路分割，我們使用了 D-LinkNet 架構(gòu)的修訂版本，它在 DeepGlobe 衛(wèi)星道路獲取挑戰(zhàn)賽（the DeepGlobe Satellite Road Extraction Challenge）中獲勝。向量化和后處理技術(shù)可以獲取這些輸出并轉(zhuǎn)化為與地理空間數(shù)據(jù)庫（如 OSM 系統(tǒng)）兼容的道路向量。

左邊是分割模型每個像素的預(yù)測結(jié)果；紫紅色意味著像素有更高的概率屬于道路。右邊：合并的向量化道路與現(xiàn)有的 OSM 道路（白色），衛(wèi)星圖像由 Maxar 提供

用弱監(jiān)督學(xué)習(xí)模式在全球范圍繪制道路圖

作為上述泰國道路繪制項目的一部分，我們請一些專家檢查并修正人工智能系統(tǒng)識別的道路網(wǎng)絡(luò)。然后，我們使用這些手動更正的道路圖作為模型的訓(xùn)練數(shù)據(jù)。這個項目繪制了整個泰國的公路網(wǎng)絡(luò)，因此我們對數(shù)據(jù)的準(zhǔn)確性和完整性充滿了信心。我們發(fā)現(xiàn)，數(shù)據(jù)集訓(xùn)練在泰國獲得了高精度的驗證結(jié)果，但在其它地區(qū)準(zhǔn)確性卻急劇下降。由于該項目的目標(biāo)是能夠繪制全球的道路圖，因此我們研究了如何使用其它地區(qū)增加的 OSM 數(shù)據(jù)來訓(xùn)練一個新的模型。

但是，許多其它國家的道路圖仍然存在著巨大差距。因此，我們探索了獲取高質(zhì)量的、地理多樣性的訓(xùn)練數(shù)據(jù)的新方法。我們借鑒了以往關(guān)于弱監(jiān)督圖像分類和基于 OSM數(shù)據(jù)訓(xùn)練建筑檢測模型的工作，嘗試將這些弱監(jiān)督學(xué)習(xí)的思想從分類轉(zhuǎn)換為語義分割。這項實驗需要識別具有足夠的、準(zhǔn)確的數(shù)據(jù)覆蓋率的區(qū)域，然后將 OSM 數(shù)據(jù)庫的道路向量轉(zhuǎn)換為柵格化的語義分割標(biāo)簽。對于這兩個挑戰(zhàn)，我們采取了一種直接的方法，即首先生成帶有噪音的、不太完美的訓(xùn)練數(shù)據(jù)。

我們收集了一組像素為 2048 x 2048 的訓(xùn)練數(shù)據(jù)，分辨率約為每像素 24 英寸。我們放棄了道路圖上少于 25 條路的區(qū)域，因為我們發(fā)現(xiàn)地圖上通常只包括一些主要的道路（通常沒有可以正確標(biāo)注較短道路的先例）。對于剩余的區(qū)域，我們將道路向量進(jìn)行柵格化，并使用結(jié)果標(biāo)識作為訓(xùn)練標(biāo)簽。為了達(dá)到與 DeepGlobe 數(shù)據(jù)集相同的分辨率，我們隨機將每個圖像的像素剪裁到 1024 x 1024，從而生成了能覆蓋到 70 多萬平方英里地理范圍的大約 180 萬個區(qū)域，這個結(jié)果是 DeepGlobe 數(shù)據(jù)集覆蓋的約 630 平方英里的區(qū)域的 1000 倍。

為了從這些道路向量中創(chuàng)建分割標(biāo)識，我們只需將每個道路向量柵格化為 5 個像素。語義分割標(biāo)簽往往是趨向于像素的，但我們用這種探索式的方法所創(chuàng)建的標(biāo)簽卻不是這樣的。由于道路的寬度和外形各不相同，這些柵格化了的向量無法完全獲取這些信息。此外，全球不同地區(qū)的道路是根據(jù)不同的衛(wèi)星圖像源繪制的，因此并不總與用于訓(xùn)練數(shù)據(jù)的圖像完全一致 。

用于 OSM 道路分割模型的訓(xùn)練數(shù)據(jù)的地理分布可視化圖。由于實驗的時候衛(wèi)星圖像是不可用的，因此一些區(qū)域并未在圖中出現(xiàn)

僅使用在數(shù)據(jù)收集過程中產(chǎn)生的噪聲標(biāo)簽，我們就能夠產(chǎn)生與許多 DeepGlobe 挑戰(zhàn)賽參與者不相上下的結(jié)果。通過對 DeepGlobe 挑戰(zhàn)數(shù)據(jù)集中訓(xùn)練數(shù)據(jù)的微調(diào)，我們的模型取得了最好的結(jié)果。

比這些微調(diào)的結(jié)果更值得注意的是，即使只在 OSM 數(shù)據(jù)上進(jìn)行訓(xùn)練，模型在全球范圍內(nèi)運行的結(jié)果也非常不錯。大多數(shù)可用于訓(xùn)練道路分割模型的數(shù)據(jù)集嚴(yán)重地偏向于特定的區(qū)域或發(fā)展水平的地區(qū)。例如，DeepGlobe 道路數(shù)據(jù)集僅包含來自印度、印度尼西亞和泰國的數(shù)據(jù)，而 SpaceNet 道路獲取挑戰(zhàn)賽（the SpaceNet Road Extraction Challenge）的數(shù)據(jù)集僅關(guān)注于一些主要的城市。我們創(chuàng)建的數(shù)據(jù)集跨越了六大洲和各種發(fā)展水平的地區(qū)，提供的訓(xùn)練數(shù)據(jù)比其它可用的替代數(shù)據(jù)要多得多。

為了評估更大的、更多樣化的數(shù)據(jù)集對模型的標(biāo)準(zhǔn)化有多大的影響，我們評估了 OSM 訓(xùn)練模型和 DeepGlobe 模型（在 DeepGlobe 數(shù)據(jù)上訓(xùn)練）。我們在其它幾個數(shù)據(jù)集（拉斯維加斯、巴黎、上海等城市，請查閱論文獲取詳情）上對這兩個模型進(jìn)行了評估，這些數(shù)據(jù)集均不在 DeepGlobe 數(shù)據(jù)集的地理分布范圍內(nèi)。在這些測試集中，DeepGlobe 模型的平均聯(lián)合交叉（IoU，the mean Intersection over Union)得分為0.218，而 OSM 訓(xùn)練模型的平均 IoU 得分為 0.355。相比之下，這些分?jǐn)?shù)相對改善 62%，絕對改善 13.7%。

烏干達(dá)的坎帕拉，在一個道路圖相對繪制較好的地區(qū)進(jìn)行道路獲取。從左到右：Maxar 衛(wèi)星圖像、OSM（手動繪制）、THA/IND/IDN 訓(xùn)練模型、全球 OSM 訓(xùn)練模型。在 DeepGlobe 上訓(xùn)練的模型在房屋之間繪制出許多本來不存在的道路，而在全球數(shù)據(jù)上訓(xùn)練的模型表現(xiàn)不錯

能有效創(chuàng)建全新道路圖的AI工具

一旦模型識別出潛在的道路，我們就需要對其進(jìn)行驗證并提交給 OSM。將這些數(shù)據(jù)提供給社區(qū)是一個重要環(huán)節(jié)，我們模型的結(jié)果雖然很好，但并不完美。地區(qū)的差異會影響道路分類的結(jié)果。一些結(jié)果錯誤地跟蹤了衛(wèi)星圖像中的其它特征，如干涸的河床、狹窄的海岸線和運河。此外，模型可能無法找到一個區(qū)域內(nèi)的所有道路，或者可能會忽略連接點和潛在的道路， 因此，我們的下一步是將模型的結(jié)果與有經(jīng)驗的繪圖人員結(jié)合。為此，我們利用了道路圖繪制社區(qū)里已經(jīng)熟悉的工具(iD, JavaOpenStreetMap, 和 Tasking Manager)。

我們的工作重點是構(gòu)建 RapiD，它是一個應(yīng)用廣泛的基于 Web 的 iD 道路圖編輯器的開源擴展。此外，我們構(gòu)建了一個系統(tǒng)，將模型的結(jié)果與 OSM 中已有的數(shù)據(jù)結(jié)合，這一過程稱為合并，它既可以為如何將新道路加入到現(xiàn)有的數(shù)據(jù)提供建議，又可以防止模型建議的道路覆蓋現(xiàn)有道路數(shù)據(jù)。我們希望 RapiD 能夠讓道路圖繪制社區(qū)中的人們根據(jù)自己的實際情況來改進(jìn)并利用這些工具。

RapiD 編輯器允許通過可視化的方式展現(xiàn)合并的道路，并高亮顯示新修改的地方，還為最常見的數(shù)據(jù)清理任務(wù)使用新的命令和快捷方式，例如調(diào)整道路的分類來適應(yīng)周圍的環(huán)境。因為我們擴展了現(xiàn)有的編輯工具 iD，繪圖人員能夠使用熟悉的工具來處理新的數(shù)據(jù)。為了確保向 OSM 提交高質(zhì)量的數(shù)據(jù)，我們采用了完整性校驗來捕獲模型結(jié)果可能出現(xiàn)的潛在問題。

道路圖繪制社區(qū)的前期反饋結(jié)果令人鼓舞:

“這個工具在建議的機器生成功能和手動繪制方式之間取得了良好的平衡。它能讓道路圖繪制者對圖上的內(nèi)容有最后決定權(quán)，這有助于發(fā)現(xiàn)繪制過程中出現(xiàn)的問題。它的優(yōu)勢是繪圖人員可以以更具互動性的方式開始繪圖。對 iD 的調(diào)整和添加的快捷鍵會使其功能更強大，足以滿足繪制人員的需要，”長期致力于 OSM 研究的 Martijn van Exel 說道， “這必然是 OSM 未來的一個關(guān)鍵點。沒有機器的幫助，我們無法繪制道路圖，更談不上繪制全世界。訣竅是找到那個點。OSM 是一個全人類的項目，道路圖反映了繪制者的興趣、技能、偏好等。”

“在我看來，RapiD 最獨特的優(yōu)勢在于它可用于世界上最復(fù)雜的地理環(huán)境，這些地區(qū)對自動化的需求最為迫切。大多數(shù)現(xiàn)代的算法、訓(xùn)練數(shù)據(jù)集和相關(guān)技術(shù)都是為那些基礎(chǔ)設(shè)施高度發(fā)達(dá)的地區(qū)而發(fā)明的。在發(fā)展中國家，例如非洲、東南亞、拉丁美洲，這些地方的道路沒有很好的命名、維護(hù)或是開發(fā)，即使是最專業(yè)的人眼也很難識別和正確地進(jìn)行道路特征的分類，”一位共享車輛地域經(jīng)理 Dimitry Kuzhanov 說道。

“RapiD 是向前邁出的重要一步，因為它將人工智能的能力與人類天生具有的智慧和對關(guān)聯(lián)性的理解力結(jié)合了起來。”Mapillary 的戰(zhàn)略合作伙伴經(jīng)理 Edoardo Neerhut 這樣說道。

總之，好的工具可以增強道路圖繪制人員的能力，減少基于衛(wèi)星數(shù)據(jù)繪制道路的繁瑣和耗時的工作，提高道路形狀的準(zhǔn)確性，并為識別建議道路提供選項，即使繪制者選擇不使用這些建議。能提供不受專業(yè)繪制者能力和判斷限制的工具很重要。我們將根據(jù)這些繪制者的反饋不斷改進(jìn) RapiD，讓它的使用過程更加順暢。我們相信，由此產(chǎn)生的生產(chǎn)能力提高了衛(wèi)星圖像在道路圖繪制方面的效率。