主要內(nèi)容：

提出了一種基于人類使用的2D語(yǔ)義圖以亞米精度定位圖像的算法，OrienterNet，通過(guò)將BEV圖與OpenStreetMap中開放可用的全局地圖相匹配來(lái)估計(jì)查詢圖像的位置和方向，使任何人都能夠在任何可用地圖的地方進(jìn)行定位。 OrienterNet只受相機(jī)姿態(tài)的監(jiān)督，學(xué)習(xí)以端到端的方式與各種地圖元素進(jìn)行語(yǔ)義匹配。引入了一個(gè)大規(guī)模的眾包圖像數(shù)據(jù)集，該數(shù)據(jù)集以汽車、自行車和行人的不同角度在12個(gè)城市進(jìn)行拍攝得到。



Motivation：

作為人類，我們直觀地理解我們所看到的局部場(chǎng)景和我們所處場(chǎng)景的全局地圖之間的關(guān)系。當(dāng)我們迷失在未知區(qū)域時(shí)，我們可以通過(guò)使用不同的地理特征仔細(xì)比較地圖和周圍環(huán)境來(lái)準(zhǔn)確定位我們的位置。

傳統(tǒng)的視覺(jué)定位算法通常很復(fù)雜，其依賴于圖像匹配，并且需要冗余的3D點(diǎn)云和視覺(jué)描述子，而且使用激光雷達(dá)或攝影測(cè)量構(gòu)建3D地圖是昂貴的，并且需要更新數(shù)據(jù)來(lái)捕捉視覺(jué)外觀的變化，3D地圖的存儲(chǔ)成本也很高，因?yàn)樗鼈儽然镜?D地圖大幾個(gè)數(shù)量級(jí)。這些限制了其在移動(dòng)設(shè)備上執(zhí)行定位，現(xiàn)在的方法一般需要昂貴的云基礎(chǔ)設(shè)施。

這就引出了一個(gè)重要的問(wèn)題：我們?nèi)绾蜗袢祟愐粯咏虣C(jī)器從基本的2D地圖進(jìn)行定位？ 本文就根據(jù)這個(gè)問(wèn)題提出了第一種方法，該方法可以在給定人類使用的相同地圖的情況下，以亞米精度定位單個(gè)圖像和圖像序列。

這些平面圖只對(duì)少數(shù)重要物體的位置和粗略的二維形狀進(jìn)行編碼，而不對(duì)其外觀和高度進(jìn)行編碼。這樣的地圖非常緊湊，尺寸比3D地圖小104倍，因此可以存儲(chǔ)在移動(dòng)設(shè)備上，并用于大區(qū)域內(nèi)的設(shè)備上定位。該解決方案也不需要隨著時(shí)間的推移構(gòu)建和維護(hù)昂貴的3D地圖，也不需要收集潛在的敏感地圖數(shù)據(jù)。

其算法估計(jì)2D地圖中圖像的3-DoF姿態(tài)，位置和航向。

該估計(jì)是概率性的，因此可以在多相機(jī)設(shè)備或圖像序列的多個(gè)視圖之前或跨多個(gè)視圖與不準(zhǔn)確的GPS融合。所得到的解決方案比消費(fèi)級(jí)GPS傳感器準(zhǔn)確得多，并且基于特征匹配達(dá)到了接近傳統(tǒng)算法的精度水平。

使用的2D地圖與傳統(tǒng)地圖的區(qū)別：



Pipeline：



輸入：

輸入為具有已知相機(jī)內(nèi)參的圖像I。通過(guò)根據(jù)已知重力計(jì)算的單應(yīng)性對(duì)圖像進(jìn)行校正，使其roll和tilt為零，然后其主軸為水平。還有一個(gè)粗略的位置先驗(yàn)ξ。從OpenStreetMap查詢地圖數(shù)據(jù)，將其作為以ξ先驗(yàn)為中心的正方形區(qū)域，其大小取決于先驗(yàn)的噪聲程度。數(shù)據(jù)由多邊形、線和點(diǎn)的集合組成，每個(gè)多邊形、線或點(diǎn)都屬于給定的語(yǔ)義類，其坐標(biāo)在同一局部參考系中給定。

OrienterNet由三個(gè)模塊組成：

1）圖像CNN從圖像中提取語(yǔ)義特征，并通過(guò)推斷場(chǎng)景的3D結(jié)構(gòu)將其提升為鳥瞰圖（BEV）表示

2） OSM map由map-CNN編碼為嵌入語(yǔ)義和幾何信息的神經(jīng)map F。

3） 通過(guò)將BEV與地圖進(jìn)行窮舉匹配來(lái)估計(jì)相機(jī)姿態(tài)ξ上的概率分布

論文技術(shù)點(diǎn)：

鳥瞰圖BEV推理：

從一個(gè)圖像I中推斷一個(gè)BEV表示，其分布在與相機(jī)截頭體對(duì)齊的L×D的網(wǎng)格上，由N維特征組成，網(wǎng)格上每個(gè)特征都被賦予了一個(gè)置信度，有矩陣。

這種BEV表示類似于人類在地圖中自我定位時(shí)從環(huán)境中推斷出的心理地圖。

圖像和地圖之間的跨模態(tài)匹配需要從視覺(jué)線索中提取語(yǔ)義信息，算法依靠單目推理將語(yǔ)義特征提升到BEV空間，分兩步來(lái)獲得神經(jīng)BEV：

i）通過(guò)將圖像列映射到極射線來(lái)將圖像特征轉(zhuǎn)移到極坐標(biāo)表示

ii）將極坐標(biāo)網(wǎng)格重新采樣為笛卡爾網(wǎng)格



神經(jīng)map編碼：

將平面圖編碼為結(jié)合了幾何和語(yǔ)義的W×H神經(jīng)圖

?

Map data：OpenStreetMap元素根據(jù)其語(yǔ)義類定義為多邊形區(qū)域、多段線或單點(diǎn)。區(qū)域的例子包括建筑足跡、草地、停車場(chǎng)；線條包括道路或人行道中心線、建筑輪廓；點(diǎn)包括樹木、公交車站、商店等。這些元素提供了定位所需的幾何約束，而它們豐富的語(yǔ)義多樣性有助于消除不同姿勢(shì)的歧義。

預(yù)處理：首先將區(qū)域、線和點(diǎn)光柵化為具有固定地面采樣距離

▲（例如50cm/pixel）的3通道圖像。

編碼：將每個(gè)類與學(xué)習(xí)的N維嵌入相關(guān)聯(lián)，生成W×H×3N的特征圖。然后通過(guò)一個(gè)CNN 將其編碼到神經(jīng)圖F中，其提取有助于定位的幾何特征。F不是歸一化的，因?yàn)槲覀冏對(duì)涤成鋵⑵浞稊?shù)調(diào)制為匹配中的重要權(quán)重。F通常看起來(lái)像一個(gè)距離場(chǎng)，在那里我們可以清楚地識(shí)別建筑物的角落或相鄰邊界等獨(dú)特特征。



基于模板匹配的姿態(tài)估計(jì)：

概率體：

估計(jì)一個(gè)相機(jī)姿態(tài)ξ上的離散概率分布。這是可解釋的，并充分反映了估計(jì)的不確定性。因此在不明確的情況下，分布是多模式的。圖4顯示了各種示例。這樣就可以很容易地將姿態(tài)估計(jì)與GPS等附加傳感器相融合。計(jì)算這個(gè)體積是容易處理的，因?yàn)樽藙?shì)空間已經(jīng)減少到三維。它被離散化為每個(gè)地圖位置和以規(guī)則間隔采樣的K個(gè)旋轉(zhuǎn)。 這產(chǎn)生了W×H×K概率體積P，使得



它是圖像-地圖匹配項(xiàng)M和位置先驗(yàn)的組合?:

圖像-地圖匹配：

將神經(jīng)map F和BEV T進(jìn)行窮舉匹配，得到分?jǐn)?shù)體M。通過(guò)將F與由相應(yīng)姿勢(shì)變換的T相關(guān)來(lái)計(jì)算每個(gè)元素，如：

其中ξ（p）將2D點(diǎn)p從BEV變換為地圖坐標(biāo)系。置信度C掩蓋相關(guān)性以忽略BEV空間的一些部分，例如被遮擋的區(qū)域。該公式得益于通過(guò)旋轉(zhuǎn)T K次并在傅立葉域中執(zhí)行作為分批乘法的單個(gè)卷積的有效實(shí)現(xiàn)。

姿態(tài)推斷： 通過(guò)最大似然估計(jì)單個(gè)姿態(tài)：

。當(dāng)分布大多是單峰分布時(shí)，可以獲得一個(gè)不確定性度量，作為P在ξ*周圍的協(xié)方差。

序列和多相機(jī)定位：

單圖像定位在幾乎沒(méi)有表現(xiàn)出獨(dú)特語(yǔ)義元素或重復(fù)模式的位置是模糊的。當(dāng)多個(gè)視圖的相對(duì)姿勢(shì)已知時(shí)，可以通過(guò)在多個(gè)視圖上積累額外的線索來(lái)消除這種挑戰(zhàn)。這些視圖可以是來(lái)自VI SLAM的具有姿勢(shì)的圖像序列，也可以是來(lái)自校準(zhǔn)的多攝像機(jī)設(shè)備的同時(shí)視圖。圖5顯示了這樣一個(gè)困難場(chǎng)景的例子，通過(guò)隨著時(shí)間的推移累積預(yù)測(cè)來(lái)消除歧義。不同的幀在不同的方向上約束姿勢(shì)，例如在交叉點(diǎn)之前和之后。融合較長(zhǎng)的序列會(huì)產(chǎn)生更高的精度（圖6）



將ξi表示為視圖i的未知絕對(duì)姿態(tài)，將ξij表示為視圖j到i的已知相對(duì)姿態(tài)。對(duì)于任意參考視圖i，將所有單視圖預(yù)測(cè)的聯(lián)合似然表示為：

其中

表示姿勢(shì)合成運(yùn)算符。這是通過(guò)將每個(gè)概率體積Pj扭曲到參考幀i來(lái)有效計(jì)算的。也可以通過(guò)迭代扭曲和歸一化來(lái)定位連續(xù)流的每個(gè)圖像，就像經(jīng)典的馬爾可夫定位一樣。

實(shí)驗(yàn)：

在駕駛和AR的背景下評(píng)估了定位模型。圖4顯示了定性示例，而圖5說(shuō)明了多幀融合的有效性。

實(shí)驗(yàn)表明：

1）OrienterNet在2D地圖定位方面比現(xiàn)有的深度網(wǎng)絡(luò)更有效；

2） 平面圖比衛(wèi)星圖像更準(zhǔn)確地定位；

3） 在考慮多個(gè)視圖時(shí)，OrienterNet比嵌入式消費(fèi)級(jí)GPS傳感器準(zhǔn)確得多。

在MGL數(shù)據(jù)集的驗(yàn)證拆分上評(píng)估了OrienterNet的設(shè)計(jì)。這確保了攝像機(jī)、動(dòng)作、觀看條件和視覺(jué)特征的分布與訓(xùn)練集相同。報(bào)告了三個(gè)閾值1/3/5m和1/3/5°時(shí)的位置和旋轉(zhuǎn)誤差的召回



使用KITTI數(shù)據(jù)集考慮駕駛場(chǎng)景中的定位。為了評(píng)估零樣本性能使用了他們的Test2分割，該分割與KITTI和MGL訓(xùn)練集不重疊。圖像由安裝在城市和住宅區(qū)行駛的汽車上的攝像頭拍攝，并具有RTK的GT姿勢(shì)。使用OSM map來(lái)擴(kuò)充數(shù)據(jù)集。



用于增強(qiáng)現(xiàn)實(shí)（AR）的頭戴式設(shè)備的定位。 因?yàn)闆](méi)有公共基準(zhǔn)可以為在不同的戶外空間使用AR設(shè)備拍攝的圖像提供地理對(duì)齊的GT姿勢(shì)。因此用Aria眼鏡記錄了自己的數(shù)據(jù)集。它展示了AR的典型模式，帶有嘈雜的消費(fèi)者級(jí)傳感器和行人的視角和動(dòng)作。 包括兩個(gè)地點(diǎn)：i）西雅圖市中心，有高層建筑；ii）底特律，有城市公園和較低的建筑。記錄了每個(gè)城市的幾個(gè)圖像序列，所有圖像序列都大致遵循多個(gè)街區(qū)的相同循環(huán)。

記錄每幅校準(zhǔn)的RGB圖像和GPS測(cè)量值，并從離線專有的VI SLAM系統(tǒng)中獲得相對(duì)姿態(tài)和重力方向。通過(guò)基于GPS、VI約束和OrienterNet的預(yù)測(cè)聯(lián)合優(yōu)化所有序列來(lái)獲得偽GT全局姿態(tài)。



總結(jié)：

OrienterNet是第一個(gè)深度神經(jīng)網(wǎng)絡(luò)，可以在人類使用的2D平面圖中以亞米精度定位圖像。OrienterNet通過(guò)將輸入地圖與源自視覺(jué)觀察的心理地圖相匹配，模仿人類在環(huán)境中定位自己的方式。與機(jī)器迄今為止所依賴的大型且昂貴的3D地圖相比，這種2D地圖非常緊湊，因此最終能夠在大型環(huán)境中進(jìn)行設(shè)備上定位。OrienterNet基于OpenStreetMap的全球免費(fèi)地圖，任何人都可以使用它在世界任何地方進(jìn)行定位。

審核編輯：劉清