主要內(nèi)容：

提出了一種新的基于學(xué)習(xí)的用于車輛上的視覺定位算法，該算法可以在城市規(guī)模的環(huán)境中實(shí)時(shí)運(yùn)行。

算法設(shè)計(jì)了隱式姿態(tài)編碼，通過2個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)將圖像和相機(jī)姿態(tài)嵌入到一個(gè)共同的潛在表示中來計(jì)算每個(gè)圖像-姿態(tài)對的相似性得分。通過以分層的方式在潛在空間來評估候選者，相機(jī)位置和方向不是直接回歸的，而是逐漸細(xì)化的。算法占的存儲量非常緊湊且與參考數(shù)據(jù)庫大小無關(guān)。

Pipeline：

輸入為查詢圖像

輸出為查詢圖像的六自由度姿態(tài)（t，q）∈SE（3），t是平移向量，q是旋轉(zhuǎn)四元數(shù)。

訓(xùn)練是在帶有相機(jī)姿態(tài)label的數(shù)據(jù)庫圖像上進(jìn)行訓(xùn)練，沒有用額外的場景3D模型。

先通過圖像編碼器計(jì)算表示圖像向量。然后通過評估分布在地圖上的初始姿態(tài)候選來搜索相機(jī)姿態(tài)。姿態(tài)編碼器對相機(jī)姿態(tài)進(jìn)行處理以產(chǎn)生可以與圖像向量相匹配的潛在表示，每個(gè)候選姿態(tài)都會有一個(gè)基于到相機(jī)姿態(tài)的距離的分?jǐn)?shù)。高分提供了用于選擇新候選者的粗略定位先驗(yàn)。通過多次重復(fù)這個(gè)過程使候選池收斂到實(shí)際的相機(jī)姿態(tài)。

論文技術(shù)點(diǎn)：

圖像編碼器：

使用圖像編碼器從輸入的查詢圖像計(jì)算圖像特征向量。

編碼器架構(gòu)包括一個(gè)預(yù)訓(xùn)練的CNN backbone，然后是全局平均池以及一個(gè)具有d個(gè)輸出神經(jīng)元的全連接層。

特征向量比圖像檢索中常用的全局圖像描述符小一個(gè)數(shù)量級（使用d=256）以便在隨后的步驟中將其與一大組姿態(tài)候選進(jìn)行有效比較。

初始姿態(tài)候選：

起點(diǎn)是一組N個(gè)相機(jī)姿態(tài)，這是從參考姿態(tài)（=訓(xùn)練時(shí)相機(jī)姿態(tài)）中采樣。通過這種初始選擇為定位過程引入了先驗(yàn)，類似于選擇錨點(diǎn)姿態(tài)。

姿態(tài)編碼器：

姿態(tài)候選通過一個(gè)神經(jīng)網(wǎng)絡(luò)處理，輸出潛在向量，這種隱式表示學(xué)習(xí)到了給定場景中的相機(jī)視點(diǎn)與圖像編碼器提供的特征向量之間的對應(yīng)關(guān)系。

首先使用傅立葉特征將相機(jī)姿態(tài)的每個(gè)分量（tx，ty，tz，qx，qy，qz，qw）投影到更高維度：

，因?yàn)樗兄诰哂械途S輸入的網(wǎng)絡(luò)擬合高頻函數(shù)。然后使用具有4層256個(gè)神經(jīng)元和隱藏層為ReLU激活的MLP。每一組候選姿態(tài)都是在一次batch的前向傳遞中計(jì)算出來的。

相似性分?jǐn)?shù)：

為每個(gè)圖像-姿態(tài)對計(jì)算余弦相似性來獲得相似性得分s。

在點(diǎn)積之后添加一個(gè)ReLU層，使得s∈［0，1］。

直觀地說，其目標(biāo)是學(xué)習(xí)與實(shí)際相機(jī)姿態(tài)接近的候選姿態(tài)的高分。

有了這個(gè)公式后可以評估關(guān)于相機(jī)姿態(tài)的假設(shè)，并搜索得分高的姿態(tài)候選者。

相似性分?jǐn)?shù)定義為：

建議新的候選姿態(tài)：

基于在上一次迭代中使用的姿態(tài)候選獲得的分?jǐn)?shù)，為這一次迭代選擇新的姿態(tài)候選。

首先選擇得分最高的B=100的姿態(tài)

然后從（hi）中以高斯混合模型的方式對新的候選者進(jìn)行采樣：

迭代姿態(tài)優(yōu)化：

在每次迭代之后，將噪聲向量除以2，使得新的候選者被采樣為更接近先前的高分。

因此可以在千米級地圖中收斂到精確的姿態(tài)估計(jì)，同時(shí)只評估有限的稀疏姿態(tài)集。在每個(gè)時(shí)間步長獨(dú)立評估每個(gè)相機(jī)幀，但可以使用以前時(shí)間步長的定位先驗(yàn)來減少車輛導(dǎo)航場景中的迭代次數(shù)。

每次迭代時(shí)所選姿態(tài)的示例如圖2所示。通過對初始姿態(tài)的N個(gè)候選進(jìn)行采樣，保留了一個(gè)恒定的記憶峰值。

姿態(tài)平均：

最終的相機(jī)姿態(tài)估計(jì)是256個(gè)得分較高的候選姿態(tài)的加權(quán)平均值，與直接選擇得分最高的姿態(tài)相比，它具有更好的效果。使用分?jǐn)?shù)作為加權(quán)系數(shù)，并實(shí)現(xiàn)3D旋轉(zhuǎn)平均。

損失函數(shù)：

通過計(jì)算參考圖像和以K種不同分辨率采樣的姿態(tài)候選者之間的分?jǐn)?shù)來訓(xùn)練網(wǎng)絡(luò)，

其中，st是基于相機(jī)姿態(tài)和候選姿態(tài)之間的平移和旋轉(zhuǎn)距離來定義。

實(shí)驗(yàn)：

與最近的方法在幾個(gè)數(shù)據(jù)集上進(jìn)行了比較，這些數(shù)據(jù)集涵蓋了大規(guī)模室外環(huán)境中的各種自動駕駛場景。

由于戶外環(huán)境的動態(tài)部分（移動物體、照明、遮擋等），這項(xiàng)任務(wù)極具挑戰(zhàn)性。

驗(yàn)證了其算法能夠在9個(gè)不同的大型室外場景中進(jìn)行精確定位。

然后展示了算法可以擴(kuò)展到多地圖場景

Baseline：

將ImPosing與基于學(xué)習(xí)的方法進(jìn)行比較。使用CoordiNet報(bào)告了牛津數(shù)據(jù)集上絕對姿態(tài)回歸結(jié)果作為基線。

將ImPosing與檢索進(jìn)行比較，使用了NetVLAD和GeM，使用全尺寸圖像來計(jì)算全局圖像描述符，然后使用余弦相似度進(jìn)行特征比較，然后對前20個(gè)數(shù)據(jù)庫圖像的姿態(tài)進(jìn)行姿態(tài)平均。

沒有使用基于結(jié)構(gòu)的方法進(jìn)行實(shí)驗(yàn)，因?yàn)槭褂?D模型進(jìn)行幾何推理，這些方法比更準(zhǔn)確，但由于存儲限制使得嵌入式部署變得困難。

在Oxford RobotCar和Daoxiang Lake數(shù)據(jù)集上的定位誤差比較

Daoxiang Lake是一個(gè)比Oxford RobotCar更具挑戰(zhàn)性的數(shù)據(jù)集，因?yàn)樗闹貜?fù)區(qū)域幾乎沒有判別特征，環(huán)境也多種多樣（城市、城郊、高速公路、自然等）。因此，圖像檢索的性能比姿態(tài)回歸差。ImPosing要準(zhǔn)確得多，并且顯示出比競爭對手小4倍的中值誤差。

在4Seasons數(shù)據(jù)集上的比較：

4Seasons數(shù)據(jù)集包含慕尼黑地區(qū)在不同季節(jié)條件下的各種場景（城市、居民區(qū)、鄉(xiāng)村）中記錄的數(shù)據(jù)。

因?yàn)槭轻槍囕v部署的視覺定位算法，比較了各種算法的性能效率：

論文的算法只需要在設(shè)備中存儲神經(jīng)網(wǎng)絡(luò)權(quán)重和初始姿態(tài)候選，其中圖像編碼器為23MB，姿態(tài)編碼器小于1MB，初始姿態(tài)候選為1MB。

在圖3中報(bào)告了不同類別視覺定位方法的內(nèi)存占用相對于參考數(shù)據(jù)庫大小的縮放規(guī)律。這是有大量數(shù)據(jù)可用的自動駕駛場景中的一個(gè)重要方面。對于給定的地圖，基于學(xué)習(xí)的方法具有恒定的內(nèi)存需求，因?yàn)榈貓D信息嵌入在網(wǎng)絡(luò)權(quán)重中。

總結(jié)：

提出了一種新的視覺定位范式，通過使用地圖的隱式表示，將相機(jī)姿態(tài)和圖像特征連接在一個(gè)非常適合定位的潛在高維流形中。

證明了通過一個(gè)簡單的姿態(tài)候選采樣過程，能夠估計(jì)圖像的絕對姿態(tài)。

通過提供一種高效準(zhǔn)確的基于圖像的定位算法，該算法可以實(shí)時(shí)大規(guī)模操作，使其可以直接應(yīng)用于自動駕駛系統(tǒng)。

但是方法的準(zhǔn)確性在很大程度上取決于可用的訓(xùn)練數(shù)據(jù)的數(shù)量。而且與回歸的方法類似，其不會泛化到遠(yuǎn)離訓(xùn)練示例的相機(jī)位置。

提出的方法可以在許多方面進(jìn)行改進(jìn)，包括探索更好的姿態(tài)編碼器架構(gòu)；找到一種隱式表示3D模型的方法，將隱式地圖表示擴(kuò)展到局部特征，而不是全局圖像特征。

審核編輯 ：李倩