主要內容： 提出了一種點線聯合優化方法來解決相機姿態估計問題，即設計了一個線提取CNN用于后續的線匹配和姿態優化過程，采用了一種基于極幾何約束和線重投影誤差過濾的由粗到細的匹配方法，還構建了一個點線聯合優化代價函數來優化相機姿態。在公開數據集上進行了充分的實驗，即Wireframe和YorkUrban上的線提取、Aachen Day Night v1.1和InLoc上的定位性能，確認了其點線聯合姿態優化方法的有效性。

論文出發點： 基于點特征的相機定位技術蓬勃發展，已經有許多論文方法提取圖像特征點、匹配以及基于點的建圖等，但是點特征對弱紋理區域和照明變化敏感，在某些情況下有結構特征的線條更具魯棒性；對于圖像中線的檢測，傳統方法如LSD、FLD和EDline通常依賴于低水平圖像梯度和邊緣特征，隨著深度學習的快速發展，基于卷積神經網絡（CNN）的線段檢測模型已經取得了優于傳統方法的性能，本文就是利用深度學習以及具有手動標注的線框注釋的大規模數據集的支持，訓練網絡模型捕獲結構化線段（例如，建筑輪廓、樓梯），同時忽略與紋理相關的線段（例如地毯圖案）等。

Contribution：

提出了一種線檢測CNN（VLSE），其利用了新穎的線段表示和基于Stacked Hourglass network的定制混合卷積塊。

設計了一種基于初始姿態的由粗到細的線匹配方法，利用極幾何約束和重投影過濾來選擇高質量的線匹配對。

采用一種包含更精確的線重投影誤差測量方法的點-線聯合優化代價函數來獲得最終的高精度姿態。

Pipeline：

輸入數據：用于建圖的數據庫圖像集、具有初始姿態的查詢圖像以及來自初始純點定位的2D-3D點對應。

整個算法有4個模塊： 模塊1是線提取，檢測用于建圖的數據庫圖像和用于2D-3D線匹配的查詢圖像上提取的線特征。 模塊2是線地圖重建，根據數據集的不同特征使用不同的策略重建3D線圖，對于可以用點稀疏重建的數據集使用一種基于SFM的名為Line3Dpp的現有方法，而對于具有深度圖像的數據集來說提出了一種輕量級的重建方法，該方法通過PnP和RANSAC的異常值過濾器將2D線直接映射到3D空間。 模塊3是線段匹配和過濾，基于給定的初始姿態，利用對極約束計算數據庫圖像和查詢圖像之間的粗略的2D線匹配，然后將數據庫圖像上的2D線映射到3D線圖上，并拒絕有較大重投影誤差的線匹配。 模塊4是點線聯合優化，給定初始姿態和來自點定位的對應點匹配，最小化點對應和線對應的重投影誤差以優化得到最終姿態

模塊1 線提取： 網絡直接預測代表單個線段的兩個端點的位置。 線表示：

傳統上，線表示為線段長度l和角度θ，如圖2（a）所示，其中Pr和Pl表示線段的左右端點，Vr是一個向量，表示Pr和中點Pm之間關系，傳統上預測角度θ將導致較大的線誤差，特別是對于長線段的預測，因為θ的微小偏差會對端點的位置產生很大影響。因此本文預測水平距離

，因為在訓練階段，作者發現位置偏移距離誤差比角度誤差更具鑒別性，此外采用dx和dy來生成Vr，而不是長度l和θ，如圖2（b）所示。Pl和Pr表示為： 線提取CNN：

Stacked Hourglass network (HG)為生成共享特征的backbone，通過一系列的下采樣和上采樣，融合不同尺度下的特征信息，HG的基本卷積塊如圖（a）所示，

包括兩個1×1卷積層和一個3×3卷積層，與目標檢測任務中的許多其他情況不同，沿直線方向向量的支持區域的長度遠大于沿直線法向量的區域的寬度，因此額外設計了兩個細長卷積核（7×1和1×7），將其計算結果與原始3×3連接起來作為融合從不同感受野提取的視覺特征的方法。 之后，生成F表示的共享特征圖。向線段檢測頭提供共享特征圖，通過預測中點和相應端點的位置來進一步計算線段。表示似然圖的二維圖像，其意味著每個子像素是否包含中點，然后計算中點置信度圖，然后計算Softmax層；為了恢復原始圖像中的像素級中點預測引入了額外的2D圖

以形成中點的局部偏移，采用Sigmoid以[0,1）×[0,1]對邊界進行歸一化；第三個二維圖

可推斷水平和垂直方向上相對于中點的端點位移。 ? 模塊2線匹配與濾波： 先通過圖像檢索方法找到與查詢圖像相似的一些數據庫圖像，然后利用提出的線提取CNN去提取線特征，利用極幾何約束去獲得一些候選的匹配線，

計算候選匹配線段之間的重疊率并將達到某個閾值的候選線保留為粗匹配線，在獲得粗略的2D-2D線匹配后利用3D線圖來建立2D-3D匹配，對于具有SFM模型的數據集采用了一種名為Line3Dpp的方法，對于具有深度圖像的數據集采用了一種輕量級重建方法，將二維直線直接映射到三維空間，然而由于前景和背景之間的深度不連續會生成錯誤的三維線從而影響線的精度，因此在數據庫圖像上應用帶RANSAC的PnP方法來過濾端點為異常值的直線，即如果線的兩個端點都是內聯線則保留數據庫圖像的相應2D-3D線匹配，最后利用重投影約束得到高質量的2D-3D直線匹配，計算具有初始姿態的查詢圖像上的2D線和相應3D線之間的重投影誤差，該誤差包含中點距離誤差和角度誤差，選擇距離和角度誤差最小的高質量線匹配作為細線匹配

其提出的線匹配方法在一些場景下的表現：

模塊4點線聯合優化相機姿態： 將傳統的點重投影約束與線約束相結合使相機優化更具魯棒性，在獲得查詢圖像的相機初始姿勢時，姿勢解算器中的2D-3D內點對應關系

實驗： 線段檢測網絡性能實驗，在Wireframe 和 YorkUrban數據集上進行實驗，

?

定位性能測試： 在Aachen Day Night v1.1和InLoc數據集上進行實驗。 亞琛的3D線地圖是通過COLMAP和Line3Dpp使用LSD線提取方法構建的，因為VLSE提取的線是完整的且不重復的，因此對線跟蹤不夠友好。通過將VLSE提取的2D線投影到深度圖像中來重建InLoc 3D線圖

為了驗證線優化和點線聯合優化導致的定位精度的提高，在具有相同初始姿態的不同成本函數下對上述兩個數據集進行了實驗。結果見表二

?

編輯：黃飛

?