主要內(nèi)容：

提出了一種高效的線云重建方法，稱為ELSR，其利用了城市場(chǎng)景中常見(jiàn)的場(chǎng)景平面和稀疏的3D點(diǎn)，對(duì)于兩視圖，ELSR可以找到局部場(chǎng)景平面來(lái)引導(dǎo)線匹配，并利用稀疏的3D點(diǎn)來(lái)加速和約束匹配。

為了重建具有多個(gè)視圖的3D線段，ELSR利用了一種抽象方法，其基于有代表性的3D線的空間一致性來(lái)選擇它們。 實(shí)驗(yàn)表明，其方法可以有效地重建包含數(shù)千張大尺寸圖像的大型復(fù)雜場(chǎng)景的3D線條。

總的來(lái)說(shuō)，本文是一篇利用場(chǎng)景中的結(jié)構(gòu)化線條來(lái)構(gòu)建線云的算法。 其方法構(gòu)建的線云如下圖所示：



Contributions：

1、提出了一種從多個(gè)圖像中匹配線條和重建3D線條的有效方法，該方法易于使用，只需要SfM的結(jié)果作為先驗(yàn)

2、利用二維線和稀疏三維點(diǎn)之間的幾何關(guān)系來(lái)找到局部單應(yīng)性。這也是第一個(gè)利用這種簡(jiǎn)單而有效的幾何形狀進(jìn)行線段匹配的工作。

3、在大型圖像數(shù)據(jù)集上進(jìn)行評(píng)估時(shí)，ELSR在兩視圖匹配方面比現(xiàn)有算法快1000多倍；在多視圖重建中，ELSR比現(xiàn)有方法快4倍，3D線的數(shù)量增加了360%

Pipeline：

給定圖像序列，首先用SfM算法獲取相機(jī)姿態(tài)和稀疏的3D點(diǎn)；然后匹配兩視圖的線；最后從圖像序列中的所有匹配中提取代表性的3D線。 其包含三個(gè)組成部分：

1、單應(yīng)估計(jì)：使用具有兩條鄰域線的場(chǎng)景平面幾何來(lái)驗(yàn)證單應(yīng)，在此期間，粗糙點(diǎn)深度用于加速

2、引導(dǎo)匹配：將單條線與潛在的單應(yīng)性進(jìn)行匹配，并使用粗略的點(diǎn)深度來(lái)約束匹配。

3、線抽象：對(duì)于多個(gè)視圖，首先找到圖像對(duì)之間的線匹配的連接，并對(duì)空間一致性進(jìn)行評(píng)分；然后選擇具有代表性的匹配作為最終的3D線



兩視圖線匹配： 主要利用場(chǎng)景平面和點(diǎn)去引導(dǎo)兩視圖下的線段匹配。

成對(duì)線的單應(yīng)性：

當(dāng)Sang(H)小于給定的閾值時(shí)場(chǎng)景平面是正確的，并且H是有效的。

點(diǎn)引導(dǎo)的搜索單應(yīng)：

算法1是通過(guò)點(diǎn)引導(dǎo)尋找單應(yīng)的方法。 搜索單應(yīng)以找到滿足給定閾值的的成對(duì)線匹配，如下圖所示，共面的成對(duì)線在一個(gè)確定點(diǎn)上相交。因此沿著對(duì)極線搜索第二視圖中的交叉點(diǎn)。



將第一個(gè)相機(jī)矩陣表示為P，這是一個(gè)3×4的矩陣，設(shè)M和c4分別為左邊的3×3的子矩陣和P的最后一列，如果x的深度可得，則可以直接計(jì)算x在目標(biāo)空間的位置：

單應(yīng)引導(dǎo)的匹配：

算法2說(shuō)明了單應(yīng)引導(dǎo)的匹配策略，即尋找線li的第k個(gè)鄰域的單應(yīng)Hk，這可以通過(guò)建立KDtree來(lái)得到，用Hk表示線li的映射為：

如圖5所示：

之后可以使用深度約束來(lái)控制錯(cuò)誤的匹配，設(shè)l的端點(diǎn)為x，讓3D點(diǎn)鄰域的深度范圍為dmin和dmax，深度范圍可以用來(lái)約束x，但是其需要擴(kuò)展，因?yàn)閤可能超出深度范圍，特別是當(dāng)局部場(chǎng)景不連續(xù)時(shí)，但是，不知道目標(biāo)空間的單位，這可以通過(guò)利用像素和物體距離之間的聯(lián)系來(lái)確定擴(kuò)展，如下圖所示，將主點(diǎn)水平移動(dòng)tpix個(gè)像素以獲得β，然后計(jì)算與像素偏移對(duì)應(yīng)的深度偏移，最后將dmin和dmax分別縮小并擴(kuò)展以獲得深度范圍：

由此，線端點(diǎn)的深度為：

同一條線可能有多個(gè)單應(yīng)，其中一些是不正確的，因此利用鄰域的單應(yīng)去引導(dǎo)線，通過(guò)位置相似性為匹配打分：

從多個(gè)視圖中提取線：

兩個(gè)視圖中的每個(gè)匹配都將重建一個(gè)3D線段；因此需要將與同一條線相關(guān)的3D線段合并為簇。然而這很容易失敗，原因有三：

1）固定的閾值很容易產(chǎn)生不正確的簇；

2）錯(cuò)誤的匹配將導(dǎo)致糟糕的重建；

3）目前沒(méi)有魯棒的RANSAC方法來(lái)確認(rèn)線簇的inliers。

因此，ELSR從聚類中提取代表性的行，而不是合并它們，這可能更穩(wěn)健和高效。

提取包含兩個(gè)步驟：

1）計(jì)算3D線之間的空間相似性；

2）基于其與其他線的空間相似度，在所有視圖中抽象出具有代表性的3D線

實(shí)驗(yàn)： 在五個(gè)數(shù)據(jù)集上與四種現(xiàn)有方法比較評(píng)估了其ELSR。

表1是用到的數(shù)據(jù)集：



這是通過(guò)VisualSFM獲得的相機(jī)位姿和稀疏點(diǎn)云：



在兩視圖線匹配上，與LPI、LJL、GLM進(jìn)行了比較：



在線云重建上，與Line3D++進(jìn)行了比較：

審核編輯：劉清