Motivations:

用粗略模型(長(zhǎng)方體或橢球體)表示的對(duì)象可能不夠精確，無(wú)法改善相機(jī)的位姿跟蹤。

目前SOTA目標(biāo)檢測(cè)器對(duì)視角和光照變化具有很強(qiáng)的魯棒性，這對(duì)于從大量不同視角恢復(fù)相機(jī)姿態(tài)非常有利。

缺乏用于構(gòu)建面向?qū)ο蟮貓D的全自動(dòng)系統(tǒng)，都有著一定的假設(shè)。

Contributions:

結(jié)合對(duì)象和點(diǎn)的優(yōu)點(diǎn)，提出了一種改進(jìn)的重定位方法，能夠從大量不同的視角中估計(jì)相機(jī)位姿。

提出了一種全自動(dòng)的SLAM系統(tǒng)，能夠在飛行中識(shí)別、跟蹤和重建對(duì)象。

Background and Related Works:

1. 對(duì)象建圖

Crocco使用簡(jiǎn)化相機(jī)模型，提出了一種封閉形式的公式來估計(jì)來自多視圖目標(biāo)檢測(cè)的對(duì)偶二次曲面。Rubino將其拓展到針孔相機(jī)模型。Chen等人解決了前向移動(dòng)中初始化對(duì)象估計(jì)問題。

2. 基于對(duì)象的定位

Weinzaepfel等人利用查詢圖像中出現(xiàn)的對(duì)象與參考圖像中出現(xiàn)的對(duì)象之間的稠密2D-3D對(duì)應(yīng)關(guān)系來計(jì)算相機(jī)的位姿，但該方法僅限于平面對(duì)象。

一些工作使用了更通用的對(duì)象，用橢球表示。然而這些方法僅從對(duì)象估計(jì)相機(jī)姿態(tài)，并假設(shè)一個(gè)預(yù)構(gòu)建的對(duì)象地圖。[11]只估計(jì)相機(jī)的位置，假設(shè)方向已知。[38]專注于3D感知橢圓對(duì)象檢測(cè)。

3. 基于對(duì)象的SLAM

Bao等人在定位和建圖中引入了對(duì)象，在一個(gè)SfM框架中識(shí)別和定位對(duì)象。McCormac等人和Sünderhauf等人將RGB-D SLAM和語(yǔ)義分割和對(duì)象檢測(cè)相融合，獲得具有語(yǔ)義注釋的稠密點(diǎn)云。

QuadricSLAM使用對(duì)偶二次曲面作為3D地標(biāo)，共同估計(jì)相機(jī)位姿和對(duì)偶二次曲面參數(shù)。EAO-SLAM在半稠密的SLAM中集成對(duì)象，利用不同的統(tǒng)計(jì)信息來提高數(shù)據(jù)關(guān)聯(lián)的魯棒性。Hosseinzadeh將點(diǎn)、平面和二次曲面聯(lián)合為基于因子圖的SLAM。SO-SLAM中，Liao等人使用手工提取的平面為對(duì)象添加支撐約束，以及語(yǔ)義尺度先驗(yàn)和對(duì)象約束。ROSHAN利用邊界框檢測(cè)、圖像紋理、語(yǔ)義知識(shí)和對(duì)象形狀先驗(yàn)來推斷橢球模型，并解決前向平移車輛運(yùn)動(dòng)下的可觀察性問題。CubeSLAM使用長(zhǎng)方體來表示對(duì)象，使用2D邊界框和消失點(diǎn)采樣從單圖中生成對(duì)象候選。Frost等人用球體建模對(duì)象，并使用它們解決SLAM中的尺度不確定和漂移問題。

4. 基于對(duì)象的SLAM重定位

只有Dudek等人利用SLAM中的語(yǔ)義地圖進(jìn)行重定位。Mahattansin等人利用對(duì)象檢測(cè)改進(jìn)了視覺SLAM的重定位，但對(duì)象檢測(cè)知識(shí)用來更好地篩選候選關(guān)鍵幀，相機(jī)位姿仍使用與最相似的關(guān)鍵幀的點(diǎn)匹配估計(jì)得到。

Methodology:

1. 橢球體對(duì)象表示

9DoF表示，3DoF表示軸長(zhǎng)，3DoF表示方向，3DoF表示位置。其方程可以用對(duì)偶空間的封閉形式表示。橢球體定義為4×4矩陣Q*,橢圓定義為3×3矩陣C*。

2. 目標(biāo)檢測(cè)與關(guān)聯(lián)

目標(biāo)檢測(cè)器：YOLO (只考慮評(píng)分高于0.5的檢測(cè))

2.1 基于box的對(duì)象追蹤

在重建之前，基于邊界框重疊和標(biāo)簽一致性在2D幀中跟蹤對(duì)象在兩幀之間的運(yùn)動(dòng)相對(duì)較小和平滑時(shí)短期有效。

考慮3D重建來獲得長(zhǎng)期的跟蹤，將其橢球模型投影到當(dāng)前幀中，并利用該幀中與目標(biāo)檢測(cè)的重疊來尋找關(guān)聯(lián)。

結(jié)合以上兩種情況，使用匈牙利算法找到最優(yōu)關(guān)聯(lián)，該最大化匹配總分，以便在N次檢測(cè)和M個(gè)對(duì)象之間找到最佳的可能分配。

2.2 基于點(diǎn)的對(duì)象追蹤

在相機(jī)位姿估計(jì)過程中，將圖像關(guān)鍵點(diǎn)與地圖地標(biāo)進(jìn)行魯棒匹配，這些匹配可以用于鏈接檢測(cè)框和對(duì)象橢球：

1）在圖像中，如果一個(gè)關(guān)鍵點(diǎn)位于邊界框內(nèi)，它就與一個(gè)檢測(cè)相鏈接

2）在地圖中，如果一個(gè)點(diǎn)地標(biāo)位于橢球體內(nèi)，則與該對(duì)象相鏈接

如果檢測(cè)和地圖對(duì)象之間至少存在τ個(gè)基于點(diǎn)的匹配，則關(guān)聯(lián)。

3. 初始對(duì)象重建

當(dāng)通過相機(jī)中心的光線與對(duì)象檢測(cè)中心的光線之間的角度變化為10°以上時(shí)，創(chuàng)建其3D橢球的初始估計(jì)。為了盡快地獲得對(duì)象的3D估計(jì)，對(duì)象最初被重建為球體，然后隨著視角的增加，細(xì)化為橢球體的形式。

球體的位置是從邊界框的中心進(jìn)行三角測(cè)量，半徑被確定為邊界框的平均大小。

其中，為在第i個(gè)相機(jī)坐標(biāo)系中的對(duì)象中心z坐標(biāo)，和為第i幀檢測(cè)框的寬度和高度，和為相機(jī)內(nèi)參，n為對(duì)象被追蹤到的幀數(shù)。

然后將該球體細(xì)化為橢球體，更新其軸長(zhǎng)和位姿，以最小化重投影誤差的形式進(jìn)行改進(jìn)。當(dāng)經(jīng)過足夠幀數(shù)(通常為40幀)重構(gòu)和細(xì)化對(duì)象，3D IoU超過閾值時(shí)，將對(duì)象集成到地圖中。

4. 局部對(duì)象建圖

4.1 對(duì)象優(yōu)化

與ORB-SLAM2的局部束調(diào)節(jié)類似，對(duì)象模型也會(huì)定期進(jìn)行優(yōu)化，每當(dāng)一個(gè)新的關(guān)鍵幀觀察到地圖中存在的對(duì)象時(shí)，就會(huì)通過最小化重投影誤差來優(yōu)化對(duì)象。

其中，為第j次檢測(cè)框的內(nèi)切橢圓， 為第i個(gè)對(duì)象的對(duì)偶矩陣，為第j個(gè)關(guān)鍵幀的投影矩陣，為第j個(gè)關(guān)鍵幀的目標(biāo)檢測(cè)評(píng)分，N為對(duì)象觀測(cè)數(shù)量。

4.2 對(duì)象合并

系統(tǒng)定期檢查重復(fù)的對(duì)象，如果它們的3D IoU超過0.2，并且一個(gè)橢球體的中心位于另一個(gè)橢球體的內(nèi)部或者共享超過 個(gè)3D點(diǎn)，則合并這兩個(gè)對(duì)象。

對(duì)關(guān)鍵幀中的兩個(gè)對(duì)象跟蹤的檢測(cè)框進(jìn)行組合，并初始化一個(gè)新的橢球。

5. 使用對(duì)象重定位

當(dāng)重構(gòu)地圖上的點(diǎn)與關(guān)鍵幀顯著不同時(shí)，基于BoW的方法經(jīng)常失敗。因此采用基于對(duì)象的方法增強(qiáng)重定位，對(duì)視角改變更加魯棒。

由于PnP計(jì)算出的位姿比從對(duì)象對(duì)應(yīng)關(guān)系中得到的位姿更準(zhǔn)確，主要思想是引導(dǎo)點(diǎn)與從對(duì)象對(duì)應(yīng)關(guān)系中計(jì)算出的姿態(tài)進(jìn)行匹配。然后采用點(diǎn)對(duì)應(yīng)關(guān)系使用PnP進(jìn)行定位。

基于對(duì)象的方法：根據(jù)橢圓-橢球的類別建立了橢圓-橢球?qū)Γ看蔚辽龠x擇三對(duì)組合，在中心使用P3P算法計(jì)算相機(jī)位姿。對(duì)于P3P解出的四種解，橢球體被投影并且基于重疊關(guān)聯(lián)檢測(cè)，代價(jià)計(jì)算為每個(gè)關(guān)聯(lián)對(duì)的(1-IoU)之和，選擇四種解中代價(jià)最小的相機(jī)位姿。

然后將基于對(duì)象方法得到的位姿通過ORB-SLAM2的局部匹配步驟來識(shí)別關(guān)鍵點(diǎn)-地標(biāo)對(duì)應(yīng)關(guān)系，選擇最小代價(jià)且超過30個(gè)關(guān)鍵點(diǎn)-地標(biāo)匹配的位姿，在點(diǎn)上進(jìn)行優(yōu)化。

Experiments:

1. 對(duì)象建圖

與EAO-SLAM的對(duì)比

2. 對(duì)象vs點(diǎn)

2.1 重定位

2.2 在束調(diào)整中集成對(duì)象

3. AR應(yīng)用

3.1 重新初始化3D追蹤

3.2 SLAM恢復(fù)

1-4）在3D中跟蹤相機(jī)，并建立點(diǎn)和對(duì)象的地圖

5-6）由于相機(jī)的突然運(yùn)動(dòng)，跟蹤丟失了

7-9）當(dāng)重構(gòu)的場(chǎng)景再次可見時(shí)，重定位模塊從對(duì)象中估計(jì)相機(jī)姿態(tài)，建立點(diǎn)匹配，并使跟蹤和建圖繼續(xù)進(jìn)行。

4. 按部分建模

相機(jī)重定位需要足夠數(shù)量的對(duì)象（3），當(dāng)相機(jī)靠近時(shí)，可能只有一到兩個(gè)對(duì)象可見。解決方法：微調(diào)檢測(cè)器網(wǎng)絡(luò)，以檢測(cè)對(duì)象的可區(qū)分部分。

近距離情況下，雕像的部分(頭、肩膀和底部)被用于重新定位，當(dāng)遠(yuǎn)距離情況下，只使用完整的對(duì)象檢測(cè)。

Discussion and Future work:

考慮將基于對(duì)象的推理與靜態(tài)/動(dòng)態(tài)識(shí)別相結(jié)合。

審核編輯 ：李倩