0. 這篇文章干了啥？

同步定位與地圖構(gòu)建 (SLAM) 是計算機視覺中的一個基本問題，旨在在同時跟蹤相機姿勢的同時對環(huán)境進行地圖構(gòu)建。基于學(xué)習(xí)的密集 SLAM 方法，尤其是神經(jīng)輻射場 (NeRF) 方法，在捕獲密集光度信息和提供準確的全局重建方面表現(xiàn)出顯著的進步，而傳統(tǒng)系統(tǒng)則基于稀疏點云或體素。然而，NeRF 方法仍然存在過度平滑、場景表示受限和計算效率低下等缺點。最近，基于高斯的 SLAM已成為一種利用體積輻射場的有前途的方法。利用顯式 3D 高斯表示，高斯 SLAM 可提供高保真渲染和細粒度場景重建，從而克服了基于 NeRF 的方法的局限性。

盡管高斯 SLAM 具有優(yōu)勢，但它在室內(nèi)場景中仍面臨顯著挑戰(zhàn)，因為室內(nèi)場景通常以無紋理表面和復(fù)雜的空間布局為特征。這些環(huán)境由于缺乏相機姿勢優(yōu)化所必需的足夠紋理細節(jié)而阻礙了穩(wěn)健的跟蹤。此外，由于遮擋或視野覆蓋有限，室內(nèi)場景的復(fù)雜幾何形狀通常會導(dǎo)致大量未觀察到的區(qū)域。這些看不見的區(qū)域?qū)Ω咚?SLAM 構(gòu)成了關(guān)鍵但尚未探索的挑戰(zhàn)，因為高斯表示很難在沒有多視圖優(yōu)化的情況下插入未觀察到的幾何形狀。因此，地圖上看不見的區(qū)域留下了大量的漏洞和空白，這個問題在以前的高斯 SLAM 研究中基本上被忽視了。

為了克服這些挑戰(zhàn)，我們利用著名的曼哈頓世界假設(shè)作為細化和完成場景幾何圖形的基礎(chǔ)策略。該假設(shè)認為，構(gòu)建的環(huán)境主要遵循網(wǎng)格狀結(jié)構(gòu)，表面和線條與三個正交方向?qū)R。這些線條和平面對高斯 SLAM 系統(tǒng)中的跟蹤和映射過程施加了有意義的約束。具體來說，我們涵蓋了跟蹤、映射和場景完成方面的增強。在跟蹤中，我們利用從結(jié)構(gòu)化場景中得出的線特征作為無紋理區(qū)域中的穩(wěn)健特征基礎(chǔ)，對這些線段進行反向投影和重新投影以進行姿勢優(yōu)化和全束調(diào)整。在映射中，我們對重新投影的線特征應(yīng)用光度損失來細化地圖。這種方法確保重建的場景緊密遵循環(huán)境的真實結(jié)構(gòu)，從而提高其幾何精度和渲染質(zhì)量。此外，曼哈頓世界假設(shè)有助于識別和插值結(jié)構(gòu)化表面，例如地板和天花板。這些平面對于定義空間的整體幾何形狀至關(guān)重要，但在捕獲的視圖中通常會被部分遮擋或缺失。通過分割這些不完整的表面（通過提取的線作為邊界進行細化），我們可以通過生成新的高斯函數(shù)來預(yù)測它們在直接觀察到的部分之外的延續(xù)。這種策略使我們能夠優(yōu)化場景中大表面的表示，從而增強渲染地圖的完整性。最后，我們通過泊松重構(gòu)合并正則化項，將高斯表示壓縮為網(wǎng)格表面。這種方法能夠提取以前在高斯 SLAM 系統(tǒng)中無法獲得的高質(zhì)量網(wǎng)格，使其隨時可用于下游任務(wù)。

下面一起來閱讀一下這項工作~

1. 論文信息

標題：Structure Gaussian SLAM with Manhattan World Hypothesis

作者：Shuhong Liu, Heng Zhou, Liuzhuozheng Li, Yun Liu, Tianchen Deng, Yiming Zhou, Mingrui Li

機構(gòu)：東京大學(xué)、哥倫比亞大學(xué)、國家信息學(xué)研究所、上海交通大學(xué)、薩爾州應(yīng)用科學(xué)大學(xué)、大連理工大學(xué)

原文鏈接：https://arxiv.org/abs/2405.20031v1

2. 摘要

高斯 SLAM 系統(tǒng)在提高實時重建的效率和保真度方面取得了重大進展。然而，這些系統(tǒng)在復(fù)雜的室內(nèi)環(huán)境中經(jīng)常會遇到不完整的重建，其特點是由于障礙物或有限的視角導(dǎo)致未觀察到的幾何形狀而產(chǎn)生大量空洞。為了應(yīng)對這一挑戰(zhàn)，我們提出了曼哈頓高斯 SLAM (MG-SLAM)，這是一個利用曼哈頓世界假設(shè)來提高幾何準確性和完整性的 RGB-D 系統(tǒng)。通過無縫集成來自結(jié)構(gòu)化場景的融合線段，MG-SLAM 可確保在無紋理的室內(nèi)區(qū)域中進行穩(wěn)健的跟蹤。此外，提取的線和平面假設(shè)允許在缺失幾何形狀的區(qū)域中戰(zhàn)略性地插入新的高斯函數(shù)，從而實現(xiàn)高效的場景完成。在合成場景和真實世界場景上進行的大量實驗表明，這些進步使我們的方法能夠?qū)崿F(xiàn)最先進的性能，標志著高斯 SLAM 系統(tǒng)功能的顯著提升。

3. 效果展示

MG-SLAM 利用線段在相機姿態(tài)估計和場景重建方面實現(xiàn) SOTA 結(jié)果。此外，通過應(yīng)用結(jié)構(gòu)表面約束，我們通過對缺失的幾何體進行新的高斯插值來增強和完善場景。

在Replica Apartment 數(shù)據(jù)集場景 frl_apartment_4 上的線段提取結(jié)果的消融實驗。

4. 主要貢獻

? 我們提出了 MG-SLAM，這是一種新穎的 RGB-D 高斯 SLAM 系統(tǒng)，它利用了曼哈頓世界假設(shè) [5]。該假設(shè)引入了線和平面，用于神經(jīng)密集型 SLAM 系統(tǒng)的穩(wěn)健跟蹤、地圖細化和表面補全。

? 我們使用提取的代表平面邊界的線段建立假設(shè)表面。這些表面指導(dǎo)我們有效地插入新的高斯函數(shù)來填補重建地圖中的間隙和空洞，無縫解決當前高斯 SLAM 系統(tǒng)由于未觀察到的幾何形狀而面臨限制的區(qū)域。

? 在大型合成和真實世界數(shù)據(jù)集上進行的大量實驗表明，我們的系統(tǒng)提供了最先進的 (SOTA) 跟蹤和全面的地圖重建，在真實世界場景中實現(xiàn)了 ATE 降低 50% 和 PSNR 增強 5dB，同時以極高的幀速率運行。這些進步明顯優(yōu)于以前的高斯 SLAM 系統(tǒng)。

5. 基本原理是啥？

所提出的 MG-SLAM 的兩階段流水線圖示。上部可視化了跟蹤和建圖系統(tǒng)的并行過程。下部展示了場景完成和網(wǎng)格提取的后優(yōu)化。在曼哈頓世界假設(shè)的約束下，MG-SLAM 引入了線段和結(jié)構(gòu)化表面來增強相機姿態(tài)估計和地圖重建。我們利用一種特定的策略來融合線段，以確保可靠地識別線特征。高斯表示，包括專用于線段重建的專用損失項。

6. 實驗結(jié)果

使用表 1 中的 ScanNet 數(shù)據(jù)集和Replica-V1 數(shù)據(jù)集對重建質(zhì)量進行了定量評估。我們的方法提供了 SOTA 結(jié)果，在兩個數(shù)據(jù)集上的 PSNR 均顯著優(yōu)于其他基于高斯的方法 4dB。跟蹤評估結(jié)果如表 2 所示。我們的方法顯著降低了 ATE RMSE（cm）誤差，比高斯基線提高了 50%。此外，得益于我們的線融合策略，MG-SLAM 還表現(xiàn)出優(yōu)于傳統(tǒng) SLAM 系統(tǒng)的跟蹤性能。

為了評估系統(tǒng)在大型室內(nèi)環(huán)境中的穩(wěn)健性，我們在 Replica Apartment 數(shù)據(jù)集上評估了 MG-SLAM。該數(shù)據(jù)集包含廣泛的多房間場景、復(fù)雜的物體幾何形狀和跨房間的循環(huán)軌跡。表 3 展示了我們的方法與 SplaTAM和 MonoGS在五個選定場景中的渲染質(zhì)量對比。MG-SLAM 在這些基線上顯示出顯著的改進，特別是在具有兩層八室布局的廣泛公寓 0 場景中實現(xiàn)了 7dB 的改進。這種最佳性能主要歸功于融合線段的加入，這為環(huán)路閉合和姿勢優(yōu)化奠定了堅實的基礎(chǔ)。圖 5 展示了公寓場景的新視圖渲染結(jié)果。我們的方法在幾何精度和精細細節(jié)豐富度方面比高斯基線有顯著的增強。

7. 總結(jié)

在本研究中，我們提出了 MG-SLAM，這是一種基于曼哈頓世界假設(shè)的高斯 SLAM 方法。MG-SLAM 采用線段進行穩(wěn)健的姿態(tài)估計和地圖細化。此外，通過利用線段和平面假設(shè)，我們可以在缺失幾何的間隙上有效地插入新的高斯函數(shù)。大量實驗表明，我們的方法提供了最先進的跟蹤和映射性能。