0. 筆者個(gè)人體會(huì)

最近3D GS已經(jīng)徹底殺入了SLAM領(lǐng)域，光這一個(gè)月看見(jiàn)了好幾篇GS SLAM的工作。例如上海AI Lab的GS-SLAM、帝國(guó)理工戴森機(jī)器人實(shí)驗(yàn)室的Gaussian Splatting SLAM、CMU的SplaTAM。

今天筆者將為大家再分享一篇GS SLAM的最新開(kāi)源工作Gaussian-SLAM，同樣實(shí)現(xiàn)了照片級(jí)渲染的實(shí)時(shí)SLAM。不過(guò)大家都說(shuō)自己是第一個(gè)GS SLAM，但具體哪個(gè)SLAM更強(qiáng)，讀者可以運(yùn)行代碼對(duì)比一下~

下面一起來(lái)閱讀一下這項(xiàng)工作，文末附論文和代碼鏈接~

1. 效果展示

Gaussian-SLAM的渲染結(jié)果對(duì)比，Gaussian Splatting本身非常快，所以可以只看一下渲染精度。對(duì)比其他NeRF SLAM精度有明顯提升，但是沒(méi)有對(duì)比其他GS SLAM。

更多渲染結(jié)果的對(duì)比，但還是挺想看看和Gaussian Splatting SLAM等工作的對(duì)比效果的。

2. 具體原理是什么？

Gaussian-SLAM提出了用于seeding和優(yōu)化Gaussian splats的新策略，以將其從多視圖離線(xiàn)場(chǎng)景擴(kuò)展到RGBD序列。還擴(kuò)展了Gaussian splats來(lái)編碼幾何圖形并嘗試跟蹤場(chǎng)景表示。這里也推薦工坊推出的新課程《徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法和實(shí)戰(zhàn)(cartographer+LOAM+LIO-SAM)》。

當(dāng)輸入RGBD關(guān)鍵幀時(shí)，考慮到顏色梯度，首先對(duì)其進(jìn)行下采樣。然后將采樣點(diǎn)投影到3D空間，在這些采樣位置上用它們的均值初始化新的高斯。這些新的3D高斯被添加到稀疏區(qū)域的全局地圖的當(dāng)前活動(dòng)段中。輸入的RGBD關(guān)鍵幀與其他對(duì)活動(dòng)子圖有貢獻(xiàn)的關(guān)鍵幀一起臨時(shí)存儲(chǔ)。一旦新的高斯被整合到活動(dòng)子圖中，所有對(duì)活動(dòng)子圖有貢獻(xiàn)的關(guān)鍵幀都被渲染出來(lái)。隨后，對(duì)子圖輸入的關(guān)鍵幀計(jì)算深度和顏色損失。接著更新活動(dòng)子圖中3D高斯的參數(shù)。這個(gè)過(guò)程重復(fù)固定的迭代次數(shù)。

3. 和其他SOTA方法對(duì)比如何？

ScanNet數(shù)據(jù)集上的渲染效果對(duì)比，相比NeRF SLAM有了明顯提升，但同時(shí)是沒(méi)有對(duì)比其他GS SLAM。

對(duì)更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~