?導讀 本文是VCC馬雪奇同學對論文 SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit Neural Representations[1] 的解讀，該工作來自德國波恩大學攝影測量與機器人實驗室，已被機器人領域的頂級會議ICRA 2023收錄。 項目主頁： https://github.com/PRBonn/SHINE_mapping 該工作提出了一種基于隱式表達的大規(guī)模三維建圖的方法，它利用分層八叉樹的結構來存儲可學習的局部特征，并通過共享的淺層MLP將局部特征轉換為有符號距離場。相比于以往的工作，該方法能夠以更小的資源消耗，重建出更準確、更完整的大規(guī)模場景。 注：本文圖片與視頻均來自原論文與其項目主頁。

I 引言 對移動機器人而言，在大規(guī)模的室外場景中進行定位和導航是一項常見的任務。因此，一個精確的三維環(huán)境地圖變得尤為重要。重建的三維場景地圖除了要足夠精確，還應該盡可能地減少內(nèi)存消耗。而目前的建圖方法往往采用空間網(wǎng)格來表示三維地圖[2][3][4]，這種方法很難同時滿足精確建圖和減少內(nèi)存的要求。 最近，基于隱式神經(jīng)網(wǎng)絡的表示方法在精確重建網(wǎng)格的同時，還能保持低內(nèi)存消耗的要求。不過，這類方法通常應用于RGB-D數(shù)據(jù)構建的三維場景[5][6][7]，在LiDAR數(shù)據(jù)方面應用的不多。此外，這類方法只適用于小型場景，很難應用于大規(guī)模的室外場景中。 本次導讀論文從Takikawa等人[8] 的工作中得到啟發(fā)，通過構建稀疏的分層隱式神經(jīng)網(wǎng)絡表示，完成了對大規(guī)模場景的增量式重建。該方法利用八叉樹的稀疏數(shù)據(jù)結構來增量式地存儲學習到的局部特征，并基于一個淺層的MLP將學習到的局部特征轉換為有符號距離場。除此之外，該工作還設計了一個二值交叉熵損失函數(shù)，能夠高效地實現(xiàn)局部特征優(yōu)化。并且，該論文采用正則化的方法對特征更新進行約束，有效地緩解了在大規(guī)模場景建圖過程中遇到的災難性遺忘問題。實驗結果表明： (1) 在密集點云采樣區(qū)域，該方法的重建精度優(yōu)于基于TSDF的方法[4][9] 以及基于體積渲染的隱式神經(jīng)映射方法[7]； (2) 在稀疏點云采樣區(qū)域，該方法的重建完整度優(yōu)于非學習的方法[12]； (3) 相比于基于TSDF的方法，該方法重建的場景內(nèi)存消耗更小。

II 技術貢獻

本工作主要貢獻如下：

提出了一種新的基于稀疏分層八叉樹的大規(guī)模場景表示方法。該方法增量式地將學習到的局部特征向量存儲在八叉樹中，并通過一個淺層的神經(jīng)網(wǎng)絡將學習到的局部特征轉換為有符號距離值；

設計了一種二值交叉損失函數(shù)，能夠?qū)崿F(xiàn)快速且魯棒的局部特征值優(yōu)化；

通過對特征進行正則化，有效避免了災難性遺忘問題對大規(guī)模場景建圖的影響。

III 方法介紹 SHINE-Mapping以激光雷達點云作為輸入，利用稀疏分層八叉樹以及全局共享的MLP解碼器來隱式地表示連續(xù)空間中的有符號距離場。該方法以直接測量的點云作為監(jiān)督，通過在線優(yōu)化MLP解碼器輸出的有符號距離值來捕捉局部場景中的幾何信息。最后，該方法利用Marching Cubes[10]將有符號距離場轉換為顯式的網(wǎng)格信息。 隱式神經(jīng)地圖表示 首先，SHINE-Mapping將三維空間中的局部特征存儲在稀疏分層八叉樹中，實現(xiàn)了隱式地圖表示，有效地減少了建圖過程中的內(nèi)存開銷。其次，該方法將八叉樹中存儲的多層局部特征進行求和，并送入到MLP中進行解碼，從而得到三維空間中的有符號距離場。 此外，為了能夠快速查找局部空間中的特征信息，SHINE-Mapping將八叉樹中每一層特征信息存儲在一個哈希表中，并通過獨特的莫頓碼，將多維數(shù)據(jù)映射到一維。這樣的設計使得該方法能夠輕松地擴展地圖，而無需事先分配內(nèi)存，從而有效地提升了建圖速度。

圖1 SHINE-Mapping整體重建過程 圖1為SHINE-Mapping重建隱式表示地圖的整體過程。為了便于理解，上圖中僅描述了兩個層級的特征，綠色和藍色。該方法的流程為：對于任意的查詢點首先從最底層（第0層）開始，對的空間位置進行三線性插值，從而得到第0層的特征。然后以此類推，獲得第1層的特征信息。接著，該方法通過對多層的特征信息進行求和，得到合并后的特征，并將合并后的特征送入到MLP中，從而獲得位置點的有符號距離值。由于整個過程是可微的，因此可以通過反向傳播的方式對特征向量和MLP參數(shù)進行聯(lián)合優(yōu)化。 訓練與損失函數(shù) 因為LiDAR能夠提供準確的三維空間測距結果，因此該方法直接以LiDAR作為真值，以二值交叉熵作為損失函數(shù)來對特征向量和MLP參數(shù)進行監(jiān)督訓練。除此之外，由于該方法的網(wǎng)絡輸出是有符號距離值，為了能夠得到準確的輸出結果，該方法在損失函數(shù)中添加了一個Eikonal項[11]： 其中為網(wǎng)絡模型的輸出，為網(wǎng)絡模型的參數(shù)，為網(wǎng)絡模型的輸入。 得到的損失函數(shù)如下：其中，為超參數(shù)，其表示的權重。 增量式重建 在增量式重建工程中，由于每次重建只聚焦于當前的局部區(qū)域，忽略了之前重建區(qū)域的信息，往往會導致最終的全局重建性能下降。為了避免這種問題對重建結果的影響SHINE-Mapping在損失函數(shù)中添加了正則化項用于約束參數(shù)更新：其中，為權重，表示先前訓練數(shù)據(jù)的Loss對于參數(shù)變化的敏感性。為當前的參數(shù)值，為之前數(shù)據(jù)訓練收斂之后的參數(shù)值。增量式重建的損失函數(shù)如下：其中，為超參數(shù)，表示的權重。 IV 部分結果展示

接下來我們首先以虛擬場景數(shù)據(jù)集MaiCity dataset為例，展示SHINE-Mapping與之前方法 Voxblox、VDBFusion、Puma[12] 以及添加可微渲染 (Differentiable Rendering: DR) 的SHINE-Mapping的重建結果對比。第一行展示的是重建后的網(wǎng)格結果，其中，黑色線框部分為街道兩旁的“樹”；第二行展示的是重建結果的誤差圖，從藍色到紅色的顏色圖表示從-5cm到5cm的有符號重建誤差。

圖2 在MaiCity數(shù)據(jù)集上，不同方法的重建結果對比

表1為不同方法在MaiCity數(shù)據(jù)集上的重建質(zhì)量評價結果。可以看出，SHINE-Mapping與先前的大規(guī)模室外場景建圖方法相比，在完整性誤差，準確性誤差、Chamfer-L1誤差、完整度、F-score上均表現(xiàn) SOTA。

表1 不同方法在MaiCity數(shù)據(jù)集上的重建質(zhì)量對比

圖3 在MaiCity數(shù)據(jù)集上，SHINE-Mapping增量式重建過程

接下來是SHINE-Mapping在真實場景數(shù)據(jù)集Newer College dataset上的重建結果。第一行展示的是不同方法重建的Newer College網(wǎng)格結果，黑色線框部分為“樹”；第二行展示的是重建結果的誤差圖，從藍色到紅色的顏色圖表示從-50cm到50cm的有符號重建誤差。

圖4 在Newer College數(shù)據(jù)集上，不同方法的重建結果對比

?圖5 在Newer College數(shù)據(jù)集上，SHINE-Mapping的重建結果

表2為不同方法在Newer College dataset上的重建質(zhì)量評價結果。可以看到，在真實場景數(shù)據(jù)集上，相比于其他方法，SHINE-Mapping的重建質(zhì)量也是最好的。

表2 不同方法在Newer College數(shù)據(jù)集上的重建質(zhì)量對比

下圖描述了在MaiCity dataset與Newer College dataset兩個數(shù)據(jù)集實驗中，內(nèi)存消耗與建圖質(zhì)量之間的關系，地圖的分辨率從100cm到10cm。從對比結果可以看出，SHINE-Mapping方法可以使用更小的內(nèi)存資源來重建出質(zhì)量更高的室外地圖。

圖6 不同方法在內(nèi)存效率與重建誤差上的表現(xiàn)

下圖為SHINE-Mapping在KITTI dataset上的重建過程。可以看到，即使是大規(guī)模的實際復雜街道場景，該方法依然可以精確地重建出道路的真實樣貌。

圖7 SHINE-Mapping在KITTI數(shù)據(jù)集上的重建過程

V 總結與展望 本次導讀的論文提出了一種基于LiDAR的大規(guī)模三維場景建圖方法。與基于TSDF的方法不同，SHINE-Mapping方法使用基于八叉樹的隱式表示法，將學習到的隱式特征存儲在哈希表中，大大縮短了處理時間。其次，該方法將學習到的特征通過一個MLP轉換為有符號距離值，并通過Marching Cubes進行顯式化網(wǎng)格重建。除此之外，該方法通過對損失函數(shù)進行調(diào)整，并添加相應的正則化，避免了增量式重建過程中遇到的災難性遺忘問題。實驗結果表明，該方法能夠以較小的內(nèi)存重建出更為準確和完整的三維地圖。 VI 思考與討論 Q: SHINE-Mapping方法將局部特征信息存放入八叉樹中時，使用了其中的幾層呢？又是如何實現(xiàn)快速查找對應的特征信息的呢？ A: 如下圖所示，假設八叉樹為11層，SHINE-Mapping方法將最低的三層作為局部特征存放層，即第0，1，2層（分別對應圖中的紅色、綠色、藍色方格）。為了能夠加速建圖速度，SHINE-Mapping將八叉樹中第 0，1，2層的局部特征信息存儲在哈希表中，并且每一層對應一個哈希表。當需要查詢指定點的局部特征時，使用哈希表可以很快得到相應的特征信息。

圖8SHINE-Mapping對空間進行網(wǎng)格劃分，并得到局部特征信息 Q: 在增量式重建過程中，是否可以使用預訓練的MLP作為解碼器來得到相應的有符號距離值？ A: 是的，雖然本文提出的方法可以在訓練過程中聯(lián)合優(yōu)化八叉樹中的局部特征信息以及MLP中的參數(shù)，但是在實際增量式重建過程中，作者采用的是預訓練的MLP來得到對應位置的有符號距離值，一方面這樣可以加快重建的速度，另外一方面，在實驗過程中，使用預訓練的MLP可以得到更好的重建效果。 以下是開放性問題，歡迎讀者朋友留言討論： Q: SHINE-Mapping在增量式重建的過程中，實際上是增量式地更新空間中的局部特征信息，并在更新完整個地圖之后，使用MLP將局部特征信息轉換為有符號距離值，然后使用Marching Cubes來顯式的構建網(wǎng)格。因此，如果想在建圖的過程中，實時地查看重建的網(wǎng)格信息，則需要不斷地調(diào)用MLP和Marching Cubes，這將會導致實時的計算效率非常低。那么應該如何改進這一方法，或者是否可以使用其他的網(wǎng)格構建方法，使得在快速建圖過程中，能夠?qū)崟r地查看重建效果呢？