針對具有挑戰性的光照條件和惡劣環境，本文提出了LIR-LIVO，這是一種輕量級且穩健的激光雷達-慣性-視覺里程計系統。通過采用諸如利用深度與激光雷達點云關聯實現特征的均勻深度分布等先進技術，以及利用Superpoint和LightGlue實現的自適應特征匹配，LIR-LIVO實現了低計算成本下的最先進的（SOTA）精度和魯棒性。

? 文章：

LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features

? 作者：

Shujie Zhou, Zihao Wang, Xinye Dai, Weiwei Song, Shengfeng Gu

? 論文鏈接：

https://arxiv.org/abs/2502.08676

? 編譯：

INDEMIND

01本文核心內容

我們提出了一種輕量級、魯棒且抗光照變化的激光雷達-慣性-視覺里程計系統（LIR-LIVO），該系統利用基于深度學習的抗光照變化特征點和激光雷達-視覺深度關聯，實現了低計算成本和高魯棒性。

我們提出的方法繼承了FAST-LIO2的直接法來進行激光雷達慣性里程計，通過優化點到平面的距離來實現狀態估計。為了更有效地利用激光雷達點云來輔助視覺特征點的深度，我們采用掃描重組將高頻、連續采樣的激光雷達點云分割成與相機采樣時間戳對應的獨立激光雷達掃描，確保激光雷達和相機的頻率一致。隨后，我們應用順序更新算法，聯合使用LIO和VIO系統來更新狀態。

通過將激光雷達點與視覺特征點關聯起來，可以直接獲得視覺特征在空間中的精確3D位置，從而無需進行視覺三角測量以及更新和維護視覺特征3D點。這種方法提高了VIO系統的效率和視覺3D點的精度。此外，所提出算法的一個關鍵創新在于整合了使用卷積神經網絡提取的深度視覺特征，并利用了輕量級、高效且基于深度學習的特征匹配算法。這種方法在光照變化顯著和快速移動的場景中表現出色，從而顯著增強了在諸如激光雷達和光照條件均不佳的環境中激光雷達-慣性-視覺里程計的魯棒性。

本文的貢獻可概括為：

? 提出了一種穩健、輕量級、抗光照變化的激光雷達-慣性-視覺里程計系統，適用于激光雷達和視覺條件惡劣的環境。通過迭代卡爾曼濾波器在測量層面緊密融合激光雷達、視覺和慣性傳感器，其中激光雷達掃描點云為視覺特征提供精確的深度信息。

? 該系統利用基于深度學習的Super-Point算法進行自適應視覺特征提取，以及LightGlue算法進行高效特征匹配。它們在顯著光照變化下的卓越魯棒性極大地增強了視覺慣性里程計子系統的抗干擾能力，確保在視覺條件不佳的環境中也能可靠運行。

? 視覺慣性里程計子系統設計為輕量級組件，并借助激光雷達深度關聯，消除了維護和更新視覺3D地標和子地圖的必要性。它僅在滑動窗口內保留有限數量的歷史關鍵幀，以構建用于優化的重投影誤差。還應用了優化的特征點深度分布來增強姿態估計。

所提出系統已在GitHub上開源。

02方法架構

圖2展示了我們系統的概覽，該系統由兩個主要組件構成：基于直接法的激光雷達模塊，其與相機幀的時間同步，以及具有深度學習前端的輕量級視覺模塊。

利用Sweep重組來同步激光雷達幀和相機幀的時間戳。因此，ESIKF過程通過順序更新執行，使激光雷達更新的姿態能夠作為視覺處理的高精度先驗。Super-Point和LightGlue用于構建視覺前端，特征點深度直接與激光雷達點云相關聯。在此過程中，對特征點的深度進行濾波，以確保深度分布均勻。對于激光雷達點云管理，我們采用與FAST-LIO2相同的策略，使用ikd-Tree。我們不是直接維護用于視覺的3D地標地圖，而是將每一幀的特征點及其對應的深度存儲在相應相機幀的數據結構中，同時維護一個使用滑動窗口固定相機幀數。在激光雷達和視覺中，點到平面誤差和重投影誤差分別用于姿態估計。

03實驗結果

A.評估數據集

用于性能評估和分析的數據集，包括FAST-LIVO-Dataset、R3LIVE-Dataset、NTU-VIRAL以及Hilti'22。這些數據集分為兩類：第一類包含有參考地面真實值的數據集，如NTU-VIRAL和Hilti'22；第二類則沒有參考地面真實值，但其軌跡的起始點和終點之間存在一致的重疊，例如FAST-LIVO-Dataset和R3LIVE-Dataset。NTU-VIRAL數據集是通過無人機采集的，而其余三個數據集則是手持采集的。

所有實驗均在一臺配備英特爾酷睿i7-14700K處理器、32GB內存和NVIDIA GeForceRTX 4080Super圖形處理器的消費級計算機上進行。

B.基準實驗

在本次實驗中，我們對來自NTU-VIRAL、Hilti'22、R3LIVE-Dataset和FAST-LIVO-Dataset的20個序列進行了廣泛的評估。

除了我們提出的LIR-LIVO方法外，還使用了幾個最先進的（SOTA）開源算法進行比較，包括R3LIVE，一種密集直接激光雷達-慣性-視覺里程計系統；FAST-LIO2，一種直接激光雷達-慣性里程計系統；FAST-LIVO，一種快速直接激光雷達-慣性-視覺里程計系統；SR-LIVO，一種基于R3LIVE的基于掃掠重建的激光雷達-慣性-視覺里程計系統。

我們直接從各自的GitHub存儲庫下載了SOTA算法，并使用了它們推薦的室內和室外激光雷達配置。對于SR-LIVE和FAST-LIVO，我們通過引入魚眼相機模型和新的激光雷達數據格式擴展了原始實現。此外，在R3LIVE中，我們禁用了相機內參和外參的實時在線估計，以確保所有估計策略的一致性。除了這些修改之外，所有參數，如提取的特征點數量、光流跟蹤中的金字塔層級以及視覺觀測的協方差保持為作者在其源代碼中提供的默認配置。所有算法的結果分別在表II和表III中給出。

如表II所示，LIR-LIVO算法在大多數序列中實現了最低的均方根（RootMeanSquare，RMS）絕對平移誤差，突顯了其相較于其他先進方法的卓越精度。對于NTU-VIRAL數據集，LIR-LIVO一直優于FAST-LIO2、R3LIVE和FAST-LIVO等競爭對手。例如，在“eee01”序列中，LIR-LIVO的誤差為0.139米，顯著低于FAST-LIO2和FAST-LIVO。在Hilti'22數據集上，LIR-LIVO表現卓越，在“Exp06”序列中實現了0.038米的誤差，顯著優于SR-LIVO和FAST-LIVO。

這些結果表明LIR-LIVO在處理NTU-VIRAL和Hilti'22序列時具有強大的穩健性和準確性，在各種環境中始終超越現有方法。在Hilti數據集的比較中，由于缺少外部IMU配置，R3LIVE被排除在測試之外。“Exp14”、“Exp16”和“Exp18”序列是在室內環境中記錄的。如圖5所示，Hilti'22數據集存在光照條件差的問題，這進一步加大了視覺前端和位姿估計的難度，導致FAST-LIVO和SR-LIVO表現不佳，在具有挑戰性的序列上出現失敗。

表格III部分總結了不同序列中的3D端到端誤差（米）。SR-LIVO在“hku校園序列00”中誤差最低，而LIR-LIVO在“hku校園序列02”中表現更優，誤差為0.051米，并且在“退化序列00”中表現出色。FAST-LIVO在“退化序列00”中表現不佳。R3LIVE在“hku公園00”等較簡單的情況下表現良好，但總體上不夠穩定。LIR-LIVO在大多數場景中都表現出較強的魯棒性，尤其是在具有挑戰性的條件下。

C.時間消耗分析

如表IV所示，LIR-LIVO在各數據集上均表現出高效的時間消耗，其中VIO子系統對計算時間的貢獻最大，而LIO子系統則保持高效。盡管前端采用了基于深度學習的方法，但表IV顯示，在速度方面借助GPU加速后，其效率高于諸如Shi-Tomasi角點檢測和暴力匹配器等傳統方法。在VIO子系統中，視覺前端幾乎占了總計算時間的三分之二。大部分時間都消耗在滑動窗口中的幀與新幀之間的特征匹配上，這主要取決于滑動窗口的大小。表IV中的時間消耗是使用大小為5的滑動窗口測量得出的。

D.深度分布影響

在NTU-VIRAL數據集上進行了消融研究，以評估強制視覺特征點具有均勻深度分布的影響。具體而言，對每一幀中與深度相關的特征點進行排序，并均勻下采樣至50個點。這種策略顯著降低了ESIKF更新中涉及的矩陣維度，從而提高了計算效率。實驗結果如表V-C所總結，表明該方法優于原始方法，在七個序列上均有改進。

04總結

本文提出了LIR-LIVO，這是一種新型的激光雷達-慣性-視覺里程計系統，旨在解決激光雷達信號退化和復雜光照條件下的環境挑戰。所提出的系統結合了具有均勻深度分布的激光雷達深度關聯、基于深度學習的視覺特征以及輕量級視覺子系統，以實現高效且穩健的狀態估計。在基準數據集上的全面評估表明，LIR-LIVO在激光雷達退化環境中表現更優。