本文提出一種新型主動(dòng)照明框架，通過動(dòng)態(tài)控制可移動(dòng)光源主動(dòng)照亮高紋理區(qū)域，顯著提升VO與VSLAM算法在極端光照條件下的性能。在真實(shí)機(jī)器人平臺(tái)上進(jìn)行的實(shí)驗(yàn)表明，相比傳統(tǒng)固定照明方法，本文方法可將姿態(tài)估計(jì)誤差最高降低75%。

? 文章：

Active Illumination for Visual Ego-Motion Estimation in the Dark

? 作者：

Francesco Crocetti, Alberto Dionigi, Raffaele Brilli, Gabriele Costante, Paolo Valigi

? 論文鏈接：

https://arxiv.org/abs/2502.13708

? 編譯：

INDEMIND

01 本文核心內(nèi)容

基于視覺的位姿估計(jì)是實(shí)現(xiàn)移動(dòng)機(jī)器人定位最廣泛采用的策略之一。過去幾十年間，多種高效的VO（視覺里程計(jì)）和VSLAM方法不斷涌現(xiàn)，而近期視覺-慣性融合技術(shù)的出現(xiàn)更是展現(xiàn)了卓越性能。

VO和VSLAM解決方案的有效性依賴于提魯棒且高區(qū)分性視覺特征的能力。這些特征可以是稀疏的、密集的，甚至是基于學(xué)習(xí)的。大多數(shù)前沿研究假設(shè)視覺估計(jì)系統(tǒng)的運(yùn)行條件接近理想狀態(tài)，即場(chǎng)景紋理豐富且光照條件適宜。然而，即使特征提取與跟蹤模塊的性能輕微下降，也可能導(dǎo)致整個(gè)估計(jì)流程的失敗。盡管如此，許多應(yīng)用（如災(zāi)害救援或地下勘探）要求機(jī)器人平臺(tái)在遠(yuǎn)非理想的環(huán)境中運(yùn)行。尤其是低光照或完全黑暗的環(huán)境，對(duì)基于視覺的系統(tǒng)而言是最具挑戰(zhàn)性的場(chǎng)景，因?yàn)榇祟惌h(huán)境幾乎完全無法提取有效的視覺線索。

一種直接的解決方案是為機(jī)器人配備強(qiáng)力廣角光源以照亮相機(jī)捕獲的整個(gè)場(chǎng)景。然而，這種方法存在兩個(gè)顯著缺陷：(i)能效低下，電池能量被浪費(fèi)在照亮無紋理區(qū)域（如平坦表面）；(ii)在大規(guī)模環(huán)境中，由于光線過度散射，光源功率可能不足以充分照亮整個(gè)場(chǎng)景。反之，采用固定式窄光束光源雖然能效更高，并可有效照亮場(chǎng)景的遠(yuǎn)距離部分以提升可見性，但由于大部分區(qū)域仍處于未照明狀態(tài)，特征跟蹤極易丟失。

受上述挑戰(zhàn)的啟發(fā)，本文提出了一種創(chuàng)新方法以推動(dòng)技術(shù)前沿。如圖1所示，我們?yōu)闄C(jī)器人配備搭載在機(jī)械臂上的窄光束光源，并開發(fā)了一種新方法用于識(shí)別場(chǎng)景中預(yù)期包含最顯著特征信息的區(qū)域。這使得我們能夠定義控制機(jī)械臂的設(shè)定點(diǎn)，動(dòng)態(tài)調(diào)整光束方向。相機(jī)圖像以預(yù)定義頻率持續(xù)采樣，并通過基于深度學(xué)習(xí)的增強(qiáng)網(wǎng)絡(luò)進(jìn)行處理，生成增強(qiáng)圖像流。隨后，系統(tǒng)分析這些圖像以確定目標(biāo)區(qū)域，進(jìn)而驅(qū)動(dòng)搭載LED聚光末端執(zhí)行器的機(jī)械臂調(diào)整光束聚焦位置。

據(jù)我們所知，這是首個(gè)通過機(jī)械臂實(shí)現(xiàn)主動(dòng)光束自適應(yīng)調(diào)整以支持基于視覺的位姿估計(jì)的方法。

02 主要貢獻(xiàn)

動(dòng)態(tài)特征區(qū)域識(shí)別：設(shè)計(jì)低光環(huán)境下圖像高特征密度區(qū)域動(dòng)態(tài)檢測(cè)方法；

主動(dòng)光源控制：提出信息驅(qū)動(dòng)策略控制可移動(dòng)光源聚焦環(huán)境紋理豐富區(qū)域；

實(shí)驗(yàn)驗(yàn)證：構(gòu)建搭載可控光源的機(jī)器人平臺(tái)，通過真實(shí)場(chǎng)景實(shí)驗(yàn)證明本方法顯著優(yōu)于現(xiàn)有技術(shù)。

03 方法架構(gòu)

在本研究中，我們考慮完全黑暗環(huán)境下的場(chǎng)景，以及配備帶有定向機(jī)械臂安裝光源的移動(dòng)機(jī)器人。所提出的主動(dòng)照明方法的目標(biāo)是為機(jī)器人平臺(tái)提供合適的光束方向控制策略，以通過VO或VSLAM算法獲得最佳的機(jī)器人位姿估計(jì)。

為此，我們?cè)O(shè)計(jì)了一種新型的低光條件下視覺定位框架。該框架利用圖像增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)（GAN）來識(shí)別高特征密度區(qū)域，并結(jié)合一種新型主動(dòng)照明策略和機(jī)械臂控制器對(duì)這些區(qū)域進(jìn)行照明。

圖2所示的開發(fā)框架圍繞一個(gè)核心要素——雙軸移動(dòng)光源展開。該組件賦予機(jī)器人動(dòng)態(tài)調(diào)節(jié)環(huán)境光照的能力。該主動(dòng)照明系統(tǒng)是一款閉環(huán)控制裝置，能夠在暗環(huán)境中實(shí)現(xiàn)光束的動(dòng)態(tài)調(diào)控。在VSLAM算法持續(xù)追蹤特征點(diǎn)與描述符以進(jìn)行位姿估計(jì)的同時(shí)，圖像流輸入至低幀率重采樣器，該設(shè)備輸出保持原始分辨率但幀率降低的圖像。該重采樣器作為并行于位姿估計(jì)流程的復(fù)合處理管道的入口，其處理鏈路由兩大核心模塊構(gòu)成："增強(qiáng)網(wǎng)絡(luò)模塊(ENB)"與"特征聚焦模塊(FFB)"，專門負(fù)責(zé)生成雙軸光束設(shè)備的控制參考信號(hào)。

04 結(jié)果

實(shí)驗(yàn)活動(dòng)的結(jié)果總結(jié)于表I。第一個(gè)重要發(fā)現(xiàn)是，在幾乎所有場(chǎng)景和定義的指標(biāo)下，主動(dòng)光源方法AL-VO均優(yōu)于固定光源方法FL-VO。具體而言，在走廊環(huán)境等挑戰(zhàn)性場(chǎng)景中，F(xiàn)L-VO持續(xù)失敗且無法完成軌跡。如圖4所示，這是由于FL-VO在導(dǎo)航過程中意外照射平坦表面，導(dǎo)致VO算法因紋理信息不足而失效。相反，得益于主動(dòng)光源策略，AL-VO能夠?qū)⒐馐匦露ㄏ蛑粮缓屈c(diǎn)、邊緣和物體的區(qū)域，從而完整跟蹤所有軌跡。

作為參考，我們還納入了VO算法在最佳光照條件（LO-VO）和低光條件下結(jié)合EnlightenGAN增強(qiáng)（EG-VO）的性能指標(biāo)。與預(yù)期一致，LO-VO和EG-VO取得了最佳整體表現(xiàn)。值得注意的是，EG-VO在黑暗條件下表現(xiàn)出色，結(jié)果與LO-VO（日光條件）非常接近。但需指出，盡管EnlightenGAN提供了卓越的圖像增強(qiáng)能力，其較高的計(jì)算復(fù)雜度限制了EG-VO在資源受限機(jī)器人平臺(tái)上的部署。因此，在此類場(chǎng)景中，AL-VO是低光VO的更優(yōu)選擇。

最后，如圖5的定性結(jié)果所示，所有方法在房間R場(chǎng)景中均能生成合理軌跡。然而，F(xiàn)L-VO在某一彎道區(qū)域顯著偏離真實(shí)軌跡（GT），而AL-VO能夠保持與GT軌跡的高度對(duì)齊，且得分接近LO-VO和EG-VO。

05 總結(jié)

在本研究中，我們提出了一種新型主動(dòng)照明框架，旨在使VO和VSLAM算法能夠在黑暗環(huán)境中正常運(yùn)行。具體而言，我們開發(fā)了一種創(chuàng)新性的主動(dòng)式方法，通過識(shí)別并優(yōu)先照亮圖像中特征點(diǎn)最密集的區(qū)域。大量真實(shí)環(huán)境實(shí)驗(yàn)驗(yàn)證了該方法的有效性，并凸顯了其實(shí)際應(yīng)用潛力。未來的工作將通過在目標(biāo)選擇指標(biāo)中引入額外參數(shù)，將機(jī)器人未來運(yùn)動(dòng)軌跡納入考量，從而進(jìn)一步提升系統(tǒng)性能。