近日，來自浙江大學(xué)光電學(xué)院郝翔研究員團(tuán)隊(duì)以"SpectralImaging with Deep Learning"為題在Light: Science & Applications發(fā)表綜述論文，對基于深度學(xué)習(xí)的光譜成像技術(shù)進(jìn)行了梳理，對其各種技術(shù)路線進(jìn)行了原理闡述、研究總結(jié)，并整理了當(dāng)前的光譜成像數(shù)據(jù)集，概述了可能的未來趨勢與挑戰(zhàn)。

一、光譜圖像

我們平常在顯示屏中看到的圖像是RGB三色圖像，它擁有紅綠藍(lán)三個(gè)通道，即每個(gè)像素的顏色由紅綠藍(lán)三種顏色疊加形成。如果把三色圖像拓展，變成十色、百色、千色，那么我們對圖像色彩的控制與渲染將無比精細(xì)。擁有這么多波段的圖像便是光譜圖像：它有不只三個(gè)波段，可以是三十個(gè)、甚至上百個(gè)。

物質(zhì)的光譜信息可以充分反映其內(nèi)部的物理結(jié)構(gòu)和化學(xué)成分，當(dāng)圖像的波段足夠多時(shí)，每一處都是一條光譜曲線——反映著該處的結(jié)構(gòu)組成。因此光譜圖像不僅反映成像目標(biāo)的空間特征，還蘊(yùn)含著其結(jié)構(gòu)、成分特征。因此，除了進(jìn)行精細(xì)的圖像渲染外，光譜圖像的關(guān)鍵應(yīng)用在于物質(zhì)成分分析，廣泛應(yīng)用于遙感、醫(yī)學(xué)檢測、食品檢測等領(lǐng)域。

二、光譜成像

光譜成像是成像技術(shù)和光譜探測技術(shù)的結(jié)合，主要技術(shù)目標(biāo)是獲取光譜圖像。傳統(tǒng)的光譜成像技術(shù)是掃描式的（包括點(diǎn)掃描、線掃描、波段掃描），通過不斷移動光譜儀獲得每個(gè)點(diǎn)的光譜，最終得到一個(gè)二維圖像。這種掃描式的光譜成像系統(tǒng)體積龐大且速度很慢，飽受詬病。

圖2掃描式光譜成像（從左到右依次為點(diǎn)掃描、先掃描、波段掃描）

隨著計(jì)算光學(xué)的發(fā)展，計(jì)算光譜成像成為了新的光譜成像方法。該方法通過某些編碼，使得隱藏在背后的光譜信息以某種方式進(jìn)入探測器，最終利用優(yōu)化算法對光譜圖像進(jìn)行重建。傳統(tǒng)的計(jì)算光譜成像方法是迭代式的，雖然相比掃描式光譜成像，已經(jīng)有效減小了系統(tǒng)體積，但是該類方法有著極大的計(jì)算負(fù)擔(dān)，常常需要迭代數(shù)分鐘甚至數(shù)小時(shí)，且重建準(zhǔn)確度較為一般。

巨大的數(shù)據(jù)計(jì)算負(fù)擔(dān)，促使人們思考和尋找更有效的光譜重建算法。近年來，深度學(xué)習(xí)快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)經(jīng)過良好訓(xùn)練后強(qiáng)大的模式識別和特征提取能力，得到了光譜成像研究人員們的青睞。深度學(xué)習(xí)方法成為了人們的探索對象，深度學(xué)習(xí)逐漸賦能光譜成像。

三、深度學(xué)習(xí)方法

計(jì)算光譜成像的過程編碼采樣系統(tǒng)設(shè)計(jì)和光譜圖像重建，深度學(xué)習(xí)技術(shù)可以應(yīng)用在該過程中的每一個(gè)方面。如何對這些不同的技術(shù)進(jìn)行有效分類，是一個(gè)關(guān)鍵問題。綜述提出根據(jù)光的屬性進(jìn)行分類，即將計(jì)算光譜成像系統(tǒng)按照編碼方式的不同，分成了振幅編碼、相位編碼和波長編碼。

（1）振幅編碼光譜成像

圖3 編碼孔徑系統(tǒng)中的光譜編碼過程

振幅編碼光譜成像是通過編碼孔徑系統(tǒng)（CASSI）進(jìn)行的，利用編碼孔徑（振幅掩模）和光柵元件對物體進(jìn)行編碼，進(jìn)而通過壓縮感知恢復(fù)算法進(jìn)行光譜重建。基于深度學(xué)習(xí)的振幅編碼光譜成像將壓縮感知恢復(fù)的迭代算法替換為深度神經(jīng)網(wǎng)絡(luò)，通過編解碼協(xié)同優(yōu)化、迭代展開神經(jīng)網(wǎng)絡(luò)、非訓(xùn)練網(wǎng)絡(luò)等方法進(jìn)行高效光譜重建。

（2）相位編碼光譜成像

圖4 一種相位編碼光譜成像系統(tǒng)

相位編碼光譜成像通過衍射光學(xué)元件（Diffraction Optical Element, DOE）進(jìn)行，通過設(shè)計(jì)DOE的二維高度輪廓實(shí)現(xiàn)對不同位置的特定相位延遲，從而實(shí)現(xiàn)相位編碼。相位編碼經(jīng)過菲涅爾衍射影響到不同光譜成分，然后通過對衍射過程進(jìn)行建模，即可通過算法對原光譜圖像進(jìn)行重建。由于相位編碼后衍射計(jì)算的復(fù)雜性，傳統(tǒng)的迭代算法難以對光譜圖像實(shí)現(xiàn)有效恢復(fù)，這一問題在深度學(xué)習(xí)出現(xiàn)后得到了一定的解決，目前相位編碼的光譜恢復(fù)主要通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行。相比振幅編碼，相位編碼光譜成像擁有光能損失小、系統(tǒng)緊湊等優(yōu)點(diǎn)。

（3）波長編碼光譜成像

波長編碼光譜成像則是直接在光譜維度對圖像進(jìn)行編碼，可以通過光學(xué)濾光片進(jìn)行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現(xiàn)有的RGB或設(shè)計(jì)光學(xué)濾光片，而編碼后的光譜重建則多借助深度學(xué)習(xí)技術(shù)。

基于RGB圖像的直接光譜重建是非常火熱的方向。隨著NTIRE 2018和NTIRE 2020光譜重建比賽的召開，許多深度學(xué)習(xí)技術(shù)團(tuán)隊(duì)參與進(jìn)來，大大拓展了現(xiàn)有的深度學(xué)習(xí)光譜恢復(fù)技術(shù)。研究人員對深度學(xué)習(xí)參與的RGB光譜重建和濾光片設(shè)計(jì)光譜重建進(jìn)行了分析，將重建方式分為點(diǎn)重建和塊重建，以此對每種重建方式進(jìn)行了介紹。

圖5 本課題組提出的編解碼協(xié)同設(shè)計(jì)光譜成像技術(shù)[1][2]圖源：Advanced Theory and Simulations

基于自定義光學(xué)濾光片的波長編碼是近年來新興的光譜成像技術(shù)。通過設(shè)計(jì)寬譜濾光片，可以獲得比RGB濾光片更大的編碼自由度。再結(jié)合有效的深度學(xué)習(xí)技術(shù)，可以實(shí)現(xiàn)緊湊、快速、準(zhǔn)確的光譜恢復(fù)。

四、未來展望

研究人員根據(jù)目前的深度學(xué)習(xí)技術(shù)和光譜成像技術(shù)，對基于深度學(xué)習(xí)的光譜成像的未來發(fā)展方向提出了一些建議。其中包括數(shù)據(jù)集的大型化和規(guī)范化、大型神經(jīng)網(wǎng)絡(luò)的使用（例如Transformer）、引入物體類別等額外信息、解決編解碼協(xié)同設(shè)計(jì)過程中的梯度消失問題、使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)等。

審核編輯 ：李倩