近日,來自浙江大學(xué)光電學(xué)院郝翔研究員團(tuán)隊(duì)以"SpectralImaging with Deep Learning"為題在Light: Science & Applications發(fā)表綜述論文,對基于深度學(xué)習(xí)的光譜成像技術(shù)進(jìn)行了梳理,對其各種技術(shù)路線進(jìn)行了原理闡述、研究總結(jié),并整理了當(dāng)前的光譜成像數(shù)據(jù)集,概述了可能的未來趨勢與挑戰(zhàn)。
一、光譜圖像
我們平常在顯示屏中看到的圖像是RGB三色圖像,它擁有紅綠藍(lán)三個(gè)通道,即每個(gè)像素的顏色由紅綠藍(lán)三種顏色疊加形成。如果把三色圖像拓展,變成十色、百色、千色,那么我們對圖像色彩的控制與渲染將無比精細(xì)。擁有這么多波段的圖像便是光譜圖像:它有不只三個(gè)波段,可以是三十個(gè)、甚至上百個(gè)。
物質(zhì)的光譜信息可以充分反映其內(nèi)部的物理結(jié)構(gòu)和化學(xué)成分,當(dāng)圖像的波段足夠多時(shí),每一處都是一條光譜曲線——反映著該處的結(jié)構(gòu)組成。因此光譜圖像不僅反映成像目標(biāo)的空間特征,還蘊(yùn)含著其結(jié)構(gòu)、成分特征。因此,除了進(jìn)行精細(xì)的圖像渲染外,光譜圖像的關(guān)鍵應(yīng)用在于物質(zhì)成分分析,廣泛應(yīng)用于遙感、醫(yī)學(xué)檢測、食品檢測等領(lǐng)域。
二、光譜成像
光譜成像是成像技術(shù)和光譜探測技術(shù)的結(jié)合,主要技術(shù)目標(biāo)是獲取光譜圖像。傳統(tǒng)的光譜成像技術(shù)是掃描式的(包括點(diǎn)掃描、線掃描、波段掃描),通過不斷移動光譜儀獲得每個(gè)點(diǎn)的光譜,最終得到一個(gè)二維圖像。這種掃描式的光譜成像系統(tǒng)體積龐大且速度很慢,飽受詬病。
圖2掃描式光譜成像(從左到右依次為點(diǎn)掃描、先掃描、波段掃描)
隨著計(jì)算光學(xué)的發(fā)展,計(jì)算光譜成像成為了新的光譜成像方法。該方法通過某些編碼,使得隱藏在背后的光譜信息以某種方式進(jìn)入探測器,最終利用優(yōu)化算法對光譜圖像進(jìn)行重建。傳統(tǒng)的計(jì)算光譜成像方法是迭代式的,雖然相比掃描式光譜成像,已經(jīng)有效減小了系統(tǒng)體積,但是該類方法有著極大的計(jì)算負(fù)擔(dān),常常需要迭代數(shù)分鐘甚至數(shù)小時(shí),且重建準(zhǔn)確度較為一般。
巨大的數(shù)據(jù)計(jì)算負(fù)擔(dān),促使人們思考和尋找更有效的光譜重建算法。近年來,深度學(xué)習(xí)快速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)經(jīng)過良好訓(xùn)練后強(qiáng)大的模式識別和特征提取能力,得到了光譜成像研究人員們的青睞。深度學(xué)習(xí)方法成為了人們的探索對象,深度學(xué)習(xí)逐漸賦能光譜成像。
三、深度學(xué)習(xí)方法
計(jì)算光譜成像的過程編碼采樣系統(tǒng)設(shè)計(jì)和光譜圖像重建,深度學(xué)習(xí)技術(shù)可以應(yīng)用在該過程中的每一個(gè)方面。如何對這些不同的技術(shù)進(jìn)行有效分類,是一個(gè)關(guān)鍵問題。綜述提出根據(jù)光的屬性進(jìn)行分類,即將計(jì)算光譜成像系統(tǒng)按照編碼方式的不同,分成了振幅編碼、相位編碼和波長編碼。
(1)振幅編碼光譜成像
圖3 編碼孔徑系統(tǒng)中的光譜編碼過程
振幅編碼光譜成像是通過編碼孔徑系統(tǒng)(CASSI)進(jìn)行的,利用編碼孔徑(振幅掩模)和光柵元件對物體進(jìn)行編碼,進(jìn)而通過壓縮感知恢復(fù)算法進(jìn)行光譜重建。基于深度學(xué)習(xí)的振幅編碼光譜成像將壓縮感知恢復(fù)的迭代算法替換為深度神經(jīng)網(wǎng)絡(luò),通過編解碼協(xié)同優(yōu)化、迭代展開神經(jīng)網(wǎng)絡(luò)、非訓(xùn)練網(wǎng)絡(luò)等方法進(jìn)行高效光譜重建。
(2)相位編碼光譜成像
圖4 一種相位編碼光譜成像系統(tǒng)
相位編碼光譜成像通過衍射光學(xué)元件(Diffraction Optical Element, DOE)進(jìn)行,通過設(shè)計(jì)DOE的二維高度輪廓實(shí)現(xiàn)對不同位置的特定相位延遲,從而實(shí)現(xiàn)相位編碼。相位編碼經(jīng)過菲涅爾衍射影響到不同光譜成分,然后通過對衍射過程進(jìn)行建模,即可通過算法對原光譜圖像進(jìn)行重建。由于相位編碼后衍射計(jì)算的復(fù)雜性,傳統(tǒng)的迭代算法難以對光譜圖像實(shí)現(xiàn)有效恢復(fù),這一問題在深度學(xué)習(xí)出現(xiàn)后得到了一定的解決,目前相位編碼的光譜恢復(fù)主要通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行。相比振幅編碼,相位編碼光譜成像擁有光能損失小、系統(tǒng)緊湊等優(yōu)點(diǎn)。
(3)波長編碼光譜成像
波長編碼光譜成像則是直接在光譜維度對圖像進(jìn)行編碼,可以通過光學(xué)濾光片進(jìn)行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現(xiàn)有的RGB或設(shè)計(jì)光學(xué)濾光片,而編碼后的光譜重建則多借助深度學(xué)習(xí)技術(shù)。
基于RGB圖像的直接光譜重建是非常火熱的方向。隨著NTIRE 2018和NTIRE 2020光譜重建比賽的召開,許多深度學(xué)習(xí)技術(shù)團(tuán)隊(duì)參與進(jìn)來,大大拓展了現(xiàn)有的深度學(xué)習(xí)光譜恢復(fù)技術(shù)。研究人員對深度學(xué)習(xí)參與的RGB光譜重建和濾光片設(shè)計(jì)光譜重建進(jìn)行了分析,將重建方式分為點(diǎn)重建和塊重建,以此對每種重建方式進(jìn)行了介紹。
圖5 本課題組提出的編解碼協(xié)同設(shè)計(jì)光譜成像技術(shù)[1][2]圖源:Advanced Theory and Simulations
基于自定義光學(xué)濾光片的波長編碼是近年來新興的光譜成像技術(shù)。通過設(shè)計(jì)寬譜濾光片,可以獲得比RGB濾光片更大的編碼自由度。再結(jié)合有效的深度學(xué)習(xí)技術(shù),可以實(shí)現(xiàn)緊湊、快速、準(zhǔn)確的光譜恢復(fù)。
四、未來展望
研究人員根據(jù)目前的深度學(xué)習(xí)技術(shù)和光譜成像技術(shù),對基于深度學(xué)習(xí)的光譜成像的未來發(fā)展方向提出了一些建議。其中包括數(shù)據(jù)集的大型化和規(guī)范化、大型神經(jīng)網(wǎng)絡(luò)的使用(例如Transformer)、引入物體類別等額外信息、解決編解碼協(xié)同設(shè)計(jì)過程中的梯度消失問題、使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)等。
審核編輯 :李倩
-
成像技術(shù)
+關(guān)注
關(guān)注
4文章
303瀏覽量
31740 -
光譜
+關(guān)注
關(guān)注
4文章
906瀏覽量
35921 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5555瀏覽量
122498
原文標(biāo)題:深度學(xué)習(xí)賦能光譜成像
文章出處:【微信號:bdtdsj,微信公眾號:中科院半導(dǎo)體所】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
高光譜成像相機(jī):基于高光譜成像技術(shù)的玉米種子純度檢測研究
高光譜成像相機(jī):表型技術(shù)在林業(yè)育種和精確林業(yè)的應(yīng)用
上海光機(jī)所在基于空-譜稀疏深度學(xué)習(xí)設(shè)計(jì)的自由曲面透鏡實(shí)現(xiàn)超景深高光譜成像研究方面取得進(jìn)展

提高基礎(chǔ)設(shè)施檢查效率:無人機(jī)高光譜成像儀的新方法

智能光學(xué)計(jì)算成像技術(shù)與應(yīng)用

光譜成像相機(jī)和光譜視頻監(jiān)控在水環(huán)境中的應(yīng)用
精準(zhǔn)農(nóng)業(yè)新利器:高光譜成像儀如何顛覆傳統(tǒng)種植?

基于高光譜深度特征的油菜葉片鋅含量檢測

應(yīng)用于血跡檢測的高光譜成像技術(shù)研究

探索高光譜成像在生物多樣性保護(hù)中的作用

高光譜成像技術(shù)在生物物證領(lǐng)域的研究進(jìn)展2.0

基于高光譜成像的法醫(yī)痕跡非接觸分析

高光譜成像儀在農(nóng)業(yè)上的應(yīng)用

無人機(jī)機(jī)載高光譜成像系統(tǒng)的應(yīng)用及優(yōu)勢

美能晶化率測試儀:拉曼光譜成像技術(shù)在HJT工藝中的應(yīng)用與優(yōu)化

評論