女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度學(xué)習(xí)賦能光譜成像

中科院半導(dǎo)體所 ? 來源:LightScienceApplications ? 作者:Light新媒體 ? 2022-04-06 09:28 ? 次閱讀

近日,來自浙江大學(xué)光電學(xué)院郝翔研究員團(tuán)隊(duì)以"SpectralImaging with Deep Learning"為題在Light: Science & Applications發(fā)表綜述論文,對基于深度學(xué)習(xí)的光譜成像技術(shù)進(jìn)行了梳理,對其各種技術(shù)路線進(jìn)行了原理闡述、研究總結(jié),并整理了當(dāng)前的光譜成像數(shù)據(jù)集,概述了可能的未來趨勢與挑戰(zhàn)。

一、光譜圖像

我們平常在顯示屏中看到的圖像是RGB三色圖像,它擁有紅綠藍(lán)三個(gè)通道,即每個(gè)像素的顏色由紅綠藍(lán)三種顏色疊加形成。如果把三色圖像拓展,變成十色、百色、千色,那么我們對圖像色彩的控制與渲染將無比精細(xì)。擁有這么多波段的圖像便是光譜圖像:它有不只三個(gè)波段,可以是三十個(gè)、甚至上百個(gè)。

物質(zhì)的光譜信息可以充分反映其內(nèi)部的物理結(jié)構(gòu)和化學(xué)成分,當(dāng)圖像的波段足夠多時(shí),每一處都是一條光譜曲線——反映著該處的結(jié)構(gòu)組成。因此光譜圖像不僅反映成像目標(biāo)的空間特征,還蘊(yùn)含著其結(jié)構(gòu)、成分特征。因此,除了進(jìn)行精細(xì)的圖像渲染外,光譜圖像的關(guān)鍵應(yīng)用在于物質(zhì)成分分析,廣泛應(yīng)用于遙感、醫(yī)學(xué)檢測、食品檢測等領(lǐng)域。

二、光譜成像

光譜成像是成像技術(shù)和光譜探測技術(shù)的結(jié)合,主要技術(shù)目標(biāo)是獲取光譜圖像。傳統(tǒng)的光譜成像技術(shù)是掃描式的(包括點(diǎn)掃描、線掃描、波段掃描),通過不斷移動光譜儀獲得每個(gè)點(diǎn)的光譜,最終得到一個(gè)二維圖像。這種掃描式的光譜成像系統(tǒng)體積龐大且速度很慢,飽受詬病。

86cb7e94-b010-11ec-aa7f-dac502259ad0.png

圖2掃描式光譜成像(從左到右依次為點(diǎn)掃描、先掃描、波段掃描)

隨著計(jì)算光學(xué)的發(fā)展,計(jì)算光譜成像成為了新的光譜成像方法。該方法通過某些編碼,使得隱藏在背后的光譜信息以某種方式進(jìn)入探測器,最終利用優(yōu)化算法對光譜圖像進(jìn)行重建。傳統(tǒng)的計(jì)算光譜成像方法是迭代式的,雖然相比掃描式光譜成像,已經(jīng)有效減小了系統(tǒng)體積,但是該類方法有著極大的計(jì)算負(fù)擔(dān),常常需要迭代數(shù)分鐘甚至數(shù)小時(shí),且重建準(zhǔn)確度較為一般。

巨大的數(shù)據(jù)計(jì)算負(fù)擔(dān),促使人們思考和尋找更有效的光譜重建算法。近年來,深度學(xué)習(xí)快速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)經(jīng)過良好訓(xùn)練后強(qiáng)大的模式識別和特征提取能力,得到了光譜成像研究人員們的青睞。深度學(xué)習(xí)方法成為了人們的探索對象,深度學(xué)習(xí)逐漸賦能光譜成像。

三、深度學(xué)習(xí)方法

計(jì)算光譜成像的過程編碼采樣系統(tǒng)設(shè)計(jì)和光譜圖像重建,深度學(xué)習(xí)技術(shù)可以應(yīng)用在該過程中的每一個(gè)方面。如何對這些不同的技術(shù)進(jìn)行有效分類,是一個(gè)關(guān)鍵問題。綜述提出根據(jù)光的屬性進(jìn)行分類,即將計(jì)算光譜成像系統(tǒng)按照編碼方式的不同,分成了振幅編碼、相位編碼和波長編碼。

(1)振幅編碼光譜成像

86e8eb6e-b010-11ec-aa7f-dac502259ad0.png

圖3 編碼孔徑系統(tǒng)中的光譜編碼過程

振幅編碼光譜成像是通過編碼孔徑系統(tǒng)(CASSI)進(jìn)行的,利用編碼孔徑(振幅掩模)和光柵元件對物體進(jìn)行編碼,進(jìn)而通過壓縮感知恢復(fù)算法進(jìn)行光譜重建。基于深度學(xué)習(xí)的振幅編碼光譜成像將壓縮感知恢復(fù)的迭代算法替換為深度神經(jīng)網(wǎng)絡(luò),通過編解碼協(xié)同優(yōu)化、迭代展開神經(jīng)網(wǎng)絡(luò)、非訓(xùn)練網(wǎng)絡(luò)等方法進(jìn)行高效光譜重建。

(2)相位編碼光譜成像

872039c0-b010-11ec-aa7f-dac502259ad0.png

圖4 一種相位編碼光譜成像系統(tǒng)

相位編碼光譜成像通過衍射光學(xué)元件(Diffraction Optical Element, DOE)進(jìn)行,通過設(shè)計(jì)DOE的二維高度輪廓實(shí)現(xiàn)對不同位置的特定相位延遲,從而實(shí)現(xiàn)相位編碼。相位編碼經(jīng)過菲涅爾衍射影響到不同光譜成分,然后通過對衍射過程進(jìn)行建模,即可通過算法對原光譜圖像進(jìn)行重建。由于相位編碼后衍射計(jì)算的復(fù)雜性,傳統(tǒng)的迭代算法難以對光譜圖像實(shí)現(xiàn)有效恢復(fù),這一問題在深度學(xué)習(xí)出現(xiàn)后得到了一定的解決,目前相位編碼的光譜恢復(fù)主要通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行。相比振幅編碼,相位編碼光譜成像擁有光能損失小、系統(tǒng)緊湊等優(yōu)點(diǎn)。

(3)波長編碼光譜成像

波長編碼光譜成像則是直接在光譜維度對圖像進(jìn)行編碼,可以通過光學(xué)濾光片進(jìn)行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現(xiàn)有的RGB或設(shè)計(jì)光學(xué)濾光片,而編碼后的光譜重建則多借助深度學(xué)習(xí)技術(shù)。

基于RGB圖像的直接光譜重建是非常火熱的方向。隨著NTIRE 2018和NTIRE 2020光譜重建比賽的召開,許多深度學(xué)習(xí)技術(shù)團(tuán)隊(duì)參與進(jìn)來,大大拓展了現(xiàn)有的深度學(xué)習(xí)光譜恢復(fù)技術(shù)。研究人員對深度學(xué)習(xí)參與的RGB光譜重建和濾光片設(shè)計(jì)光譜重建進(jìn)行了分析,將重建方式分為點(diǎn)重建和塊重建,以此對每種重建方式進(jìn)行了介紹。

873d5bc2-b010-11ec-aa7f-dac502259ad0.png

圖5 本課題組提出的編解碼協(xié)同設(shè)計(jì)光譜成像技術(shù)[1][2]圖源:Advanced Theory and Simulations

基于自定義光學(xué)濾光片的波長編碼是近年來新興的光譜成像技術(shù)。通過設(shè)計(jì)寬譜濾光片,可以獲得比RGB濾光片更大的編碼自由度。再結(jié)合有效的深度學(xué)習(xí)技術(shù),可以實(shí)現(xiàn)緊湊、快速、準(zhǔn)確的光譜恢復(fù)。

四、未來展望

研究人員根據(jù)目前的深度學(xué)習(xí)技術(shù)和光譜成像技術(shù),對基于深度學(xué)習(xí)的光譜成像的未來發(fā)展方向提出了一些建議。其中包括數(shù)據(jù)集的大型化和規(guī)范化、大型神經(jīng)網(wǎng)絡(luò)的使用(例如Transformer)、引入物體類別等額外信息、解決編解碼協(xié)同設(shè)計(jì)過程中的梯度消失問題、使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)等。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 成像技術(shù)
    +關(guān)注

    關(guān)注

    4

    文章

    303

    瀏覽量

    31740
  • 光譜
    +關(guān)注

    關(guān)注

    4

    文章

    906

    瀏覽量

    35921
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5555

    瀏覽量

    122498

原文標(biāo)題:深度學(xué)習(xí)賦能光譜成像

文章出處:【微信號:bdtdsj,微信公眾號:中科院半導(dǎo)體所】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    光譜成像相機(jī):基于高光譜成像技術(shù)的玉米種子純度檢測研究

    無損檢測領(lǐng)域的研究熱點(diǎn)。中達(dá)瑞和作為國內(nèi)高光譜成像設(shè)備的領(lǐng)先供應(yīng)商,可實(shí)現(xiàn)國產(chǎn)替代,助力科研院校進(jìn)行高光譜成像領(lǐng)域的研究和探索。本研究基于高光譜相機(jī),結(jié)合圖像熵特征與機(jī)器學(xué)習(xí)算法,實(shí)現(xiàn)
    的頭像 發(fā)表于 05-29 16:49 ?115次閱讀

    光譜成像相機(jī):表型技術(shù)在林業(yè)育種和精確林業(yè)的應(yīng)用

    在林木育種和精確林業(yè)管理中,表型數(shù)據(jù)的精準(zhǔn)獲取與分析是破解基因型-環(huán)境-表型互作關(guān)系的關(guān)鍵。傳統(tǒng)人工測量方式存在效率低、維度單一、破壞性強(qiáng)等局限,而高光譜成像技術(shù)憑借其多波段、高分辨率和非接觸式
    的頭像 發(fā)表于 05-28 10:43 ?106次閱讀

    上海光機(jī)所在基于空-譜稀疏深度學(xué)習(xí)設(shè)計(jì)的自由曲面透鏡實(shí)現(xiàn)超景深高光譜成像研究方面取得進(jìn)展

    圖1 消色差超景深高光譜成像系統(tǒng) 近期,中國科學(xué)院上海光學(xué)精密機(jī)械研究所高功率激光元件技術(shù)與工程部魏朝陽研究員團(tuán)隊(duì)提出了一種通過引入高光譜數(shù)據(jù)空間-光譜多維稀疏條件,并基于深度
    的頭像 發(fā)表于 04-24 06:12 ?161次閱讀
    上海光機(jī)所在基于空-譜稀疏<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>設(shè)計(jì)的自由曲面透鏡實(shí)現(xiàn)超景深高<b class='flag-5'>光譜成像</b>研究方面取得進(jìn)展

    提高基礎(chǔ)設(shè)施檢查效率:無人機(jī)高光譜成像儀的新方法

    橋梁裂縫、管道腐蝕、建筑外墻脫落……這些基礎(chǔ)設(shè)施的“健康隱患”往往難以用肉眼察覺,卻可能引發(fā)嚴(yán)重后果。傳統(tǒng)的檢測方法耗時(shí)耗力,還存在安全風(fēng)險(xiǎn)。如今,隨著無人機(jī)高光譜成像技術(shù)的崛起,基礎(chǔ)設(shè)施“體檢”正
    的頭像 發(fā)表于 03-21 15:24 ?318次閱讀
    提高基礎(chǔ)設(shè)施檢查效率:無人機(jī)高<b class='flag-5'>光譜成像</b>儀的新方法

    智能光學(xué)計(jì)算成像技術(shù)與應(yīng)用

    是智能光學(xué)計(jì)算成像的一些關(guān)鍵進(jìn)展和應(yīng)用: 1.? 光纖成像深度學(xué)習(xí)在光纖成像中的應(yīng)用進(jìn)展顯著,包括通過條件生成對抗網(wǎng)絡(luò)實(shí)現(xiàn)高速多模光纖
    的頭像 發(fā)表于 03-07 17:18 ?471次閱讀
    智能光學(xué)計(jì)算<b class='flag-5'>成像</b>技術(shù)與應(yīng)用

    光譜成像相機(jī)和光譜視頻監(jiān)控在水環(huán)境中的應(yīng)用

    應(yīng)用更為廣泛。光譜成像相機(jī)和光譜視頻監(jiān)控就是采用光譜成像的原理,下面就給大家介紹下光譜成像技術(shù)在水環(huán)境領(lǐng)域的應(yīng)用。 1.水質(zhì)監(jiān)測:光譜成像
    的頭像 發(fā)表于 03-05 14:24 ?286次閱讀

    精準(zhǔn)農(nóng)業(yè)新利器:高光譜成像儀如何顛覆傳統(tǒng)種植?

    近年來,精準(zhǔn)農(nóng)業(yè)逐漸成為現(xiàn)代農(nóng)業(yè)發(fā)展的新趨勢。而高光譜成像技術(shù),作為一種新興的遙感監(jiān)測手段,憑借其獨(dú)特優(yōu)勢,正在精準(zhǔn)農(nóng)業(yè)領(lǐng)域大放異彩,為農(nóng)業(yè)生產(chǎn)帶來革命性的變化。 一、什么是高光譜成像技術(shù)? 簡單
    的頭像 發(fā)表于 02-28 15:54 ?338次閱讀
    精準(zhǔn)農(nóng)業(yè)新利器:高<b class='flag-5'>光譜成像</b>儀如何顛覆傳統(tǒng)種植?

    基于高光譜深度特征的油菜葉片鋅含量檢測

    為了實(shí)現(xiàn)油菜葉片鋅含量的快速無損檢測,該研究采用一種基于高光譜成像技術(shù)結(jié)合深度遷移學(xué)習(xí)算法的高精度檢測方法,通過無土栽培的方式,利用高光譜成像設(shè)備采集油菜葉片樣本高
    的頭像 發(fā)表于 02-24 18:03 ?308次閱讀
    基于高<b class='flag-5'>光譜</b><b class='flag-5'>深度</b>特征的油菜葉片鋅含量檢測

    應(yīng)用于血跡檢測的高光譜成像技術(shù)研究

    血跡作為暴力案件現(xiàn)場出現(xiàn)率較高的生物檢材,其檢驗(yàn)鑒定工作可為案件的快速偵破提供大量信息。高光譜成像技術(shù)可對案發(fā)現(xiàn)場的血跡檢材進(jìn)行無損、快速成像,相比于檢測血跡的化學(xué)試劑法和傳統(tǒng)的光譜分析方法,高
    的頭像 發(fā)表于 02-11 15:16 ?339次閱讀
    應(yīng)用于血跡檢測的高<b class='flag-5'>光譜成像</b>技術(shù)研究

    探索高光譜成像在生物多樣性保護(hù)中的作用

    生物多樣性保護(hù)是當(dāng)前全球生態(tài)保護(hù)的重要議題之一。隨著技術(shù)的進(jìn)步,高光譜成像作為一種先進(jìn)的遙感技術(shù),正在為生物多樣性保護(hù)提供新的解決方案。本文將探討高光譜成像在生物多樣性保護(hù)中的重要作用。 1.高光譜成像
    的頭像 發(fā)表于 01-17 10:29 ?344次閱讀
    探索高<b class='flag-5'>光譜成像</b>在生物多樣性保護(hù)中的作用

    光譜成像技術(shù)在生物物證領(lǐng)域的研究進(jìn)展2.0

    目前高光譜成像技術(shù)主要應(yīng)用于食品安全、醫(yī)學(xué)診斷、航天等領(lǐng)域,在生物物證領(lǐng)域涉足較少,相關(guān)生物物證的檢驗(yàn)與鑒定還處于空白,伴隨著高光譜成像技術(shù)不斷創(chuàng)新與發(fā)展,未來將可在生物物證領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。
    的頭像 發(fā)表于 10-30 18:29 ?564次閱讀
    高<b class='flag-5'>光譜成像</b>技術(shù)在生物物證領(lǐng)域的研究進(jìn)展2.0

    基于高光譜成像的法醫(yī)痕跡非接觸分析

    近年來,高光譜成像(HIS)組件的技術(shù)進(jìn)步為其在法醫(yī)學(xué)應(yīng)用中提供了廣闊的前景。當(dāng)HSI被引入法醫(yī)學(xué)案件調(diào)查時(shí),它能夠幫助調(diào)查人員無損地檢測、可視化和識別重要的痕跡。 高光譜成像(HSI)集成了傳統(tǒng)
    的頭像 發(fā)表于 10-28 16:12 ?440次閱讀
    基于高<b class='flag-5'>光譜成像</b>的法醫(yī)痕跡非接觸分析

    光譜成像儀在農(nóng)業(yè)上的應(yīng)用

    隨著科技的不斷進(jìn)步,高光譜成像儀在農(nóng)業(yè)領(lǐng)域的應(yīng)用越來越廣泛。高光譜成像技術(shù)結(jié)合了成像光譜技術(shù),能夠同時(shí)獲取目標(biāo)物體的空間信息和光譜信息,為
    的頭像 發(fā)表于 10-17 15:16 ?737次閱讀
    高<b class='flag-5'>光譜成像</b>儀在農(nóng)業(yè)上的應(yīng)用

    無人機(jī)機(jī)載高光譜成像系統(tǒng)的應(yīng)用及優(yōu)勢

      隨著無人機(jī)技術(shù)的快速發(fā)展,基于無人機(jī)平臺的高光譜成像系統(tǒng)在多個(gè)領(lǐng)域中得到了廣泛應(yīng)用。本文將介紹一款小型多旋翼無人機(jī)機(jī)載高光譜成像系統(tǒng),該系統(tǒng)由高光譜成像相機(jī)、穩(wěn)定云臺、機(jī)載控制與數(shù)據(jù)采集模塊、機(jī)載供電模塊等部分組成,具有高
    的頭像 發(fā)表于 08-15 15:03 ?1349次閱讀
    無人機(jī)機(jī)載高<b class='flag-5'>光譜成像</b>系統(tǒng)的應(yīng)用及優(yōu)勢

    晶化率測試儀:拉曼光譜成像技術(shù)在HJT工藝中的應(yīng)用與優(yōu)化

    拉曼光譜成像主要用于獲取物質(zhì)的化學(xué)信息及其空間分布。美晶化率測試儀通過高光譜分辨率和低雜散光光譜儀,大幅提升了拉曼光譜成像的質(zhì)量和速度,確
    的頭像 發(fā)表于 06-29 08:33 ?591次閱讀
    美<b class='flag-5'>能</b>晶化率測試儀:拉曼<b class='flag-5'>光譜成像</b>技術(shù)在HJT工藝中的應(yīng)用與優(yōu)化