空間光調(diào)制器是一種可以在外部信號(hào)的控制下實(shí)時(shí)對(duì)入射光的振幅、相位及偏振態(tài)進(jìn)行調(diào)制的動(dòng)態(tài)元器件。將空間光調(diào)制器應(yīng)用在散射成像領(lǐng)域，既可以用來替代傳統(tǒng)的毛玻璃來產(chǎn)生贗熱光場(chǎng)，也可以用做目標(biāo)物體進(jìn)行散射成像的研究，空間光調(diào)制器的應(yīng)用，對(duì)散射光場(chǎng)調(diào)控實(shí)現(xiàn)了主動(dòng)性和可操作性。

論文信息

光學(xué)記憶效應(yīng)在復(fù)雜散射介質(zhì)中，包括渾濁組織和斑點(diǎn)層，一直是宏觀和微觀成像方法的關(guān)鍵基礎(chǔ)。然而，在沒有光學(xué)記憶效應(yīng)的強(qiáng)散射介質(zhì)中實(shí)現(xiàn)圖像重建尚未成功。為此，本文通過開發(fā)一種多級(jí)卷積光神經(jīng)網(wǎng)絡(luò)（ONN），該網(wǎng)絡(luò)集成了多個(gè)以光速運(yùn)行的并行核，展示了在無光學(xué)記憶效應(yīng)的散射層中進(jìn)行圖像重建的能力。基于傅里葉光學(xué)、并行、一步卷積ONN訓(xùn)練，直接提取特征，實(shí)現(xiàn)了無記憶圖像重建，視場(chǎng)擴(kuò)大了高達(dá)271倍。該設(shè)備可動(dòng)態(tài)重新配置，用于超快多任務(wù)圖像重建，計(jì)算能力達(dá)到每秒1.57peta操作（POPS），成功建立了一個(gè)超快速且高效的圖形處理光學(xué)機(jī)器學(xué)習(xí)平臺(tái)。

部分實(shí)驗(yàn)過程及實(shí)驗(yàn)結(jié)果

卷積ONN的實(shí)驗(yàn)設(shè)置如圖1所示。實(shí)驗(yàn)中使用反射式強(qiáng)度型調(diào)制器SLM0（我司型號(hào)FSLM-HD70-A/P，像素大小8μm，1920×1080）來生成卷積ONN的可編程像素級(jí)輸入。然后，由SLM0調(diào)制的光場(chǎng)通過一個(gè)4f系統(tǒng)被傳遞到卷積ONN的輸入平面上。4f系統(tǒng)由兩個(gè)焦距分別為100 mm（L1）和50 mm（L2）的鏡頭組成，用于為編碼成SLM0的物體提供0.5倍的放大倍數(shù)。然后，將輸入平面發(fā)送到三層卷積ONN中進(jìn)行進(jìn)一步處理。卷積ONN由三個(gè)相位型調(diào)制器SLMs（我司型號(hào)FSLM-4K70-P02）組成，相位型SLMs有4094×2400像素，像素大小為3.74μm×3.74μm。第一個(gè)卷積層被編碼為SLM1，輸入平面與SLM1之間的距離為10cm。經(jīng)過SLM1調(diào)制后，光束通過分束器BS2和BS3的反射傳輸?shù)絊LM2。第二個(gè)卷積層被編碼成SLM2，以及SLM1和SLM2是20cm。然后，將由SLM2調(diào)制的光束傳輸?shù)絊LM3。第三個(gè)全連接層被編碼到SLM3中，SLM2與SLM3之間的距離為10 cm。由SLM3調(diào)制的光束通過分束器BS4的反射傳播到卷積ONN的輸出平面上，SLM3與輸出平面之間的距離為20cm。采集相機(jī)（像素大小4.8μm，1280×1024）放置在卷積ONN的輸出平面上，記錄推理結(jié)果。需要注意的是，卷積ONN的不同層之間的不對(duì)齊會(huì)顯著降低其性能。

圖1 三層卷積網(wǎng)絡(luò)ONN的實(shí)驗(yàn)裝置示意圖。(A)卷積ONN的每一層的參數(shù)和坐標(biāo)。(B)卷積ONN的實(shí)驗(yàn)裝置。M，反射鏡；POL，線性偏振器；BS，分束器；L，透鏡；SLM，空間光調(diào)制器。

圖2 通過散射層堆疊實(shí)現(xiàn)無記憶圖像重建的機(jī)制。(A)通過多個(gè)散射片的散射示意圖。每個(gè)散射片可以建模為一個(gè)薄的散射層，N表示散射片的數(shù)量，d表示散射片之間的間距。(B)不同散射情況下生成的斑點(diǎn)圖案。左側(cè)圖比較了光學(xué)記憶效應(yīng)（N = 1，d = 0）和無光學(xué)記憶效應(yīng)（N > 1，d > 0）的斑點(diǎn)。右側(cè)圖展示了每種情況下的角相關(guān)曲線，虛直線表示單個(gè)平面玻璃層的角相關(guān)曲線。這些曲線的半高寬決定了成像的視場(chǎng)。(C)在三層卷積ONN中無記憶圖像重建的概念。

圖3 光學(xué)卷積神經(jīng)網(wǎng)絡(luò)原理。(A)三層卷積ONN由兩層光學(xué)卷積層和一層光學(xué)全連接層組成。(B)第一卷積層的結(jié)構(gòu)包含九種不同的核。每個(gè)核包括三種結(jié)構(gòu)：渦旋相位、隨機(jī)相位和光柵相位。(C)第二卷積層的相位結(jié)構(gòu)分為3×3區(qū)域。每個(gè)區(qū)域的相位通過與第一卷積層相同的過程構(gòu)建，從而產(chǎn)生81個(gè)核。(D)基于MNIST和FashionMNIST數(shù)據(jù)集的推理分類任務(wù)中訓(xùn)練的卷積ONN性能。上圖展示了每種情況下的學(xué)習(xí)曲線。下圖展示了卷積ONN輸出平面上的實(shí)驗(yàn)分類結(jié)果，紅色虛線方塊表示為相應(yīng)數(shù)字訓(xùn)練的檢測(cè)器區(qū)域。

圖4 實(shí)驗(yàn)驗(yàn)證無記憶圖像重建。(A)訓(xùn)練的具有兩個(gè)散射層（N = 2）的卷積ONN的實(shí)驗(yàn)重建結(jié)果。第一行顯示了物體的真實(shí)圖像，第二至第四行分別對(duì)應(yīng)d = 3 cm、d = 4 cm和d = 5 cm的重建結(jié)果。(B)訓(xùn)練的具有多個(gè)散射層（N > 2）的卷積ONN的實(shí)驗(yàn)重建結(jié)果。第一至第四行分別對(duì)應(yīng)N = 2、3、4和5的情況。(C)展示了渦旋相位對(duì)卷積ONN的影響。右側(cè)圖比較了在散射情況d = 5 cm下，有無渦旋相位的卷積核曲線和重建結(jié)果。左側(cè)圖表明，不同的渦旋相位結(jié)構(gòu)可用于提取輸入物體的不同方向邊緣信息。

圖5可訓(xùn)練卷積ONN的動(dòng)態(tài)和多任務(wù)性能演示。(A)使用卷積ONN進(jìn)行無記憶圖像重建的動(dòng)態(tài)推理過程（S1和S2)。輸入斑點(diǎn)圖案加載到60Hz的SLM上。(B)在S3中展示了兩個(gè)任務(wù)的卷積ONN框架，用于視頻幀多任務(wù)推理以實(shí)現(xiàn)無記憶圖像重建，第三層全連接光柵的輪廓見圖S17。

本實(shí)驗(yàn)中所采用振幅型空間光調(diào)制器的參數(shù)規(guī)格如下：

本實(shí)驗(yàn)中所采用相位型空間光調(diào)制器的參數(shù)規(guī)格如下：

寫在最后

在計(jì)算成像領(lǐng)域，光學(xué)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛用于解決鬼成像、數(shù)字全息、傅里葉疊層顯微等領(lǐng)域的問題。同時(shí)，深度學(xué)習(xí)強(qiáng)大的數(shù)據(jù)擬合能力和優(yōu)化求解能力也在散射成像領(lǐng)域發(fā)揮著巨大的作用。隨著空間光調(diào)制器的精細(xì)化調(diào)制和精準(zhǔn)控制，空間光調(diào)制器與光學(xué)神經(jīng)網(wǎng)絡(luò)結(jié)合將會(huì)摩擦出更多的火花。

文章信息：

DOI: 10.1126/sciadv.adn2205

審核編輯 黃宇