隨著數(shù)學優(yōu)化和計算硬件的迅猛發(fā)展，深度神經(jīng)網(wǎng)絡（Deep Neural Networks, DNN）（名詞解釋>）已然成為解決各領域中許多挑戰(zhàn)性問題的強大工具，包括決策、計算成像、全息技術等。

自1947年發(fā)展至今，全息（holography）（名詞解釋>）已成為一項重要而廣泛的技術，在光學工程的各個領域都有應用，包括光學成像、顯微、計量、三維（3D）顯示等。全息意為包含光波的全部信息（名詞解釋>），在物理上分為兩個過程：波前的記錄與重建，這兩個過程都可以通過光學或數(shù)字的方法來實現(xiàn)。

目前，全息術和深度學習這兩個不同的領域已經(jīng)相互融合，形成了一個新興的跨學科領域——深度全息。 近期，來自中國科學院上海光學精密機械研究所的司徒國海研究員以Deep holography為題在Light: Advanced Manufacturing發(fā)表一篇綜述文章，對深度全息的進展進行了全面的文獻回顧，論述了全息(holography)和深度神經(jīng)網(wǎng)絡(DNN)之間的相互促進關系。

DNN 已被證明在全息重建和計算機生成全息（computer-generated Holography, CGH）中的各個方面幾乎都有應用；

全息具有互連和光速并行處理的能力，是 DNN 光學實現(xiàn)，即光神經(jīng)網(wǎng)絡（optical neural networks, ONN）（名詞解釋>）的有力工具之一。

文中首先簡要介紹了DNN的基本理論和架構，然后討論了深度全息術的一些重要進展與研究趨勢，最后對其未來前景進行了展望。希望此篇綜述能夠促進此領域的進一步發(fā)展。

深度神經(jīng)網(wǎng)絡：簡明介紹

DNN 的概念架構如 圖1 所示，前饋神經(jīng)網(wǎng)絡，或稱多層感知器（MLP）有一個輸入層，一個輸出層，以及一個或多個隱藏層。每層可以有不同數(shù)量的神經(jīng)元，稱為感知器；而每個單元從上一層接收其輸入的加權和（除了第一層，其輸入是待 NN 處理的原圖）。前饋神經(jīng)網(wǎng)絡的目標是優(yōu)化一個 NN 模型以逼近一個連續(xù)函數(shù)，利用原始數(shù)據(jù)通過訓練學習到網(wǎng)絡參數(shù)，即可實現(xiàn)從輸入空間 x 到輸出空間 y 的映射。

圖1. DNN的概念架構 圖源：Light: Advanced Manufacturing 相比于傳統(tǒng)的基于物理學的全息技術，DNN 方法已被證明擁有獨特的優(yōu)勢。只要有足夠多的數(shù)據(jù)，DNN 就可以從較低層次特征組成的較高層次結構中學習特征，但它不能明確表述系統(tǒng)的確切物理性，導致方法的泛化性和可解釋性受到很大的挑戰(zhàn)。

因此，我們非常希望能同時發(fā)揮 DNN 和物理模型的優(yōu)勢，開發(fā)出基于物理學信息的DNN（Physics-informed DNN）。

物理融合（physical fusion），或單次物理的 DNN 它直接將物理模型的解作為 DNN 模型輸入的（一部分）。

殘差物理（residual physics），或遞歸物理信息 DNN 將物理解決方法添加到 DNN 的輸出中，這樣 DNN 模型只需要學習基于模型的解決方法和真實情況之間的不匹配。

正則化物理（physical regularization），或級聯(lián)物理信息 DNN 利用一組物理約束條件中的正則化項來懲罰網(wǎng)絡解決方法。正則化項可以作為損失函數(shù)的一部分或通過物理重建過程。

嵌入物理（embeddedphysics）DNN

如 圖2 所示，其中心思想是將物理模型納入網(wǎng)絡優(yōu)化循環(huán)中。

圖2. 嵌入物理的DNN的典型架構 圖源：Light: Advanced Manufacturing

網(wǎng)絡近似物理學

顧名思義，就是通過使用 DNN 來近似物理模型。

全息重建

全息圖可以看作是物光和參考光束的疊加。全息重建的直觀方法是基于衍射的物理模型，即波衍射過程的數(shù)值計算。離軸全息可以通過空間濾波解決，但空間濾波會帶來高頻成分的損失，這大大阻礙了重建的圖像質量。而對于同軸全息，零階的去除相對簡單，因此對同軸全息重建的研究大多是處理孿生項。 物理上，孿生圖像實際上是重建的物體圖像的失焦副本，它可以通過減去失焦圖像來消除。目前，應用最廣泛的策略是調整光學系統(tǒng)的一些物理參數(shù)并獲得相應的全息圖，以便建立一個小型的線性方程組，將所記錄的全息圖與調諧參數(shù)聯(lián)系起來，進而求解得到物體波前。 數(shù)學上，孿生圖像偽影的產(chǎn)生是由于當全息圖被記錄下來時，相位的缺失導致了這一現(xiàn)象。這表明，如果全息圖的缺失相位能夠得到解決，那么雙孿生圖像偽影就可以得到解決。

受DNN啟發(fā)的全息術

1）最直接的方法：“端到端” DNN

利用 ResNet 和 U-Net 開發(fā)出的 eHoloNet：接收原始的數(shù)字全息圖作為輸入，并產(chǎn)生無偽影的相位物體波前；

Y型網(wǎng)絡架構：從單個數(shù)字全息圖中同時重建強度和相位；

也可通過生成對抗網(wǎng)絡（GAN）實現(xiàn)，訓練數(shù)據(jù)不需要配對。

2）物理融合，或單次物理的 DNN

利用傳統(tǒng)的數(shù)值自由空間傳播回目標平面，再將重建波前的振幅和相位分別發(fā)送到DNN中，通過訓練去除所有這些偽影。

3）物理嵌入的 DNN

如 圖3 所示，將物理成像模型納入傳統(tǒng) DNN，該策略有兩個明顯優(yōu)勢：首先，它不需要任何數(shù)據(jù)來進行預訓練；其次，重建后的圖像滿足由物理模型所施加的約束，它是可解釋的。 PhysenNet 中的 DNN 模型可以由其他神經(jīng)網(wǎng)絡取代，這取決于手頭的任務。例如，已有研究人員成功將相位成像模型納入 GAN 網(wǎng)絡。

圖3. 納入物理模型的DNN示意圖：相位成像 圖源：Light: Science & Applications, 9:77(2020). 此外，DNN 方法也可用于解決其他與全息有關的各種問題，例如相位解包裹、自動對焦、相位畸變補償、散斑抑制、計算機生成全息（CGH）。

受全息技術啟發(fā)的DNN

全息技術是實現(xiàn)光學神經(jīng)網(wǎng)絡（ONN）的重要途徑之一。 早期的研究包括全連接神經(jīng)網(wǎng)絡的光學實現(xiàn)和 Hopfield 模型，它是循環(huán)神經(jīng)網(wǎng)絡（RNN）的基礎。全息神經(jīng)網(wǎng)絡不是像數(shù)字神經(jīng)網(wǎng)絡那樣使用邏輯神經(jīng)元，它依靠的是全息圖本身所具有的互連。在完全連接的全息神經(jīng)網(wǎng)絡中，權重被存儲在全息圖的像素（神經(jīng)元）中。一層（全息圖）中的每個神經(jīng)元對從上游層照射到它身上的光進行簡單的調制，然后照亮下游的層。全息神經(jīng)網(wǎng)絡可以通過光折光晶體實現(xiàn)，它本身就是個三維設備，有可能存儲數(shù)十億的權重數(shù)據(jù)。因此，它在原則上有希望解決大規(guī)模的逆向問題。

圖4. 衍射深度神經(jīng)網(wǎng)絡示意圖 （A）D2NN 包含多個透射（或反射）層，其中，層上的每個點都充當神經(jīng)元，具有復值的透射（或反射）系數(shù)，每層的透射或反射系數(shù)可以使用深度學習來訓練，從而在網(wǎng)絡的輸入和輸出平面之間執(zhí)行一個功能。在學習階段之后，D2NN 的設計是固定的；一旦它被制造或 3D 打印出來，它就能以光速執(zhí)行所學的功能。不同類型的衍射深度神經(jīng)網(wǎng)絡：（B）分類和（C）成像。 圖源：Science,361(2018) 全息神經(jīng)網(wǎng)絡的現(xiàn)代實現(xiàn)方式利用了衍射的優(yōu)勢，并因此被命名為衍射深度神經(jīng)網(wǎng)絡（D2NN），如 圖4 所示。在硬件實現(xiàn)中，D2NN 中的全息圖實際上是衍射光學元件（DOE），它可以通過 3D 打印、納米技術、或電動可尋址數(shù)字微鏡設備（DMD）得到。與許多其他的光學神經(jīng)網(wǎng)絡一樣，最初的 D2NN 是離線訓練的。為了實施更好的訓練策略，研究人員已經(jīng)做出了許多努力，例如通過從歐氏空間到黎曼空間的梯度轉換來更新單元權重的反向傳播技術、實現(xiàn)光學分組的方法等。人們還研究了 D2NN 在邏輯運算、光學信息處理、全息重建、脈沖整形、光譜編碼的單像素機器視覺等方面的應用。

總結與展望

全息與神經(jīng)計算之間的相互融合大大推動了彼此的發(fā)展，也給我們提供了可以探索的奇妙領域。

對于受 DNN 啟發(fā)的全息術來說，文中討論了納入物理信息的五種不同方式，并展示了它們在解決與全息有關的各種問題的應用。

除了嘗試不同的 DNN 架構，一個重要的趨勢是將物理模型納入 DNN 模型。這個想法已經(jīng)得到了不同領域的研究人員的密切關注。

嵌入物理模型的 PhysenNet 優(yōu)勢明顯，但其優(yōu)化速度較慢，對輕量級的網(wǎng)絡結構和更有效的訓練算法提出了要求。

綜合利用物理先驗和傳統(tǒng)數(shù)據(jù)驅動方法的優(yōu)勢，使得訓練可以更有效，提高泛化性，增加可解釋性。

對于全息技術啟發(fā)的 DNN，大多數(shù)研究迄今發(fā)表的大部分研究都集中在光學推理方面。全息神經(jīng)網(wǎng)絡的光速并行處理能力確實保證了強大的推理能力，甚至超過了 Nvidia 的頂級產(chǎn)品 Tesla V100 張量核心 GPU 在某些任務中的表現(xiàn)。

為了讓光學的優(yōu)勢可以得到充分發(fā)揮，需要以光學方式對網(wǎng)絡進行在線訓練，有許多可能性來有效實現(xiàn) DNN 中的大多數(shù)基本功能。

依靠新型光學材料和設備的發(fā)展，可以在亞波長尺度對波進行高速調制，提高D2NN 的性能。

神經(jīng)計算的快速發(fā)展，為我們提供了更多強大的算法，比如尖峰神經(jīng)突觸網(wǎng)網(wǎng)絡(SNN)，可以模擬大腦的行為和學習潛力。這些新算法在全息技術中的適用性和潛力以待挖掘。

原文標題：深度全息：全息與深度神經(jīng)網(wǎng)絡的相遇

文章出處：【微信公眾號：中科院半導體所】歡迎添加關注！文章轉載請注明出處。

審核編輯：湯梓紅