偏振成像技術通過偏振信息的獲取和解譯，可以有效抑制復雜環境干擾，提升成像質量，增強目標感知能力，對于復雜環境下的光學成像探測具有獨特優勢。天津大學胡浩豐教授結合本團隊工作，介紹了深度學習偏振成像技術的研究進展，闡述了深度學習賦能復雜環境偏振成像任務的優勢，并對該領域的未來發展方向進行展望。

撰稿人：胡浩豐

論文題目：基于深度學習復雜環境的偏振成像技術研究進展（特邀）

作者：胡浩豐1,2，黃一釗2，朱震1，馬千文1，翟京生1，李校博1

完成單位：天津大學 海洋科學與技術學院；天津大學 精密儀器與光電子工程學院

導讀

視覺是人類獲得客觀世界信息的主要途徑，光學成像技術也因此在各個領域占據重要地位。傳統光學成像技術大多基于光強和波長所提供的信息，存在的缺陷是受光線傳播環境的影響較大，并且對目標的某些物理特性難以做出正確理解。偏振作為光波的基本物理信息之一，可以提供目標自身物理特性，是光學成像新的信息維度。然而，散射、低照度等復雜環境，偏振參量圖像將發生嚴重退化。研究與實踐均證實通過偏振信息的獲取和解譯，可以有效抑制復雜環境干擾，提升成像質量，增強目標感知能力，對于復雜環境下的光學成像探測具有獨特優勢。復雜環境偏振圖像退化機理呈現非線性特征，偏振信息解譯方法為非線性逆問題，復雜度較高。深度學習方法具有強大的特征提取和學習能力，通過學習大規模數據隱藏的映射規律獲得偏振信息的復原效果。特別適合偏振成像這種多維度、相互關聯的復雜信號處理問題。

研究背景

利用偏振信息成像本質上是對光場信息獲取維度的提升，通過多維偏振信息的獲取與融合處理，可以解決不同復雜環境和應用領域的成像任務。依靠物理模型以及一定先驗知識是解決復雜環境偏振成像任務的重要思想。例如，研究人員在散射環境偏振成像機理和物理模型研究的基礎上，通過對偏振信息解譯，實現了水體、霧霾等散射環境成像效果的提升。依靠物理模型以及一定先驗知識的偏振成像方法的圖像復原效果很大程度上取決于建立的物理模型是否符合真實環境成像的物理過程。由于構建的物理模型往往存在模型簡化和偏離實際應用場景等問題，難以應對極端復雜的成像環境。

近年來，隨著計算機技術的不斷發展，硬件單元處理大規模數據的性能得到提升，深度學習技術也隨之得到蓬勃發展，并在光學成像領域展現出獨特優勢。深度學習具有強大的特征提取和學習能力，善于通過大量的樣本訓練，提取和學習信號特征，歸納輸入信號和預期結果之間的映射關系，尤其對于多維且相互關聯的偏振參量信號處理具有獨特優勢?；谏疃葘W習復雜環境偏振成像技術以其出色的不同層次特征學習與擬合能力，繞過建立物理模型求解非線性逆問題的障礙，在成像質量客觀評價核心指標獲得顯著提升。文章介紹了基于深度學習偏振成像技術的基本范式，并針對散射和噪聲這兩種最具代表性的復雜成像環境，對基于深度學習復雜環境的偏振成像技術的代表性研究工作進行系統梳理。

技術亮點

1.?基于深度學習復雜環境的偏振成像技術范式

不同于構建物理模型以及一定的先驗知識解決復雜環境偏振成像任務的思路，深度學習技術以偏振成像系統采集得到的多維偏振參量圖像作為輸入數據，利用網絡非線性特征擬合能力，擬合偏振參量圖像到復原圖像的的映射關系，得到偏振參量圖像復原結果。圖1為基于深度學習復雜環境的偏振成像技術范式圖像。

圖1 基于深度學習復雜環境的偏振成像技術范式圖像

2.?基于深度學習散射環境的偏振成像研究進展

基于深度學習散射環境下的偏振成像技術旨在利用偏振光特性對散射介質采集的偏振信號進行解譯，利用網絡非線性擬合與特征學習能力，得到退化圖像以及復原圖像間的映射關系。文章對該成像任務的兩種解決方式，即數據驅動方式和物理模型內嵌的方式代表性研究工作進行歸納，總結了該領域的發展脈絡。

天津大學胡浩豐團隊首次提出應用于水下復雜成像環境的偏振密集網絡（Polarimetric Residual Dense Network, PDN），網絡結構如圖2（a）所示。Polarimetric-Net的輸入是三張不同角度偏振圖像，而Intensity-Net僅輸入一張強度圖像。該設計用于驗證采用多維度偏振信息作為輸入得到的去散射效果遠遠優于僅輸入光強圖像。不同方法復原對比效果如圖2（b）所示，復原效果在主觀與客觀評價指標（Edge-Model Estimation, EME）均為最佳。

圖2(a) PDN方法網絡結構示意圖；(b) PDN網絡復原效果以及與其它方法的對比效果

在該技術首次提出后，研究人員使用無監督、自監督的學習方式以及通過仿真合成所需要的圖像數據來解決基于深度學習偏振成像去散射技術面臨的公開數據集缺失，采集一定規模數據困難的問題。

數據驅動方式將模型視作一個“黑盒子”，學習輸入與標簽圖像間的映射關系。而訓練數據不可能涵蓋所有的散射環境，面對不同情況散射環境具有局限性。同時這種方式有可能出現與物理知識相悖的復原結果，網絡參數訓練量較大，訓練效率較低。將物理模型以及一定先驗知識內嵌網絡結構，可以增強網絡對于偏振信息退化過程的學習推理能力，以適應不同情況散射環境。

3?基于深度學習噪聲環境的偏振成像研究進展

同等噪聲水平下，非線性算法解譯的偏振參量圖像相比線性算法求得的Stokes矢量圖像質量退化更為嚴重。其中偏振角圖像放大區域尤為明顯，目標信息幾乎完全不可見。因此，解決噪聲引起的偏振參量圖像退化問題是偏振成像技術應用于低照度復雜環境的關鍵。文章對該領域研究工作進行整理與分類并總結發展脈絡?；谏疃葘W習噪聲環境的偏振成像技術經歷了三個發展階段。第一階段研究人員采用有監督端到端的訓練方式，實現了偏振參量圖像去噪效果。第二階段研究人員探索采用無監督，自監督，遷移學習方法解決第一階段遇到的數據集構建成本高效率低的問題。第三階段，研究人員對網絡訓練的可解釋性作以探究。

胡浩豐研究團隊在2020年首次提出基于密集殘差網絡的偏振圖像去噪網絡，稱之為PDRDN方法。觀察圖3（d）低信噪比環境下的高質量偏振參量復原效果與真值圖像對比圖像，基于深度學習技術的偏振圖像去噪方法能夠有效抑制偏振圖像噪聲，尤其是對偏振度圖像和偏振角圖像的去噪效果優越。

圖3（a）PDRDN方法網絡結構示意圖；（b）殘差密集塊結構；（c）測試集不同材質目標的偏振參量復原效果；（d）偏振參量圖像復原效果與真值圖像的細節對比

結論與展望

現有研究工作表明：由于偏振信息包含多個參量且具有一定的相關性，這種多維、相互關聯的信號處理問題，正適合使用深度學習技術。將深度學習技術與偏振成像技術相結合，可實現光學成像質量的進一步提升，滿足復雜環境的成像需求，體現更為突出的優勢。未來仍需要進一步完善內嵌物理模型，提高網絡的可解釋性，探索多模態融合策略，進一步鞏固深度學習模型在復雜環境偏振成像中的可行性，增強模型對復雜環境變化的適應能力，使其更具有場景通用性。

團隊及作者介紹

團隊介紹：

課題組依托天津大學光電信息技術教育部重點實驗室和自然資源部海洋觀測技術重點實驗室，在偏振光學及海洋探測領域具有深厚的研究基礎和優越的研究條件。團隊完成了多類具備控制、采集、處理、顯示、存儲等功能的偏振成像系統配套軟件。相關科技成果已成功應用于中國核電集團、應急管理部天津消防研究所等單位。

胡浩豐，天津大學英才教授，博士生導師，國家高層次青年人才，國家重點研發計劃首席青年科學家。擔任中國儀器儀表學會圖像科學與工程分會理事、中國光學學會全息與光信息處理專委會委員、中國光學工程學會計算成像專家委員會首屆委員。入選中國科協“青年人才托舉工程”、天津市首批“青年人才托舉工程”、天津市“青年科技優秀人才”，獲中國儀器儀表學會金國藩青年學子獎學金。主持國家重點研發計劃青年科學家項目1項、國家自然科學基金項目3項。主編學術專著2部，以第一或通訊作者發表SCI論文60余篇，以第一發明人授權國家發明專利19項。研究工作被美國光學學會、英國物理學會等多家機構專題報道。

李校博，天津大學，英才副教授，碩士生導師。入選中國科協“青年人才托舉工程”，獲中國光學學會王大珩光學獎、天津市優秀博士學位論文等。曾先后在法國高等光學研究所和香港中文大學從事訪問學者和研究工作。擔任中國光學工程學會計算成像專業委員會青年委員、《應用光學》雜志青年編委等。以第一/通訊作者身份在Optics Letters，Optics Express等國際知名期刊發表學術論文40余篇，先后主持國家自然科學基金項目1項，省部級項目5項。主要研究方向包括海洋光學探測、計算成像、光學測量及計量技術等。

黃一釗，天津大學精密儀器與光電子工程學院2021級碩士研究生，從事水下偏振成像技術相關研究工作，參與國家自然科學基金等多個項目。

審核編輯：黃飛

?