小呦交视频,亚洲欧洲日产网站,亚洲欧美视频免是免费观看

作者：SFXiang
首發：AI 算法修煉營

本文是收錄于CVPR2020的工作，我是被雙目圖像去霧的題目所吸引的，其實整個工作的創新性不高，但是可以從中學到數據集的制作，圖像去霧等基本知識。整體上，也可以看作視覺注意力機制的又一應用。

論文地址：
http://open access.thecvf.com/.../_CVPR/_2020/papers/Pang/_BidNet/_Binocular/_Image/_Dehazing/_Without/_Explicit/_Disparity/_Estimation/_CVPR/_2020/_paper.pdf

嚴重的霧度會導致圖像質量嚴重下降，從而影響視覺感知、目標檢測等性能。通常，去霧化的雙目圖像在像3D目標檢測等立體視覺任務上的表現要優于霧度較高的圖像，并且圖像霧度是一個與深度有關的函數。在這些基礎上，本文提出了一種雙目圖像去霧網絡（BidNet），旨在利用深度學習框架的對雙目左右圖像進行去霧。

現有的雙目除霧方法依賴于同時除霧和估計視差，而BidNet不需要明確執行耗時長、具有挑戰性的視差估計任務。但是，由于視差的小誤差會引起深度變化和無霧圖像估計的大變化，BidNet網絡中所提出的立體變換模塊（STM）編碼了雙目圖像之間的關系和相關性。 同時，對雙目圖像中的左右圖像同時進行除霧是互利的，這比僅對左圖像除霧要好。最后，作者將Foggy Cityscapes數據集擴展為具有雙目有霧圖像對的Stereo Foggy Cityscapes數據集。實驗結果表明，在主觀和客觀評估中，BidNet均明顯優于最新的除霧方法。

簡介

在計算機視覺領域，通常使用霧天圖像退化模型來描述霧霾等惡劣天氣條件對圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環境光模型兩部分。模型表達式為：

其中，是圖像像素的空間坐標，是觀察到的有霧圖像，是待恢復的無霧圖像，表示大氣散射系數，代表景物深度，是全局大氣光，通常情況下假設為全局常量，與空間坐標無關。

公式(1)中的表示坐標空間處的透射率，使用來表示透射率，于是得到公式（2）：

由此可見，圖像去霧過程就是根據求解的過程。要求解出，還需要根據求解出透射率和全局大氣光。

實際上，所有基于霧天退化模型的去霧算法就是是根據已知的有霧圖像求解出透射率和全局大氣光 。

根據上述等式可知，圖像霧度是深度的函數。雙目圖像的相關性可以幫助預測深度，這表明雙目圖像對于除霧任務是有益的。為了克服霧度造成的雙目圖像退化，直接和分別在左霧圖像和右霧圖像上應用單個圖像去霧方法不能獲得令人滿意的結果，尤其是對于重霧度，因為這種方法沒有利用雙目圖像。

現有的雙目圖像去霧方法依賴于同時執行去霧和視差估計。然而，這種方法有三個缺點：（1）對于給定的微小視差誤差，深度誤差會隨著視差的增加而增加。因為估計透射圖對去霧圖像是必需的，并且透射圖是深度的指數函數，誤差不均也導致在估計透射圖時出現較大誤差，并妨礙了無霧度圖像。（2）最新的基于學習的視差估計方法很耗時，因為它們必須應用3D卷積，計算量大。（3）這些方法僅輸出左去霧圖像，而不是雙目去霧圖像對。在本文中，提出了一種新穎的基于深度學習的雙目圖像去霧網絡（BidNet），該網絡能夠利用左右圖像中包含的協作信息，而無需明確執行耗時且具有挑戰性的視差估計環節。

圖1.使用提出的BibNet樣本圖像去霧結果。左上：輸入左霧圖像。左下：輸入右霧圖像。右上：去霧左圖像。右下：去霧右圖像

對于基于深度學習的雙目圖像去霧任務，沒有包含雙目霧圖像的特定數據集。通過將霧添加到Cityscapes數據集中來創建Foggy Cityscapes數據集。本文將Foggy Cityscapes數據集擴展到Stereo Foggy Cityscapes數據集，該數據集由雙目有霧圖像對組成。關鍵是利用視差和給定的攝像機參數來計算攝像機與左場景之間的距離以及攝像機與右場景之間的距離。在這個過程中，應用了complete pipeline ，它使用不完整的深度信息將合成霧添加到真實，晴朗的天氣圖像中。

主要貢獻：

（1）提出了一種新穎的雙目圖像去霧框架，稱為BidNet，該框架能夠利用左右圖像之間的相關性對雙目圖像對進行除霧，而無需估計視差， 它可以避免由不精確的視差估計引起的大誤差。

（2）受non-local網絡的啟發，提出了一種簡單而有效的機制并將其嵌入BidNet中，通過該機制將右圖像特征圖中的有用信息引入左圖像特征圖中。 具體是通過計算立體horizontal non-local相關矩陣并將該矩陣與右圖像的特征圖相乘來實現的。嵌入的過程是有效的，因為相關矩陣的大小比傳統的non-local網絡小一階。類似地，可以將左圖像的特征圖的有用信息嵌入到右圖像的有用信息中。

（3）在輸入左圖像和右圖像的情況下，只能使用上述除霧框架對左圖像或右圖像進行除霧。但是發現，通過同時考慮左右圖像來制定除霧損失函數，可以同時去除左右霧度圖像的霧度，從而產生更好的除霧效果。

（4）擴展了Cityscapes數據集以適應去霧任務。實驗結果表明，在主觀評估和客觀評估方面，BidNet均明顯優于最新的除霧方法。

本文方法：BidNet

圖2.（a）雙目圖像去霧網絡（BidNet）的總體架構。BidNet輸入雙目模糊圖像對并輸出無霧的雙目圖像對。（b）轉換模塊（STM）的結構。提出了STM來探索和編碼雙目圖像對之間的關系

如圖2所示，BidNet網絡輸入雙目有霧圖像對并估算透射圖、大氣光，同時對雙目圖像對進行去霧。BidNet的架構如圖2（a）所示。引入了STM（Stereo Transformation Module ）來探索和編碼雙目左右圖像之間的相關性。

一、Stereo Transmission Map Estimation Network

Stereo Transmission Map Estimation Network（STMENet）可以分為三個部分：權重共享特征提取模塊，Stereo Transformation Module（STM）和Refinement Module優化模塊。

1、權重共享特征提取模塊（Weight-Shared Feature Extraction Module）

如圖2（a）所示，權重共享特征提取模塊是編碼器-解碼器結構。

表1. BidNet的詳細架構。如果沒有特別說明，則在卷積層之后是BN和ReLU。除權重共享特征提取模塊外，左分支和右分支中的其余權重不共享。⊕表示concatenation和一個3×3卷積層以減少通道。上采樣表示雙線性插值。

輸入圖片首先通過預處理層以學習更好的輸入特征。學習到的左（和右）特征通過stride為2的四個3×3卷積層傳遞。四個卷積層的通道增加為32、48、64和96。之后對經過卷積的下采樣特征應用四個雙線性插值。通過自下而上和自上而下的結構，所獲得的左特征（F1）和右特征（Fr）是有區別的。

2、Stereo Transformation Module (STM)

權重共享模塊的左側和右側模塊僅融合其自身的信息。沒有利用雙目圖像對之間的關系和相關性。于是，設計了一個Stereo Transformation Module（STM），通過學習左右特征之間的horizontal相關性來轉換深度信息。

圖2（b）表示出了STM的結構。由于雙目圖像對在垂直方向上對齊，因此STM僅需要了解它們之間的水平相關性。受non-local網絡的啟發，將某個位置的響應計算為沿水平維度所有位置的特征的加權總和，這可以捕獲包含視差（深度）信息的遠程依賴關系。

3、Refinement Module

STM估計的透射圖仍然缺乏全局結構信息。空間金字塔池是parameter-free的，而且效率很高，于是網絡中采用空間金字塔池引入多尺度上下文信息來完善透射圖transmission maps，從而增強魯棒性。 上面的表1中顯示了詳細的結構，使用了三個平均池化層，內核大小分別為3、7和15，步長為1。池化層將初始估計的transmission maps轉換為全局表示的增強集合。然后，將這些具有初始估計的transmission maps通過concat進行聚合，并進入1×1卷積層以融合特征。最終，輸出是refine后的透射圖。

二、大氣光估算網絡Atmospheric Light Estimation Network

大氣光估計網絡（ALENet）旨在估計大氣光A。如圖2（a）所示，ALENet也是一種編碼器/解碼器結構，但沒有尺度的跳躍連接。它包括一個3×3卷積層作為預處理，三個Conv-BN-Relu-Pool塊作為編碼器，三個Up-Conv-BN-Relu塊作為解碼器，最后是一個3×3卷積層估計大氣光A，如表1所示。1.立體圖像對具有相同的大氣光A。因此，ALENet僅輸入左側圖像進行預測。

三、通過物理散射模型去霧Dehazing via The Physical Scattering Model

如圖2（a）所示，通過等式（2）計算左無霧圖像和右無霧圖像。等式（2）確保整個網絡同時優化。直接計算出的無霧雙目圖像有一些噪點，于是添加了圖像優化模塊，這是一個輕量級的密集塊。輕量級密集塊具有四個3×3卷積層，其輸入是在之前生成的特征圖的串聯。輸入通道的數量為3、8、16和24，但輸出通道的數量均為8。最后，采用1×1卷積層來估計精確的無霧雙目圖像。

四、損失函數

BidNet的損失函數包括：去霧 的雙目圖像的誤差、透射圖誤差、大氣光的誤差、Perceptual 損失。 在損失函數中同時考慮了左右圖像的誤差，因此同時對兩個圖像去霧是互利的。

無霧的雙目圖像誤差：

透射圖誤差：

大氣光誤差：

基于從預訓練網絡中提取的高級特征的Perceptual 損失被廣泛用于圖像超分辨率領域。此外，Perceptual 損失比像素損失更有效地衡量圖像的視覺相似性。受此啟發，作者引入了Perceptual 損失以增加恢復的無霧圖像與真實圖像之間的Perceptual 相似性。 Perceptual 損失利用從預先訓練的深度神經網絡中提取的多尺度特征來量化估計圖像和ground truth之間的視覺差異。本文中，使用在ImageNet 上預先訓練的VGG16 作為loss網絡，并從VGG16中的Conv33中提取特征。Perceptual loss定義為：

Stereo Foggy Cityscapes Dataset

整個數據集制作過程參考了文章《Semantic foggy scene understanding with synthetic data》，感興趣的話，可以參考原文。