編者按：下雨時(shí)拍照總有種朦朧的美感，但是附著在相機(jī)、窗戶上的水滴會降低背景的能見度，讓照片模糊不清。為了去除照片上的水滴，北京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)研究院的研究人員創(chuàng)建了一種注意力生成對抗網(wǎng)絡(luò)，效果不錯。以下是論智對論文的編譯。

下雨時(shí)拍出的照片模糊是由于雨滴覆蓋的區(qū)域和沒有雨滴的區(qū)域圖像內(nèi)容不同，同時(shí)，雨滴的形狀是球形，光線經(jīng)過折射會變成“魚眼”效果，讓寬廣的景色濃縮到一點(diǎn)。另外，在大多數(shù)情況中，相機(jī)的焦點(diǎn)都在背景上，所以會讓前景中的雨滴變得模糊。

在這篇文章中，我們解決了這一問題。給定一張有雨水的照片，我們的目標(biāo)是讓其變得清晰。大致效果如圖1所示。

圖1

我們的方法是完全自動的，相信這能為圖像處理和計(jì)算機(jī)視覺的應(yīng)用提供幫助，尤其是處理相似的問題，例如去除照片上的污漬等。

遇到的困難

通常來說，去除水滴的問題比較棘手。因?yàn)槭紫任覀儾恢辣挥晁谏w的區(qū)域原本的圖像（本文是根據(jù)單張圖片進(jìn)行還原，沒有對照圖片）。另外，遮擋區(qū)域背景的信息我們也無從得知。如果雨滴較大、分布得更密集，問題就更加麻煩。為了解決這個(gè)問題，我們選擇了生成對抗網(wǎng)絡(luò)。

雨水是透明的，但是由于它們特殊的形狀和光的折射，雨滴中一個(gè)像素區(qū)域就會受到整個(gè)環(huán)境的影響，所以使得這個(gè)雨滴和它的背景有很大的差別。在雨滴的某些區(qū)域，尤其是邊緣和透明的地方，通常會傳達(dá)有關(guān)背景的信息。我們發(fā)現(xiàn)這些信息可以通過分析用在網(wǎng)絡(luò)中。

我們將含有雨滴的模糊圖像用以下等式表示：

其中I表示輸入圖片，M表示二進(jìn)制掩碼。在該掩碼中，M(x)=1意味著像素x是雨滴的一部分，否則該像素就是背景的一部分。B是背景圖像，R是雨滴帶來的影響，表示復(fù)雜的背景信息和光折射產(chǎn)生的現(xiàn)象。⊙表示各種元素相乘。

網(wǎng)絡(luò)結(jié)構(gòu)

圖2展示了我們所提出的網(wǎng)絡(luò)結(jié)構(gòu)：

圖2

其中，生成對抗損失可以表示成：

G表示生成網(wǎng)絡(luò)，D表示判別網(wǎng)絡(luò)，I是含有雨滴的樣本圖片，之后會輸入到生成網(wǎng)絡(luò)中，R是未經(jīng)污染的自然圖像。

為了處理這個(gè)復(fù)雜的問題，我們的生成網(wǎng)絡(luò)首先會生成一個(gè)注意力地圖，這是整個(gè)網(wǎng)絡(luò)最重要的部分，因?yàn)樗鼘⒅笇?dǎo)網(wǎng)絡(luò)下一步該關(guān)注哪些區(qū)域。該地圖由一個(gè)包含深度ResNet的循環(huán)網(wǎng)絡(luò)生成，同時(shí)結(jié)合了卷積LSTM和幾個(gè)標(biāo)準(zhǔn)卷積層，我們將其稱為注意力循環(huán)網(wǎng)絡(luò)。

圖3展示了在訓(xùn)練過程中，我們的網(wǎng)絡(luò)是如何生成注意力地圖的。可以看到，我們的網(wǎng)絡(luò)不僅在確定雨滴的區(qū)域而且還要找出周圍環(huán)境的結(jié)構(gòu)。

圖3

生成網(wǎng)絡(luò)的第二部分是一個(gè)自動編碼器，語境自動編碼器的目的是生成一張沒有雨滴的圖片，輸入的照片和注意力地圖會同時(shí)輸入到該編碼器中。我們的深度自動編碼器有16個(gè)conv-relu模塊，同時(shí)還添加了跳躍式連接以防止輸出模糊的圖像。語境自動編碼器的結(jié)構(gòu)如圖4所示。

圖4

為了獲得更多語境信息，我們在自動編碼器的解碼器一端添加了多尺度的損失。每個(gè)損失都比較了卷積層的輸出和對應(yīng)的標(biāo)準(zhǔn)之間的差異。卷積層的輸入是解碼層的特征。除了這些損失，我們還在自動編碼器的最終輸出上應(yīng)用了一個(gè)感知損失，讓其更接近真實(shí)場景。這個(gè)最終的輸出也是生成網(wǎng)絡(luò)的輸出。

之后，判別網(wǎng)絡(luò)就會檢查上述輸出是否真實(shí)。和其他去水印、去障礙物的方法類似，我們的判別網(wǎng)絡(luò)會從局部和全局來進(jìn)行檢查。唯一不同的是，在我們的問題中，尤其在測試階段，有雨滴的目標(biāo)區(qū)域并不會給出。因此，判別網(wǎng)絡(luò)無法關(guān)注局部區(qū)域，因?yàn)闆]有可用信息。為了解決這一問題，我們用注意力地圖來引導(dǎo)判別網(wǎng)絡(luò)識別需要處理的局部區(qū)域。

實(shí)驗(yàn)結(jié)果

表1展示了我們的方法和目前的Eigen13和Pix2Pix之間的對比：

表1

與其他兩種方法相比，我們的方法PSNR和SSIM分?jǐn)?shù)都比較高，這說明我們的方法生成的結(jié)果更接近于真實(shí)場景。

同時(shí)我們還將完整的GAN結(jié)構(gòu)和我們網(wǎng)絡(luò)的部分相對比：A表示只有自動編碼器，沒有注意力地圖；A+D表示沒有注意力自動編碼器，也沒有注意力判別器；A+AD表示沒有注意力自動編碼器，但是有注意力判別器；AA+AD表示既有注意力自動編碼器也有注意力判別器。可以看出，AA+AD表現(xiàn)得比其他方法要好。

反映在圖像上，如圖6和圖7所示：

圖6

圖7

近距離觀察：

用Google Vision API對我們的方法進(jìn)行測試，結(jié)果如下：

可以看到谷歌的這款工具在經(jīng)過處理后的圖像上能更好地識別出場景中的物體。