寫在前面

在 GitHub 熱點(diǎn)趨勢Vol.046 中，HG 介紹過一個微軟開源的 AI 工具——Bringing-Old-Photos-Back-to-Life

它可以讓破損、殘舊的圖片煥發(fā)新生，在本周更是獲得近 3k star。 而本文則是項(xiàng)目團(tuán)隊(duì)成員 Ziyu Wan 發(fā)布于 Hacker News 的項(xiàng)目介紹，Enjoy it~

概述

我們打算通過深度學(xué)習(xí)的方法來修復(fù)老化嚴(yán)重的舊照片。與傳統(tǒng)的監(jiān)督式學(xué)習(xí) supervised learning 的修復(fù)任務(wù)不同，真實(shí)照片的老化更為復(fù)雜，合成圖像和真實(shí)舊照片之間的領(lǐng)域差距 domain gap 使得網(wǎng)絡(luò)無法泛化。因此，我們提出了一種利用真實(shí)照片和大量合成圖像對的新型三重域翻譯網(wǎng)絡(luò)。具體來說，我們訓(xùn)練了兩個變分自編碼器 （VAE），分別將舊照片和干凈照片轉(zhuǎn)換為兩個潛在空間。 通過合成配對數(shù)據(jù)來學(xué)習(xí)兩個潛在空間之間的轉(zhuǎn)換。因?yàn)樵诰o湊的潛在空間中，domain gap 是封閉的，所以這種翻譯網(wǎng)絡(luò)可以很好地泛化為真實(shí)照片。

此外，為了解決混雜在舊照片中的多個退化問題，我們設(shè)計了一個帶有 partial nonlocal block 的全局分支，用于處理結(jié)構(gòu)性缺陷，如：劃痕、塵點(diǎn)，和一個局部分支，用于處理非結(jié)構(gòu)性缺陷，如：噪點(diǎn)、模糊。兩個分支在潛在空間融合，提高從多個退化問題中恢復(fù)舊照片的能力。該方法在相片修復(fù)的視覺質(zhì)量方面優(yōu)于現(xiàn)有的方法。

架構(gòu)全覽

我們首先訓(xùn)練兩個變分自編碼器 VAE：VAE1 用于真實(shí)照片 r ∈ R 和合成圖像 x ∈ X，通過聯(lián)合訓(xùn)練一個對抗判別器縮小它們的 domain gap；對干凈圖像 y ∈ Y 進(jìn)行 VAE2 訓(xùn)練。利用 VAE 將圖像轉(zhuǎn)換到緊湊的潛在空間。

我們了解了在緊湊潛在空間將損壞的圖像恢復(fù)到帶 partial non-local block 的干凈照片的映射。

對比圖

更多修復(fù)細(xì)節(jié)

近距離圍觀

團(tuán)隊(duì)成員 Ziyu Wan 對 Bringing-Old-Photos-Back-to-Life 的介紹已經(jīng)翻譯完畢，感興趣的小伙伴可以去把玩下，項(xiàng)目地址：

https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

責(zé)任編輯：PSY