前不久，AI換臉楊冪，“復活”哥哥都火了一把。近幾日，氣質(zhì)美女林青霞也被AI舊照換新顏，猝不及防的上了熱搜?？靵硪欢昧智嘞嫉膬A國容顏吧！

AI修復的林青霞猝不及防上了熱搜。

網(wǎng)友們紛紛感嘆好美好有氣質(zhì)，甚至還有人起哄說道：“趕緊把7080年代的時候的港臺男女明星都修復一下，那時候顏值基本上個個都賞心悅目?！?/p>

先給大家上一波福利。

上圖中既有林青霞拍電影時的劇照，也有日常生活的照片。經(jīng)過AI修復后，原本模糊，噪點極大照片變得相對較為清晰。用網(wǎng)友的話說，大方立體的五官，富有線條感的臉部輪廓，AI修復的林青霞，真的美到讓人驚嘆！

圖像修復術與一鍵磨皮不同

在一片拜倒、贊美的聲浪中，也有網(wǎng)友提出了疑問：“這就是一鍵磨皮”？

盡管修復老照片，一鍵磨皮，都利用了卷積神經(jīng)網(wǎng)絡，但二者并不一樣。

修復老照片是利用AI算法替代圖像數(shù)據(jù)中缺失或者損壞的部分。而一鍵磨皮是在保護頭發(fā)、眼睛等細節(jié)部位外，其它部位進行模糊處理，相當于是一種粗糙的去噪聲的方式，并不能很好的去除模糊和提升清晰度。

常用的磨皮算法包括均值模糊、高斯模糊、中值濾波等，它們的去噪效果很好，但視覺效果太差。效果比較好的去噪算法是雙邊濾波算法。

一位接受采訪的圖像識別專家告訴我們，AI修復的林青霞照片采用的算法包括，人物區(qū)域監(jiān)測，任務區(qū)域去噪音，去模糊等算法。

通常來說，圖像修復包括多種任務：降噪/去噪、超分辨率重建、圖像填充、圖像去模糊、JPEG去塊等。

傳統(tǒng)上，圖像修復可以使用基于擴散方法來處理，這種方法將局部結構傳播到位置部分，或者基于示例的方法，每一次構建缺失部分的一個像素點（塊）同時保持和周圍像素點的一致性。

當缺失部分很大時，這些方法會失效，因此需要一個額外的部件提供合理的想象力（來自機器的幻覺）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經(jīng)網(wǎng)絡計算的那些。

依賴預訓練神經(jīng)網(wǎng)絡的幻覺來填補圖像中的大洞。深度神經(jīng)網(wǎng)絡使用監(jiān)督圖像分類。在監(jiān)督圖像分類中，每個圖像都有一個特定的標簽，并且神經(jīng)網(wǎng)絡通過一連串的基本操作運算來學習圖像到標簽之間的映射。

當在巨大的數(shù)據(jù)集（數(shù)百萬張帶有成千個的標簽的圖像）上被訓練后，神經(jīng)網(wǎng)絡具有卓越的分類表現(xiàn)并且偶爾可以超越人類的準確率。實施一個判別式預訓練的神經(jīng)網(wǎng)絡來指導圖像重建，其中神經(jīng)網(wǎng)絡的最后一層在圖像修復問題中被直接運用。

在圖像修復過程中，最值得關注的信息有哪些呢？上述接受采訪的圖像識別專家告訴我們，“圖像修復過程中，人物區(qū)域的識別信息，相關圖片的噪聲強度，模糊程度信息很關鍵。”

結合深度學習的圖像修復是如何實現(xiàn)的？知乎答主QZhang 為大家整理了13篇論文，供學習參考：

CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖級的 NN修復方法）。

鏈接：

https://arxiv.org/abs/1604.07379

CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，結合了風格遷移的思路。

鏈接：

https://arxiv.org/abs/1611.09969

ICCV 2017的on demanding learning(本質(zhì)上還是Context-Encoders的衍生版)。

鏈接：

http://vision.cs.utexas.edu/projects/on_demand_learning/

SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local兩個判別器的改進)。

Github代碼：

https://github.com/satoshiiizuka/siggraph2017_inpainting

ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷積，能夠修復任意非中心、不規(guī)則區(qū)域）。

鏈接：https://arxiv.org/abs/1804.07723

CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 后續(xù)還有個工作: Free-Form Image Inpainting with Gated Convolution。

Github代碼：

https://github.com/JiahuiYu/generative_inpainting

ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大 左旺孟教授組的工作）效果也不錯。

Github代碼：

https://github.com/Zhaoyi-Yan/Shift-Net_pytorch

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。

鏈接：

https://arxiv.org/pdf/1711.08590.pdf

ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡稱PGN，采用了由外至內(nèi)的步進式修補策略。

Github代碼：

https://github.com/crashmoon/Progressive-Generative-Networks

NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。

Github代碼：

https://github.com/shepnerd/inpainting_gmcnn

ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 采用邊緣推斷信息的思路進行重建。

Github代碼：

https://github.com/knazeri/edge-connect

CVPR 2019的Foreground-aware Image Inpainting, 思路類似于上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區(qū)域進行修復。

鏈接：https://arxiv.org/abs/1901.05945

CVPR 2019的Pluralistic Image Completion。

鏈接：https://arxiv.org/abs/1903.04227