博弈中的一名玩家稱為生成器, 它的主要工作是生成樣本, 并盡量使得其看上去與訓(xùn)練樣本一致.。另外一名玩家稱為判別器, 它的目的是準(zhǔn)確判斷輸入樣本是否屬于真實(shí)的訓(xùn)練樣本. 一個常見的比喻是將這兩個網(wǎng)絡(luò)想象成偽鈔制造者與警察. GAN的訓(xùn)練過程類似于偽鈔制造者盡可能提高偽鈔制作水平以騙過警察, 而警察則不斷提高鑒別能力以識別偽鈔. 隨著GAN的不斷訓(xùn)練, 偽鈔制作者與警察的能力都會不斷提高。

圖 1 生成式對抗網(wǎng)絡(luò)

相比以往的生成模型, GAN模型具有以下幾點(diǎn)明顯的優(yōu)勢: 一是數(shù)據(jù)生成的復(fù)雜度與維度線性相關(guān), 對于較大維度的樣本生成, 僅需增加神經(jīng)網(wǎng)絡(luò)的輸出維度, 不會像傳統(tǒng)模型一樣面臨指數(shù)上升的計算量; 二是對數(shù)據(jù)的分布不做顯性的限制, 從而避免了人工設(shè)計模型分布的需要; 三是GAN生成的手寫數(shù)字, 人臉, CIFAR-10等樣本較VAE, PixelCNN等生成模型更為清晰.

圖 2 GAN與傳統(tǒng)方法的數(shù)據(jù)填補(bǔ)效果

圖 3 iGAN的生成樣例

GAN突出的生成能力不僅可用于生成各類圖像和自然語言數(shù)據(jù), 還啟發(fā)和推動了各類半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)任務(wù)的發(fā)展. 結(jié)合GAN, 研究者在數(shù)據(jù)填報, 圖像翻譯, 數(shù)據(jù)合成, 模仿學(xué)習(xí)等諸多方面取得了突破性的進(jìn)展.

圖 4 圖對圖翻譯

圖 5 使用GAN合成數(shù)據(jù)訓(xùn)練機(jī)械臂

然而, 原始GAN模型也存在許多問題, 包括收斂困難, 無法生成離散數(shù)據(jù), 難以評價等. 本文對GAN近年來的發(fā)展進(jìn)行了綜述, 對GAN在生成機(jī)制, 判別機(jī)制兩方面的改進(jìn)進(jìn)行了介紹, 并梳理了其應(yīng)用領(lǐng)域. 在此基礎(chǔ)上, 本文還探討了GAN與平行思想的關(guān)系.

圖 6 本文組織結(jié)構(gòu)