一位新手畫家可能會(huì)遇到這樣的尷尬：提筆之初，原本設(shè)想的本來(lái)是一幅令人為之驚嘆的日落景觀——玻璃般的湖面反射出白雪皚皚的蜿蜒山脈，然而最后畫出的效果卻只是畫布上層層的墨跡。

NVIDIA研究利用生成式對(duì)抗網(wǎng)絡(luò)創(chuàng)建高度逼真的場(chǎng)景。

但是，NVIDIA Research開發(fā)的深度學(xué)習(xí)模型卻能將這一情形逆轉(zhuǎn)：它能將粗略的涂鴉轉(zhuǎn)變成令人嘆為觀止的逼真杰作。這一工具利用生成式對(duì)抗網(wǎng)絡(luò)（GAN），能夠?qū)⒎指顖D轉(zhuǎn)換為栩栩如生的圖像。

基于該模型的交互應(yīng)用程序被命名為GauGAN（發(fā)音似“高更”），以致敬后印象派畫家高更（Gauguin）。

后印象派畫家保羅·高更曾創(chuàng)作過(guò)幾幅自畫像，其中包括金貝爾藝術(shù)博物館收藏的創(chuàng)作于1885年的作品。（照片來(lái)自Wikimedia Commons，獲許可允許公開使用）。

GauGAN為各行各業(yè)的專業(yè)人士提供了一個(gè)能夠創(chuàng)建虛擬世界的強(qiáng)大工具——從建筑師、城市規(guī)劃者、到景觀設(shè)計(jì)師和游戲開發(fā)者。借助知曉現(xiàn)實(shí)世界的真實(shí)樣貌的AI，這些專業(yè)人士能構(gòu)思出更加出色的原型創(chuàng)意，并對(duì)合成的場(chǎng)景進(jìn)行快速修改。

NVIDIA應(yīng)用深度學(xué)習(xí)研究副總裁Bryan Catanzaro表示： “通過(guò)把簡(jiǎn)單的速寫轉(zhuǎn)換成高度逼真的圖像，這一項(xiàng)技術(shù)能夠?qū)㈩^腦風(fēng)暴的設(shè)計(jì)方式變得更加容易。”

Catanzaro將GauGAN所采用的技術(shù)比作 “智能畫筆” ，它能夠填充粗略分割圖（即顯示場(chǎng)景中物體位置的大致輪廓圖）中的細(xì)節(jié)。

借助于GauGAN，用戶能夠繪制自己的分割圖并構(gòu)建場(chǎng)景，并用沙子、天空、海洋或雪等標(biāo)簽對(duì)每個(gè)部分進(jìn)行標(biāo)記。

該深度學(xué)習(xí)模型接收過(guò)一百萬(wàn)張圖像的訓(xùn)練，能夠?qū)︼L(fēng)景畫進(jìn)行填充，從而呈現(xiàn)精彩絕倫的效果：讓你仿佛置身一座池塘中，附近的樹木和巖石等元素都倒映在水中。如果將分割標(biāo)簽從“草”切換為“雪”，整個(gè)圖像也會(huì)隨之會(huì)變?yōu)槎緢?chǎng)景，之前青蔥的綠樹也將凋謝。

“這就像一本填色圖冊(cè)里的圖畫，其中描繪了樹木、太陽(yáng)和天空的位置，” Catanzaro說(shuō)道。“然后神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)其對(duì)真實(shí)圖像的了解，為圖片填充所需的細(xì)節(jié)和紋理，以及反射、陰影和顏色。”

盡管GAN對(duì)真實(shí)的物理世界缺乏理解，但它卻能夠生產(chǎn)足可以假亂真的效果，這是因?yàn)樗捎玫慕Y(jié)構(gòu)是一對(duì)合作式的網(wǎng)絡(luò)：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)會(huì)創(chuàng)建圖像并展示給判別網(wǎng)絡(luò)；判別網(wǎng)絡(luò)接受過(guò)基于真實(shí)圖像的訓(xùn)練，能夠逐像素地為生成網(wǎng)絡(luò)提供反饋，并對(duì)其進(jìn)行指導(dǎo)，教會(huì)其如何提升合成圖像的真實(shí)感。

接受過(guò)真實(shí)圖像訓(xùn)練的判別網(wǎng)絡(luò)知道真實(shí)的池塘和湖泊會(huì)產(chǎn)生反射，通過(guò)判斷網(wǎng)絡(luò)的反饋，生成網(wǎng)絡(luò)也將習(xí)得如何模仿這一效果，從而創(chuàng)建出令人信服的圖像。

用戶還能夠使用這一工具添加樣式過(guò)濾器，更改生成的圖片的風(fēng)格，模仿特定的畫家畫風(fēng)，或?qū)⒁环讜儓?chǎng)景轉(zhuǎn)化為日落景象。

“這項(xiàng)技術(shù)不是簡(jiǎn)單將其他圖像拼接在一起，或是進(jìn)行紋理切割和粘貼，”Catanzaro說(shuō)道。“事實(shí)上，它是在合成新的圖像，這很像藝術(shù)家的繪畫方式。”

雖然GauGAN應(yīng)用程序?qū)Ｗ⒂陉懙亍⒑Ｑ蠛吞炜盏茸匀辉兀錆撛谏窠?jīng)網(wǎng)絡(luò)也能夠填充其他景觀元素，包括建筑物、道路和人。

去年6月，GauGAN的相關(guān)研究論文從5000多篇論文中脫穎而出，在CVPR會(huì)議上做展示介紹（錄取率僅為5%）。