NVIDIA 和康奈爾大學(xué)的科學(xué)家們引入了一種混合的無監(jiān)督神經(jīng)渲染管道，以有效地表示體素世界中的大型復(fù)雜場(chǎng)景。從本質(zhì)上講， 3D 藝術(shù)家只需要構(gòu)建最小值，剩下的部分將由算法來構(gòu)建照片級(jí)真實(shí)感世界。研究人員將這種混合神經(jīng)渲染管道應(yīng)用于 Minecraft 區(qū)塊世界，以生成更逼真的 Minecraft 場(chǎng)景。

NVIDIA 和更廣泛的研究團(tuán)體（ pix2pix 、 pix2pixHD 、 MUNIT 、 SPADE ）以前的工作已經(jīng)解決了圖像到圖像轉(zhuǎn)換（ im2im ）的問題——將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域。乍一看，這些方法似乎為將一個(gè)世界轉(zhuǎn)換為另一個(gè)世界的任務(wù)提供了一個(gè)簡(jiǎn)單的解決方案—一次翻譯一幅圖像。但是， im2im 方法不保持視點(diǎn)一致性，因?yàn)樗鼈儾涣私?3D 幾何體，并且每個(gè) 2D 幀都是獨(dú)立生成的。從下面的圖像中可以看出，這些方法的結(jié)果會(huì)產(chǎn)生抖動(dòng)和突然的顏色和紋理變化。

輸入 GANcraft ，這是一種直接在 3D 輸入世界上操作的新方法。

研究人員在 study 中解釋說：“由于用戶創(chuàng)建的塊世界根本不存在地面真實(shí)照片級(jí)真實(shí)感渲染，我們必須通過間接監(jiān)督來訓(xùn)練模型。”。

該方法的工作原理是在輸入塊世界中隨機(jī)采樣攝影機(jī)視圖，然后想象該視圖的真實(shí)照片版本是什么樣子。這是在 SPADE 的幫助下完成的，這是 NVIDIA 先前在圖像到圖像轉(zhuǎn)換方面的工作，也是流行的 GauGAN 演示中的關(guān)鍵組件。 GANcraft 通過使用樣式調(diào)節(jié)網(wǎng)絡(luò)克服了這些生成的“偽真實(shí)”的視圖不一致性，該網(wǎng)絡(luò)可以消除世界結(jié)構(gòu)與渲染樣式之間的歧義。這使 GANcraft 能夠生成與視圖一致的輸出視頻，并且具有不同的風(fēng)格。

雖然研究結(jié)果在 Minecraft 中得到了驗(yàn)證，但該方法適用于其他 3D 塊體世界，如體素。縮短構(gòu)建高清世界所需的時(shí)間和專業(yè)知識(shí)的潛力增加了這項(xiàng)研究的價(jià)值。它可以幫助游戲開發(fā)者、 CGI 藝術(shù)家和動(dòng)畫產(chǎn)業(yè)縮短構(gòu)建這些巨大而令人印象深刻的世界所需的時(shí)間。

GANcraft 是在 Imaginaire 庫中實(shí)現(xiàn)的。該庫針對(duì)生成模型和生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練進(jìn)行了優(yōu)化，支持多 GPU 、多節(jié)點(diǎn)和自動(dòng)混合精度訓(xùn)練。 NVIDIA 制作的 10 多種不同研究成果以及預(yù)訓(xùn)練模型已經(jīng)發(fā)布。隨著時(shí)間的推移，此庫將繼續(xù)使用更新的作品進(jìn)行更新。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營(yíng)銷經(jīng)理。他重點(diǎn)強(qiáng)調(diào)了 NVIDIA 實(shí)驗(yàn)室在世界各地進(jìn)行的驚人研究。

審核編輯：郭婷