得益于 NVIDIA Research 新的 AI 模型,越來越多的公司和創(chuàng)作者創(chuàng)建的大型虛擬世界可以更輕松地填充一系列多種多樣的 3D 建筑、車輛、人物等內(nèi)容。
NVIDIA GET3D僅使用 2D 圖像進行訓(xùn)練,可生成具有高保真紋理和復(fù)雜幾何細(xì)節(jié)的三維圖形。這些 3D 對象的創(chuàng)建格式與熱門圖形軟件應(yīng)用所用的格式相同,允許用戶立即將其形體導(dǎo)入 3D 渲染器和游戲引擎,以便進行后續(xù)編輯。
其所生成的對象可用于建筑、戶外空間或整個城市的 3D 表現(xiàn),為游戲、機器人開發(fā)、建筑和社交媒體等行業(yè)量身打造。
GET3D 可以根據(jù)受訓(xùn)練時使用的數(shù)據(jù)生成幾乎無限量的三維圖形。就像一位藝術(shù)家將一塊粘土制成精細(xì)的雕塑一樣,該模型會將數(shù)字轉(zhuǎn)換為復(fù)雜的三維圖形。
例如,借助 2D 汽車圖像的訓(xùn)練數(shù)據(jù)集,它創(chuàng)建了轎車、卡車、賽車和面包車等系列集。當(dāng)在動物圖像上訓(xùn)練后,它會生成狐貍、犀牛、馬和熊等生物。如果輸入椅子時,模型會生成各種旋轉(zhuǎn)椅、餐椅和舒適的躺椅。
NVIDIA AI 研究副總裁 Sanja Fidler 負(fù)責(zé)領(lǐng)導(dǎo)創(chuàng)建此工具的多倫多 AI 實驗室,她表示:“GET3D 讓我們離普及 AI 驅(qū)動的 3D 內(nèi)容創(chuàng)作更近了一步。它能夠即時生成紋理化的三維圖形,這可能會為開發(fā)者帶來顛覆性的變化,有助于他們迅速填充包含各種有趣對象的虛擬世界。”
在 11 月 26 日至 12 月 4 日于新奧爾良(以及在線)舉辦的 NeurIPS AI 大會上,NVIDIA 有 20 多篇論文、專題研討會, GET3D 就是其中之一。
打造虛擬世界需要多種 AI 類型
現(xiàn)實世界充滿了多樣性:街道上的建筑各有特點,各有不同的車輛則在其間呼嘯而過,川流不息的人群更是異彩紛呈。為反映這一情景的 3D 虛擬世界進行手動建模非常耗時,因此難以填入詳細(xì)的數(shù)字環(huán)境。
以前的 3D 生成式 AI 模型,雖然比人工方法更快,但在所能生成的細(xì)節(jié)水平上也被限制了。即使是最近的反向渲染方法也只能根據(jù)從多個角度拍攝的 2D 圖像生成 3D 物體,這就需要開發(fā)者一次構(gòu)建一個三維圖形。
相反,在單個 NVIDIA GPU 上運行推理時,GET3D 每秒可生成大約 20 個形體,就像處理 2D 圖像的生成式對抗網(wǎng)絡(luò)一樣,只是生成的是 3D 對象。作為學(xué)習(xí)來源的訓(xùn)練數(shù)據(jù)集更大、更多樣化,輸出也會更多樣化,并且更詳細(xì)。
NVIDIA 研究人員使用合成數(shù)據(jù)訓(xùn)練 GET3D,數(shù)據(jù)中包含使用不同攝像頭角度拍攝的三維圖形 2D 圖像。該團隊僅用了兩天時間,就使用 NVIDIA A100 Tensor Core GPU,對模型進行了 100 萬張圖像的訓(xùn)練。
讓創(chuàng)作者能夠修改形狀、紋理、材質(zhì)
GET3D 的名稱源于其能夠生成顯式紋理 3D (Generate Explicit Textured 3D) 網(wǎng)格,這意味著它會以三角形網(wǎng)格的形式創(chuàng)建形體并使用紋理材質(zhì)覆蓋,就像 papier-maché 模型一樣。這使得用戶能夠輕松地將對象導(dǎo)入游戲引擎、3D 建模軟件和電影渲染器,并進行編輯。
在創(chuàng)作者將 GET3D 生成的形體導(dǎo)出到圖形應(yīng)用后,當(dāng)這些物體移動或旋轉(zhuǎn)時,就能使用逼真的照明效果。通過整合 NVIDIA Research 提供的另一種 AI 工具 StyleGAN-NADA,開發(fā)者可以使用文本提示將特定風(fēng)格添加到圖像中,例如將渲染出的汽車調(diào)整為被燒毀的汽車或出租車,或?qū)⑵胀ǚ课菰O(shè)置成鬼屋。
研究人員指出,未來版本的 GET3D 可以使用攝像頭姿態(tài)預(yù)估技術(shù),讓開發(fā)者能夠使用真實世界的數(shù)據(jù)(而不是合成數(shù)據(jù)集)來訓(xùn)練模型。還可以對其進行改進以支持通用生成,這意味著開發(fā)者可以一次性訓(xùn)練用于各種三維圖形的 GET3D,而不必每一次在一個對象類別上進行訓(xùn)練。
審核編輯:湯梓紅
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5231瀏覽量
105711 -
AI
+關(guān)注
關(guān)注
87文章
34063瀏覽量
275189 -
三維圖形
+關(guān)注
關(guān)注
0文章
8瀏覽量
8116
原文標(biāo)題:GTC22 | NVIDIA 研究團隊構(gòu)建 AI 模型,為虛擬世界填充 3D 物體和人物
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
英偉達(dá)GTC2025亮點 NVIDIA推出Cosmos世界基礎(chǔ)模型和物理AI數(shù)據(jù)工具的重大更新
通用汽車和NVIDIA合作構(gòu)建定制化AI系統(tǒng)
NVIDIA推出面向RTX AI PC的AI基礎(chǔ)模型
NVIDIA Cosmos世界基礎(chǔ)模型平臺發(fā)布
堅米智能借助NVIDIA Isaac Lab加速四足機器人開發(fā)
LG AI Research使用亞馬遜云科技開發(fā)AI模型 加快癌癥診斷速度

NVIDIA推出全新生成式AI模型Fugatto
使用NVIDIA AI平臺確保醫(yī)療數(shù)據(jù)安全
賴耶科技通過NVIDIA AI Enterprise平臺打造超級AI工廠
借助NVIDIA Metropolis微服務(wù)構(gòu)建視覺AI應(yīng)用

借助NVIDIA NIM加速AI應(yīng)用部署

NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

評論