NVIDIA 研究人員使 LATTE3D （一款最新文本轉(zhuǎn) 3D 生成式 AI 模型）實(shí)現(xiàn)雙倍加速。

LATTE3D 就像一臺(tái)虛擬 3D 打印機(jī)，能在 1 秒內(nèi)將文字提示轉(zhuǎn)換成物體和動(dòng)物的 3D 表征。

該模型生成的形狀采用標(biāo)準(zhǔn)渲染應(yīng)用中常用的格式，可輕松地服務(wù)于虛擬環(huán)境中，應(yīng)用在視頻游戲開發(fā)、營銷、設(shè)計(jì)項(xiàng)目或搭建機(jī)器人的虛擬訓(xùn)練場(chǎng)地。

NVIDIA AI 研究副總裁 Sanja Fidler 帶領(lǐng)的 NVIDIA 多倫多 AI 實(shí)驗(yàn)團(tuán)隊(duì)開發(fā)了 LATTE3D。Sanja Fidler 表示：“一年前，AI 模型生成這種質(zhì)感的 3D 視覺效果需要 1 個(gè)小時(shí)，當(dāng)前的最新技術(shù)也需要 10 到 12 秒。現(xiàn)在，我們將產(chǎn)出結(jié)果的速度又提高了一個(gè)數(shù)量級(jí)，使各行各業(yè)的創(chuàng)作者都能實(shí)現(xiàn)近乎實(shí)時(shí)的文本轉(zhuǎn) 3D 生成。”

這一進(jìn)展意味著在單顆 GPU（例如 NVIDIA Research 的 demo 中使用的 NVIDIA RTX GPU）上運(yùn)行推理時(shí)，LATTE3D 幾乎可以做到即時(shí)生成 3D 形狀。

縮短從構(gòu)思、生成到迭代的周期

創(chuàng)作者不需要從零開始設(shè)計(jì)，也不需要翻閱 3D 素材庫，只需要在腦海中“靈感乍現(xiàn)”時(shí)使用 LATTE3D，就可快速生成具體的對(duì)象。

該模型可根據(jù)每個(gè)文本提示生成一些不同的 3D 形狀供創(chuàng)作者選擇。被選中的形狀將會(huì)在幾分鐘內(nèi)進(jìn)行優(yōu)化，以提高質(zhì)量。然后，用戶可以將形狀導(dǎo)出至圖形軟件應(yīng)用或平臺(tái)，例如 NVIDIA Omniverse，該平臺(tái)能夠開發(fā)基于通用場(chǎng)景描述（OpenUSD）的 3D 工作流和應(yīng)用程序。

研究人員在兩個(gè)特定數(shù)據(jù)集上訓(xùn)練了 LATTE3D 模型，分別是動(dòng)物和日常物品，開發(fā)人員可以使用相同的模型架構(gòu)在其他類型數(shù)據(jù)上來訓(xùn)練 AI。

如果在 3D 植物數(shù)據(jù)集上進(jìn)行訓(xùn)練，LATTE3D 則能夠幫助景觀設(shè)計(jì)師在與客戶進(jìn)行討論時(shí)，使用樹木、花叢和多肉植物來快速填充花園效果圖。如果在家居物品數(shù)據(jù)集上進(jìn)行訓(xùn)練，該模型將會(huì)生成適用于 3D 家居模擬環(huán)境中的物品，開發(fā)人員還可以將這樣生成的物品來訓(xùn)練個(gè)人助手機(jī)器人，有助于其后期在現(xiàn)實(shí)世界中的測(cè)試和部署。

LATTE3D 使用NVIDIA Tensor Core GPU進(jìn)行訓(xùn)練。除 3D 形狀外，該模型還使用 ChatGPT 生成的各種文本提示進(jìn)行訓(xùn)練，以更好地處理用戶為描述特定 3D 物體而可能想出的各種短語，例如讓該模型理解凡是以各種犬科動(dòng)物為特征的提示，都應(yīng)該生成類似狗的形狀。

NVIDIA Research由全球數(shù)百名科學(xué)家和工程師組成，專注于 AI、計(jì)算機(jī)圖形、計(jì)算機(jī)視覺、自動(dòng)駕駛汽車和機(jī)器人等領(lǐng)域的研究。

研究人員在 NVIDIA GTC 2024 上介紹了他們的研究成果，這些成果推動(dòng)了擴(kuò)散模型訓(xùn)練技術(shù)的前沿發(fā)展。



審核編輯：劉清