AI、虛擬世界和數(shù)字人正在推動(dòng)視覺設(shè)計(jì)進(jìn)入更寬廣的軌道。

在 SIGGRAPH 大會(huì)上，NVIDIA 高管發(fā)表的簡(jiǎn)短的特別演講令人大開眼界，其中不僅描述了推動(dòng)圖形新時(shí)代發(fā)展的力量，還介紹了 NVIDIA 致力于擴(kuò)展新工具并為加速圖形技術(shù)發(fā)展不遺余力。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在為時(shí) 45 分鐘的演講中談到：“元宇宙是互聯(lián)網(wǎng)的再次演進(jìn)，而 AI 和計(jì)算機(jī)圖形技術(shù)的結(jié)合將為元宇宙提供動(dòng)力”。

它將成為互聯(lián)虛擬世界和數(shù)字孿生的樞紐，成為工作和娛樂的心選之地。黃仁勛還表示，數(shù)字人虛擬形象將成為未來廣受歡迎的機(jī)器人形式之一，將為這個(gè)領(lǐng)域注入更多生機(jī)與活力。

通過 45 個(gè)演示和幻燈片，5 位 NVIDIA 演講者發(fā)布了如下公告：

NVIDIA Omniverse Avatar Cloud Engine (ACE)，用于創(chuàng)建虛擬形象的新平臺(tái)。

構(gòu)建 Universal Scene Description (USD) 的計(jì)劃，USD 是元宇宙的語(yǔ)言。

對(duì) NVIDIA Omniverse（用于創(chuàng)建虛擬世界和數(shù)字孿生的計(jì)算平臺(tái)）的主要擴(kuò)展。

利用機(jī)器學(xué)習(xí)為圖形工作流提供強(qiáng)效助力的工具。

他談到，“我們今天發(fā)布的公告進(jìn)一步推動(dòng)了元宇宙的發(fā)展，這是一個(gè)新的計(jì)算平臺(tái)，具有新的編程模型、架構(gòu)和標(biāo)準(zhǔn)。

元宇宙應(yīng)用已應(yīng)運(yùn)而生。

黃仁勛指出，“用戶可以嘗試使用增強(qiáng)現(xiàn)實(shí)的虛擬 3D 產(chǎn)品，電信公司正在創(chuàng)建其無線電網(wǎng)絡(luò)的數(shù)字孿生來優(yōu)化和部署無線電塔[以及]許多公司都在創(chuàng)建倉(cāng)庫(kù)和工廠的數(shù)字孿生以優(yōu)化其布局和物流。”

輸入虛擬形象

元宇宙的世界離不開虛擬助手，我們與虛擬形象的互動(dòng)將像與另一個(gè)人交談一樣自然。他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務(wù)。

黃仁勛說，“虛擬形象在 Omniverse 中進(jìn)行設(shè)計(jì)、訓(xùn)練和操作，會(huì)成為廣泛使用的機(jī)器人之一，數(shù)目將增長(zhǎng)至數(shù)十億個(gè)”。

數(shù)字人和虛擬形象需要自然語(yǔ)言處理、計(jì)算機(jī)視覺、復(fù)雜的面部和身體動(dòng)畫等技術(shù)。為了以逼真的方式移動(dòng)和說話，這套復(fù)雜的技術(shù)必須同步到毫秒。

盡管非常艱巨，NVIDIA 仍致力于通過 Omniverse Avatar Cloud Engine 簡(jiǎn)化和加速這項(xiàng)工作。ACE 是基于 NVIDIA 工作構(gòu)建的一系列 AI 模型和服務(wù)集合，涵蓋從對(duì)話式 AI 到 Audio2Face 和 Audio2Emotion 等動(dòng)畫工具的所有內(nèi)容。

虛擬形象需要許多復(fù)雜的功能

NVIDIA 圖形和 AI 總監(jiān) Simon Yuen 表示，“借助 Omniverse ACE，開發(fā)者可以在任何公有云或私有云中，在任何引擎中構(gòu)建、配置和部署其虛擬形象應(yīng)用。我們希望為每個(gè)平臺(tái)構(gòu)建交互式虛擬形象。”

ACE 將于明年初推出，可在嵌入式系統(tǒng)和所有主要云服務(wù)中運(yùn)行。

Yuen 還展示了新版 Omniverse Audio2Face，這是一種可以直接通過聲音創(chuàng)建面部動(dòng)畫的 AI 模型。

他談到，“我們剛剛添加了更多功能來分析您的情緒，并自動(dòng)將您的情緒傳遞給虛擬形象。”

未來版本的 Audio2Face 只需一張照片即可創(chuàng)建虛擬形象，自動(dòng)應(yīng)用紋理并生成動(dòng)畫就緒型 3D 網(wǎng)格。它們將對(duì)肌肉運(yùn)動(dòng)進(jìn)行高保真模擬，AI 可以通過觀看視頻來汲取經(jīng)驗(yàn)。生成的頭發(fā)不僅效果逼真，還會(huì)對(duì)虛擬梳理做出預(yù)期的反應(yīng)。

USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)

元宇宙的許多超能力都以 USD 為基礎(chǔ)，而 USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)。

NVIDIA Omniverse 和模擬技術(shù)副總裁 Rev Lebaredian 表示，元宇宙“需要一種標(biāo)準(zhǔn)的方式來描述 3D 世界中的所有事物”。

將 USD 與 2D 網(wǎng)絡(luò)中的 HTML 比較時(shí)，他補(bǔ)充道，“我們認(rèn)為，Pixar 發(fā)明和開源的 Universal Scene Description 是互聯(lián)網(wǎng)新時(shí)代的標(biāo)準(zhǔn)場(chǎng)景描述”。

Lebaredian 將 NVIDIA 對(duì) USD 的愿景描述為創(chuàng)造比現(xiàn)實(shí)世界中更多機(jī)遇的關(guān)鍵。

他說：“我們的下一個(gè)里程碑旨在使 USD 在實(shí)時(shí)、大規(guī)模虛擬世界和工業(yè)數(shù)字孿生方面發(fā)揮卓越性能。”NVIDIA 計(jì)劃幫助 USD 為構(gòu)建國(guó)際字符集、地理空間坐標(biāo)以及物聯(lián)網(wǎng)數(shù)據(jù)的實(shí)時(shí)串流提供支持。

NVIDIA 計(jì)劃投資 USD

為進(jìn)一步加速 USD 的采用，NVIDIA 將發(fā)布 USD 兼容性測(cè)試和認(rèn)證套件。它可讓開發(fā)者了解其自定義 USD 組件會(huì)產(chǎn)生預(yù)期結(jié)果。

此外，NVIDIA 還發(fā)布了一組模擬就緒型 USD 素材，專為工業(yè)數(shù)字孿生和 AI 訓(xùn)練工作流而設(shè)計(jì)。他們加入了大量的免費(fèi)線上 USD 資源，包括 USD 就緒型場(chǎng)景、點(diǎn)播教程、文檔和講師指導(dǎo)式課程。

Lebaredian 表示，“我們希望每個(gè)人都能為構(gòu)建和推進(jìn) USD 發(fā)展貢獻(xiàn)一己之力。”

Omniverse 擴(kuò)展調(diào)色板

對(duì) NVIDIA Omniverse 的主要新版本的公告是特別演講的重要內(nèi)容之一，其下載量已達(dá) 18.4 萬(wàn)次。

黃仁勛將 Omniverse 稱為“一個(gè) USD 平臺(tái)、是構(gòu)建元宇宙應(yīng)用的工具包，以及運(yùn)行虛擬世界的計(jì)算引擎。”

其新版本包含多項(xiàng)升級(jí)的核心技術(shù)，并支持與更多熱門工具連接。

這些名為 Omniverse Connector 的鏈路現(xiàn)已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等進(jìn)行開發(fā)。連接器現(xiàn)已推出測(cè)試版，適用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 現(xiàn)已成為 Omniverse 網(wǎng)絡(luò)的一部分，這些新開發(fā)的加入使隊(duì)伍更加壯大，將攜手迎接更多工業(yè)客戶進(jìn)入數(shù)字孿生時(shí)代。

NVIDIA 專業(yè)圖形副總裁 Steve Parker 表示，“Omniverse 與互聯(lián)網(wǎng)本身一樣，是一個(gè)由網(wǎng)絡(luò)組成的‘網(wǎng)絡(luò)’，可連接各行各業(yè)和各學(xué)科的用戶。”

NVIDIA Omniverse 新功能

近十幾個(gè)合作伙伴將在 SIGGRAPH 上展示 Omniverse 功能，包括硬件、軟件和云服務(wù)供應(yīng)商，例如 AWS、Adobe、戴爾、Epic 和微軟。六家合作伙伴將就 AI 和虛擬世界等主題舉辦會(huì)議，將由 NVIDIA 提供支持。

加快物理速度，創(chuàng)建動(dòng)物動(dòng)畫

Parker 詳細(xì)介紹了 Omniverse 中的多項(xiàng)技術(shù)升級(jí)，涵蓋了使用材質(zhì)定義語(yǔ)言 (MDL) 模擬物理屬性準(zhǔn)確的材質(zhì)、使用 PhysX 的實(shí)時(shí)物理，以及 RTX（即混合渲染和 AI 系統(tǒng)）等增強(qiáng)功能。

Parker 認(rèn)為，“從邊緣到云端，這些核心技術(shù)支柱都由 NVIDIA 高性能計(jì)算提供支持。”

例如，PhysX 現(xiàn)在支持軟體和粒子布料仿真，可實(shí)時(shí)為虛擬世界帶來更高的物理精度。并且，NVIDIA 完全開源 MDL，因此可以輕松支持 OpenGL 或 Vulkan 等圖形 API 標(biāo)準(zhǔn)，從而使開發(fā)人員可以更廣泛地使用材料標(biāo)準(zhǔn)。

Omniverse 還將包括 NVIDIA Research 開發(fā)的結(jié)合了 RTX 圖形和 AI 的神經(jīng)圖形功能。例如：

動(dòng)物建模師允許藝術(shù)家可以使用激光點(diǎn)云迭代動(dòng)物的形狀，然后自動(dòng)生成 3D 網(wǎng)格。

GauGAN360 是 NVIDIA GauGAN 的下一代次演進(jìn)，可生成 8K 360 度全景圖并輕松加載到 Omniverse 場(chǎng)景中。

Instant NeRF 根據(jù) 2D 影像創(chuàng)建 3D 對(duì)象和場(chǎng)景。

機(jī)器學(xué)習(xí)框架 NVIDIA Modulus 的 Omniverse Extension 將讓開發(fā)人員使用 AI 將現(xiàn)實(shí)世界物理的模擬速度提高 10 萬(wàn)倍，因此元宇宙的外觀和感覺就像現(xiàn)實(shí)世界一樣。

此外，Omniverse Machinima 作為 SIGGRAPH 大會(huì)主題的激烈競(jìng)賽主題，競(jìng)技內(nèi)容來源于戰(zhàn)爭(zhēng)附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”，以及新的 AI 動(dòng)畫工具，如 Audio2Gesture。

Industrial Light & Magic 的演示展示了另一項(xiàng)新功能。Omniverse DeepSearch 利用 AI 幫助團(tuán)隊(duì)直觀地搜索未標(biāo)記資產(chǎn)的大型數(shù)據(jù)庫(kù)，即使未在元數(shù)據(jù)中具體列出，也能為術(shù)語(yǔ)提供準(zhǔn)確的結(jié)果。

圖形變得智能

新興元宇宙的重要支柱之一即為神經(jīng)圖形。這是一個(gè)混合學(xué)科，可利用神經(jīng)網(wǎng)絡(luò)模型加速和增強(qiáng)計(jì)算機(jī)圖形。

NVIDIA AI 副總裁 Sanja Fidler 認(rèn)為：“神經(jīng)圖形將 AI 和圖形融合在一起，為打造能夠從數(shù)據(jù)中學(xué)習(xí)的未來圖形管線鋪平了道路。” 她補(bǔ)充道，“最終，神經(jīng)圖形將重新定義用戶創(chuàng)建、模擬和體驗(yàn)虛擬世界的原理。”

AI 將幫助藝術(shù)家生成創(chuàng)建元宇宙所需的大量 3D 內(nèi)容。例如，他們可以使用神經(jīng)圖形快速捕獲現(xiàn)實(shí)世界中的對(duì)象和行為。

Fidler 介紹了用于實(shí)現(xiàn)這一目的的 NVIDIA 軟件 Instant NeRF，這是一個(gè)利用 2D 圖像創(chuàng)建 3D 對(duì)象或場(chǎng)景的工具。這是 NVIDIA 在 SIGGRAPH 大會(huì)上榮獲的兩項(xiàng)最佳論文獎(jiǎng)之一的主題。

另一篇獲獎(jiǎng)的最佳論文介紹了神經(jīng)圖形，該模型可以預(yù)測(cè)并減少電競(jìng)和 AR/VR 應(yīng)用中的反應(yīng)延遲。包含這兩篇最佳論文在內(nèi)，NVIDIA 研究人員在本周的 SIGGRAPH 大會(huì)上共發(fā)表了 16 篇論文。

神經(jīng)圖形將 AI 融入圖形管線

設(shè)計(jì)師和研究人員可以應(yīng)用神經(jīng)圖形和其他技術(shù)，使用 NVIDIA 在大會(huì)上推出的全新軟件開發(fā)套件來創(chuàng)作自己的競(jìng)獎(jiǎng)作品。

Fidler 介紹了其中一套工具 Kaolin Wisp，只需幾行代碼即可創(chuàng)建神經(jīng)場(chǎng)（即，表示 3D 場(chǎng)景或?qū)ο蟮?AI 模型）。

另外，NVIDIA 還發(fā)布了 NeuralVDB，這是開源標(biāo)準(zhǔn) OpenVDB 的下一代演進(jìn)版本，用于模擬和渲染水、火、煙霧和云，從視覺效果到科學(xué)計(jì)算等各領(lǐng)域均在使用。

NeuralVDB 使用神經(jīng)模型和 GPU 優(yōu)化顯著降低內(nèi)存要求，以便用戶能夠?qū)崟r(shí)與極其復(fù)雜的超大型數(shù)據(jù)集進(jìn)行交互，并更高效地共享這些數(shù)據(jù)集。

黃仁勛認(rèn)為，“AI 是我們這個(gè)時(shí)代強(qiáng)大的技術(shù)力量之一，它將徹底改變計(jì)算機(jī)科學(xué)的各個(gè)領(lǐng)域，包括計(jì)算機(jī)圖形學(xué)，而 NVIDIA RTX 是神經(jīng)圖形學(xué)的引擎。”請(qǐng)?jiān)?SIGGRAPH 活動(dòng)網(wǎng)站觀看完整的 NVIDIA 特別演講，其中還包括實(shí)驗(yàn)、演示文稿和紀(jì)錄片首映的詳細(xì)信息。

審核編輯：湯梓紅