前有DALL.E文本生成圖像,現有將文字變成 3D場景。近日,蘋果 AI 團隊發布最新 AI 模型 GAUDI,它是基于 3D 場景的神經架構 NeRFs,可以根據文字生成 3D 室內場景。
目前為止,NeRFs 主要用做 3D 模型和 3D 場景的一種神經存儲介質,然后可以從不同的相機視角進行渲染。
最新 AI 系統 GAUDI 如果說 NeRFs 從不同角度逼真地渲染圖像的能力可以用于生成 AI 呢? 此前,OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系統展示了 AI 將文本生成圖像的潛力,但內容也僅限于 2D 圖像和圖形。 2021 年末時,谷歌通過 Dream Fields 首次展示了 3D AI 生成系統,將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評估圖像內容的能力相結合。蘋果 AI 團隊發布的 GAUDI 是一種能夠生成沉浸式 3D 場景的神經架構,可以根據文字提示創建 3D 場景。 例如,輸入“穿過走廊”或“上樓梯”,就可以看到執行這一動作的 3D 場景視頻。
Apple GAUDI 是3D 內飾專家
雖然谷歌致力于使用 Dream Fields 生成單個對象,但將生成 AI 擴展到完全不受約束的 3D 場景仍是一個尚未解決的問題。這背后極有可能的原因之一是攝像機位置的限制。 雖然對于單個對象,每個攝像機位置都可以映射到一個圓頂,但在 3D 場景中,這些攝像機位置會受到對象和墻壁等障礙物的限制。 對于這個問題,GAUDI 模型的解決方案是:相機姿態解碼器對可能的相機位置進行預測,并確保輸出是 3D 場景架構的有效位置。 場景的場景解碼器預測三平面表示,這是一種 3D 畫布,輻射場解碼器在其上使用體積渲染方程繪制后續圖像。 在對四個不同數據集(包括室內掃描數據集 ARKitScences)的實驗中,研究人員表明 GAUDI 可以重建學習視圖并匹配現有方法的質量。 雖然現在 GAUDI 生成的 3D 場景視頻質量還不是很高,但這也說明了 AI 在圖像和視頻技術這生成的另一種可能。
審核編輯 :李倩
-
3D
+關注
關注
9文章
2952瀏覽量
109488 -
圖像
+關注
關注
2文章
1094瀏覽量
41039 -
AI
+關注
關注
87文章
34318瀏覽量
275493
原文標題:蘋果發布 AI 生成模型 GAUDI,文字生成 3D 場景
文章出處:【微信號:AI科技大本營,微信公眾號:AI科技大本營】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
一種以圖像為中心的3D感知模型BIP3D

SciChart 3D for WPF圖表庫

騰訊混元3D AI創作引擎正式發布
騰訊混元3D AI創作引擎正式上線
中興通訊全場景AI終端應用與裸眼3D新品亮相


歡創播報 騰訊元寶首發3D生成應用

評論