內容生成器 — 無論是生成語言、2D 圖像、3D 模型還是視頻 — 為創意社區提供了各種工具,可更快將想象變為現實。
為幫助開發者構建這些新型生成式 AI 工具,NVIDIA 建立了 NVIDIA AI Foundry。它有助于公司使用 NVIDIA Edify 基于自己的已授權數據訓練生成式 AI 模型。Edify 是一種多模態 AI 結構,可使用簡單的文本提示生成圖像、視頻、3D 素材、360 度高動態范圍成像和基于物理性質的渲染(PBR)材質。使用 AI Foundry,公司可以訓練定制 AI 模型來生成上述任何素材。
Edify 的關鍵優勢包括能夠生成多種類型的內容、其卓越的訓練效率(這便于它在基于更少的圖像進行訓練時生成高質量內容),及其調優模型以進行風格匹配或學習字符或對象的能力。
基于 NVIDIA AI Foundry 和 Edify 構建的服務范例之一為 Generative AI by Getty Images,一種可商用的生成式攝影服務。組合使用 AI Foundry 與 Edify,用戶可以控制他們的訓練數據集,從而創建符合其需求的模型。
為避免版權問題,Getty Images 使用 Edify 基于自己的已授權內容對該服務進行了訓練,以確保數據集中不存在知名人物或產品。該公司還與貢獻者分享部分利潤,為對該模型做出貢獻的創作者創造了新的收入來源。
使用 Edify 生成資產
可以對 Edify 進行訓練,以生成各種圖像類型,包括圖像、3D 素材和 360 度 HDRi 環境光貼圖。
Edify Image 可在約六秒內生成四張高質量 1K 圖像,性能比之前的模型提高一倍。還可以通過生成式放大器添加其他細節,將圖像轉換為 4K 格式。
Getty Images 4K 圖像生成使用安全商用創意庫在 NVIDIA Edify 上進行訓練。
得益于高級提示依從性,圖像實現了高度可控,攝像頭控制可指定焦距或場景深度,同時 ControlNets 將指導生成。ControlNets 包括 Sketch 和 Depth,前者允許用戶提供要依從的草圖或復制圖像的構圖,后者用于復制圖像的構圖。
也可以使用 Edify Image 來編輯圖像。InPaint 允許用戶在圖像中添加或修改內容。Replace — 一個嚴格 InPaint — 可以更改衣服等細節。并且 OutPaint 可以擴大圖像以匹配不同的寬高比。所有這些操作都可通過 Segment 進行簡化,這是一項只需要一條文本提示即可遮罩對象的功能。
Edify 還可以創建藝術家級別的 3D 網格。這些網格采用基于四邊形的清晰拓撲、高達 4K 的 PBR 材質和自動 UV 展開,便于更輕松地進行紋理編輯。快速預覽模式可在短短 10 秒內提供結果,然后將其轉換為完整的 3D 網格。
這類網格非常適合原型設計場景、為布景生成背景對象,或作為 3D 雕刻的開端。
Edify 360 HDRi 將生成自然景觀環境圖,可將其用于場景照明、反射甚至作為背景。該模型可根據文本或圖像提示生成高達 16K 的 HDRi 圖像。獲得所需背板后,用戶就可以創建自定義 HDRi 來進行匹配,而不必花費數小時尋找。
根據文本提示生成高動態范圍 360 度全景圖。
多模態功能為 Edify 所獨有,能夠實現組合不同素材類型的高級工作流。例如,與智能體結合使用時,Edify 允許用戶在幾分鐘內使用簡單的文本提示進行完整場景原型設計 — 就像在 NVIDIA 研究團隊 SIGGRAPH 演示中那樣,該演示展示了由 NVIDIA Edify 提供支持的模型和 NVIDIA Omniverse 平臺的輔助性 3D 世界構建功能。
另一個用例是將 Edify 3D 和 360 HDRi 與 Image 結合起來使用,以便用戶完全控制圖像生成過程。通過以 3D 格式生成場景,藝術家可以四處移動物體并設定他們想要的鏡頭,然后使用 Edify Image 將原型轉化為逼真的圖像。
Generative AI by Getty Images
Getty Images 是創意視覺效果、編輯攝影、視頻和音樂領域的大型內容服務提供商和供應商之一,也是人們最初搜尋、購買和分享來自世界上的優秀攝影師和錄像師的精彩視覺內容的地方之一。
Getty Images 使用 NVIDIA AI Foundry 來訓練 NVIDIA Edify Image 模型,以支持其生成式 AI 服務。該服務通過面向企業的 Generative AI by Getty Images 以及面向小型企業和業余創作者的 Generative AI by iStock 提供,允許用戶使用由 NVIDIA Edify 提供支持的模型來生成和修改圖像。
Generative AI by Getty Images(或 iStock)提供了一系列已授權內容。
Getty Images 和 iStock 最近已更新到最新版本的 Edify Image,以便更快生成內容,實現更高的提示依從性并公布攝像頭控制。
已更新 Generative AI by Getty Images 中的攝像頭控制。
用戶現在還可以在預拍創意內容時使用生成式 AI 工具,這便于他們編輯和修改 iStock 的視覺效果庫,以快速迭代和美化內容。這些相同的功能將于不久后在 Gettyimages.com 上發布。
-
NVIDIA
+關注
關注
14文章
5241瀏覽量
105768 -
AI
+關注
關注
87文章
34201瀏覽量
275364 -
模型
+關注
關注
1文章
3486瀏覽量
49990
原文標題:NVIDIA Edify 解密:幫助開發者創建自定義模型的技術,這些模型可基于其數據進行訓練
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
如何添加自定義單板
為什么無法將自定義EfficientDet模型從TensorFlow 2轉換為中間表示(IR)?
無法將自定義COCO數據集導入到OpenVINO? DL Workbench怎么解決?
如何快速創建用戶自定義Board和App工程

think-cell:自定義think-cell(四)

如何創建TestStand自定義步驟

請問multisim怎么自定義元器件?
如何使用NVIDIA Edify創建出細節考究的 3D 沙漠景觀
使用NVIDIA Edify助力的服務創建3D資產和虛擬環境照明
NVIDIA AI Foundry 為全球企業打造自定義 Llama 3.1 生成式 AI 模型

揭秘NVIDIA AI Workbench 如何助力應用開發

評論