用于視覺生成式 AI 的多模態(tài)架構(gòu) NVIDIA Edify 正在邁入全新維度。

Edify 為開發(fā)者和視覺內(nèi)容提供商推出了多種全新功能（例如 3D 資產(chǎn)生成功能），通過 AI 圖像生成助力實現(xiàn)更高的創(chuàng)意自由度。

多媒體內(nèi)容和數(shù)據(jù)提供商 Shutterstock 基于 Edify 架構(gòu)打造的應(yīng)用編程接口（API）將開放搶先體驗。通過該 API，創(chuàng)作者可使用提示文本或圖像來快速生成用于虛擬場景的 3D 物體。

Getty Images 是一家視覺內(nèi)容創(chuàng)作公司，同時也是一個視覺內(nèi)容交易市場，其生成式 AI 服務(wù)可在商業(yè)領(lǐng)域安全使用。該服務(wù)將新增定制微調(diào)功能，幫助企業(yè)客戶生成符合其品牌準則與風(fēng)格的視覺效果。該服務(wù)還將增設(shè)其他新功能，幫助客戶進一步把控生成圖像的結(jié)果。

NVIDIA NIM 是一組用于推理的微服務(wù)，于NVIDIA GTC 2024 大會上推出。開發(fā)者可通過 NVIDIA NIM 以 API 的形式試用由 Getty Images 和 Shutterstock 提供的預(yù)訓(xùn)練 Edify 模型。此外，通過 NVIDIA Picasso（基于 NVIDIA DGX 云構(gòu)建的 AI 代工服務(wù)），開發(fā)者還可使用 Edify 架構(gòu)訓(xùn)練和部署自己的生成式 AI 模型。

NVIDIA 與 Adobe 正在協(xié)作為數(shù)百萬 Firefly 和 Creative Cloud 的創(chuàng)作者帶來基于 Edify 構(gòu)建的全新 3D 生成式 AI 技術(shù)。

直播平臺 Be.Live 正在使用 NVIDIA Picasso 代工服務(wù)來提供實時生成式 AI，以便自動創(chuàng)建各種視覺效果，為觀眾提供別樣的互動體驗。Bria 是一個功能齊全的平臺，專為開發(fā)負責(zé)任的視覺生成式 AI 企業(yè)量身打造，該平臺現(xiàn)已采用 Picasso 來運行推理。Cuebric 創(chuàng)意工作室正在開發(fā)由 Picasso 提供支持的生成式 AI 應(yīng)用，以便打造沉浸式虛擬環(huán)境，助力電影制作和內(nèi)容創(chuàng)作。

加速 3D 創(chuàng)作：Shutterstock 3D AI 生成器現(xiàn)已開放搶先體驗

Shutterstock 的 3D AI 服務(wù)現(xiàn)已開放搶先體驗，該服務(wù)可以幫助創(chuàng)作者生成用于布景和構(gòu)思的各種虛擬物體。這種功能可以使場景原型設(shè)計大幅加速，從而讓藝術(shù)家有更多的時間來專注于主要角色和物體的創(chuàng)作。

運行中的 Shutterstock 3D 生成器（視頻來源：Shutterstock）

借助這些工具，創(chuàng)意專業(yè)人員可利用文本提示或參考圖像快速創(chuàng)建資產(chǎn)，并能以各種熱門 3D 格式導(dǎo)出資產(chǎn)文件。Edify 3D 服務(wù)還帶有內(nèi)置保護措施，可以過濾生成的內(nèi)容。

這款可在商業(yè)領(lǐng)域安全使用的模型是基于 Shutterstock 的授權(quán)數(shù)據(jù)訓(xùn)練的。考慮到藝術(shù)家的內(nèi)容知識產(chǎn)權(quán)在訓(xùn)練生成技術(shù)方面所起到的重要作用，Shutterstock 已向數(shù)十萬名藝術(shù)家支付了相應(yīng)報酬，未來預(yù)計還會有數(shù)百萬名藝術(shù)家獲得報酬。

惠普和 Shutterstock 在 GTC 大會上宣布將協(xié)作利用 Edify 3D 來為設(shè)計師提供大量原型設(shè)計選項，進而提升定制化 3D 打印體驗。

Shutterstock 的 3D AI 生成器可幫助設(shè)計師快速迭代概念并創(chuàng)建各種數(shù)字資產(chǎn)，而惠普則能將創(chuàng)建的數(shù)字資產(chǎn)通過自動化工作流轉(zhuǎn)換成可供 3D 打印的模型。隨后，惠普 3D 打印機便可將這些模型打印出來，制成實體原型，幫助設(shè)計師激發(fā)產(chǎn)品設(shè)計靈感。

Mattel 正在利用 Shutterstock 提供的 3D 生成式 AI 加快設(shè)計構(gòu)思過程。借助 AI，玩具設(shè)計師可以通過簡單的文字描述將他們對新產(chǎn)品的想法可視化。通過降低創(chuàng)建高保真概念設(shè)計的技術(shù)門檻，設(shè)計師們可以探索更廣泛的創(chuàng)意庫，并加快迭代速度。

此外，Shutterstock 還在開發(fā)各種基于 Edify 的工具，以便通過文本或圖像提示生成 360 HDRi 環(huán)境，為 3D 場景提供照明。

達索系統(tǒng)（Dassault Systèmes）正在通過其先進的 3DEXCITE 應(yīng)用程序進行 3D 內(nèi)容創(chuàng)作，將 Shutterstock 的生成式 360 HDRi API 整合到其基于 NVIDIA Omniverse（用于開發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用的計算平臺）的工作流中，CGI 工作室 Katana 也在推進相同的整合工作。

全球最大的技術(shù)賦能創(chuàng)意集團 Accenture Song 正在 Omniverse 平臺中使用計算機輔助設(shè)計（CAD）數(shù)據(jù)生成 Defender 車型的高保真圖像并將其用于營銷。借助由 Edify 提供支持的生成式 AI 微服務(wù)，Accenture Song 能夠通過對話式提示構(gòu)建電影級交互式 3D 環(huán)境，進而營造一個可提供完全沉浸式體驗的 3D 場景，將所生成的逼真環(huán)境與 Defender 車型的數(shù)字孿生完美融合在一起。

把控全局：借助 Getty Images 的定制微調(diào)功能，將視覺創(chuàng)意轉(zhuǎn)變?yōu)楝F(xiàn)實

Getty Images 將持續(xù)豐富其可在商業(yè)領(lǐng)域安全使用的生成式 AI 服務(wù)的功能，并為使用該服務(wù)生成內(nèi)容的用戶提供適當(dāng)知識產(chǎn)權(quán)報酬。

在 1 月的 CES 展會上，Getty Images 發(fā)布了由 Edify 提供支持的圖像修復(fù) API，用于添加、刪除或替換圖像中的物體。該 API 還可通過擴圖功能擴展創(chuàng)意空間。上述功能現(xiàn)已在 Gettyimages.com 和 iStock.com 上推出。

從 5 月開始，Getty Images 還將提供定制微調(diào)服務(wù)，以便公司根據(jù)其品牌和視覺風(fēng)格對 Edify 基礎(chǔ)模型進行調(diào)整。

通過該服務(wù)，各類公司均可上傳專有數(shù)據(jù)集，查看自動生成的標簽，提交微調(diào)任務(wù)，并在得到結(jié)果后再將其部署至生產(chǎn)，整個過程完全自助，且無需使用任何代碼。

對圖像輸出進行更精細的控制一直是生成式 AI 面臨的最大挑戰(zhàn)之一。為此，Getty Images 還將推出一套 API，并將其作為定制微調(diào)工具的一部分提供，這些 API 可幫助用戶更好地把控圖像輸出結(jié)果。

很快，開發(fā)者將能使用“草圖（Sketch）”、“深度（Depth）”和“分割（Segmentation）”功能。“草圖”功能可讓用戶提供草圖以指導(dǎo) AI 生成圖像；“深度”功能可讓用戶通過深度圖復(fù)制參考圖像的構(gòu)圖；“分割”功能可讓用戶分割部分圖像，以便添加、刪除或改進角色或物體。

多家領(lǐng)先的創(chuàng)意公司和廣告商均已在使用 Getty Images 的 API 服務(wù)，其中包含：

電通 (Dentsu Inc.)：日本廣告公司電通正在使用 Getty Images 的生成式 AI API 服務(wù)為 MAFA: Manga Anime For All 應(yīng)用提供支持，該應(yīng)用可為營銷案例創(chuàng)建漫畫和動畫風(fēng)格的內(nèi)容。此外，電通創(chuàng)意（Dentsu Creative）正在使用 NVIDIA Picasso 為領(lǐng)先的會員制倉儲零售商山姆會員商店微調(diào) Getty Images 模型。

麥肯 (McCann)：這家創(chuàng)意公司借助生成式 AI 為客戶利潔時（Reckitt）的非處方感冒藥 Mucinex 開發(fā)了一款具有創(chuàng)新性的游戲，讓玩家享受到了與品牌吉祥物互動的樂趣。

Refik Anadol Studio：這家工作室因使用生成式 AI 進行藝術(shù)創(chuàng)作而聞名，并且在 GTC 大會上展出了以熱帶雨林為靈感的藝術(shù)作品。該裝置是利用 Getty Images 的AI模型與 Refik 的熱帶雨林目錄進行微調(diào)后創(chuàng)作的。

WPP：這家營銷與傳播服務(wù)公司正在與可口可樂公司合作，探索如何通過微調(diào) Getty Images 的模型，以幫助構(gòu)建符合品牌風(fēng)格和準則的自定義視覺效果。

審核編輯：劉清