Meta 一直沒(méi)放棄元宇宙。
2021 年,F(xiàn)acebook 將「元宇宙(metaverse)」作為公司主營(yíng)業(yè)務(wù),并將公司名稱更改為 Meta。然而,這一年,隨著 ChatGPT 的橫空出世,生成式 AI 成為一個(gè)新的研究趨勢(shì),很多科技公司都將生成式 AI 作為公司重要研發(fā)業(yè)務(wù)。但 Meta 一直沒(méi)有停止 VR/AR 的研究步伐。
最近,Meta 的 Codec Avatars Lab 提出了一種高保真、光線可調(diào)節(jié)的虛擬頭像合成方法 ——Relightable Gaussian Codec Avatars。
論文地址:https://arxiv.org/pdf/2312.03704.pdf
項(xiàng)目主頁(yè):https://shunsukesaito.github.io/rgca/
今年 9 月,Meta 首席執(zhí)行官馬克?扎克伯格與麻省理工學(xué)院(MIT)科學(xué)家 Lex Fridman 在元宇宙里進(jìn)行了一小時(shí)的對(duì)話。彼時(shí),兩位的形象是使用掃描技術(shù)構(gòu)建的用戶面部 3D 模型,逼真度已經(jīng)很高。
現(xiàn)在,Relightable Gaussian Codec Avatars 能夠構(gòu)建更加逼真、光線可調(diào)節(jié)的實(shí)時(shí) 3D 頭像,精細(xì)到連頭發(fā)絲都清晰可見(jiàn):
下面我們來(lái)看下 Relightable Gaussian Codec Avatars 方法的核心內(nèi)容和實(shí)驗(yàn)結(jié)果。
方法簡(jiǎn)介
我們知道,人類的視覺(jué)感知對(duì)人臉外觀高度敏感,因此合成 3D 頭像 / 虛擬化身(avatar)一直存在一些挑戰(zhàn)。
首先,人類頭部由高度復(fù)雜和多樣化的材料組成,這些材料表現(xiàn)出不同的散射和反射特性。例如,皮膚由于微觀幾何形狀以及顯著的次表面散射而產(chǎn)生復(fù)雜的反射,頭發(fā)由于其半透明纖維結(jié)構(gòu)而表現(xiàn)出具有多次反射的面外散射,而眼睛有多個(gè)具有高反射膜的層。總的來(lái)說(shuō),沒(méi)有一種單一的材料表征可以準(zhǔn)確地表示所有這些,尤其是實(shí)時(shí)的。
為了以統(tǒng)一的方式表征人體頭部的多種材質(zhì),該研究提出了一種基于可學(xué)習(xí)輻射傳輸(radiance transfer)的新型可重新照明外觀模型,使用球面高斯實(shí)現(xiàn)了全頻率反射的實(shí)時(shí)重新照明。
另一方面,對(duì)運(yùn)動(dòng)中的底層幾何體進(jìn)行精確跟蹤和建模極具挑戰(zhàn)性。為此,該研究提出基于 3D 高斯的可驅(qū)動(dòng)化身,使用 Gaussian Splatting 技術(shù)有效地渲染復(fù)雜的幾何細(xì)節(jié)。
此外,該研究還提出了可重新照明的顯式眼睛模型,首次以完全數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)對(duì)其他面部運(yùn)動(dòng)以及全頻率眼部反射的注視控制,并進(jìn)一步提高了眼睛反射的保真度。
最終,Relightable Gaussian Codec Avatars 可以捕獲 3D 一致的亞毫米細(xì)節(jié),例如動(dòng)態(tài)面部序列上的發(fā)絲和毛孔。
實(shí)驗(yàn)及結(jié)果
上圖 1 顯示了重建的虛擬人物可以擁有新的表情、視圖以及光照,包括點(diǎn)光源和高分辨率環(huán)境圖。就連眼睛中的光反射,都忠實(shí)地再現(xiàn)了周圍環(huán)境,而不會(huì)丟失高頻細(xì)節(jié)。
如圖 3 所示,Relightable Gaussian Codec Avatars方法能夠?qū)崿F(xiàn) 3D 一致且高保真的內(nèi)部分解。
幾何表征。該研究通過(guò)比較三種變體來(lái)評(píng)估幾何組件:本文方法、本文方法但排除了顯式眼睛模型(EEM)和基于體素的原型。為了公平比較,該研究使用相同的外觀模型,僅改變幾何表征(表 1 和表 2 B、D、H)。
圖 4 清楚地表明,基于 3D 高斯的幾何體可以比 MVP 更好地建模皮膚細(xì)節(jié)和發(fā)絲。此外,完整的模型與 EEM 結(jié)合使用時(shí),眼睛里的反光都非常令人折服。除了在強(qiáng)光下的 SSIM 指標(biāo)外,高斯模型在所有指標(biāo)中都取得了優(yōu)異的性能。
外觀表征。對(duì)于外觀表征,該研究將外觀模型與現(xiàn)有的 relightable 外觀表征進(jìn)行了比較。如上表 1 和表 2 C、D、E 顯示,本文的外觀表征在大多數(shù)指標(biāo)中優(yōu)于現(xiàn)有的外觀模型。
如圖 5 所示,雖然線性模型可以產(chǎn)生正確的顏色,但 relighting 的結(jié)果模糊且缺乏高頻細(xì)節(jié)。EyeNeRF 中與視圖相關(guān)的球諧函數(shù)顯示出更詳細(xì)的反射,但由于使用球諧函數(shù)來(lái)實(shí)現(xiàn)鏡面反射,因此其表現(xiàn)力受到限制。此外,該研究觀察到依賴于視圖的球諧函數(shù)更容易過(guò)度擬合,從而導(dǎo)致動(dòng)畫中出現(xiàn)閃爍偽影。相比之下,Relightable Gaussian Codec Avatars方法不受帶寬限制,因此實(shí)現(xiàn)了高頻反射。
-
3D
+關(guān)注
關(guān)注
9文章
2947瀏覽量
109395 -
Facebook
+關(guān)注
關(guān)注
3文章
1432瀏覽量
56149 -
Meta
+關(guān)注
關(guān)注
0文章
300瀏覽量
11730
原文標(biāo)題:逼真到頭發(fā)絲,光線可調(diào),Meta推出實(shí)時(shí)3D頭像合成方法
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
答疑|3D打印能打印立體字母嗎?
VirtualLab Fusion應(yīng)用:光學(xué)系統(tǒng)的3D可視化
SciChart 3D for WPF圖表庫(kù)

光學(xué)系統(tǒng)的3D可視化
3D打印技術(shù),推動(dòng)手板打樣從概念到成品的高效轉(zhuǎn)化
Meta發(fā)布新AI模型Meta Motivo,旨在提升元宇宙體驗(yàn)
KiCad發(fā)現(xiàn)之旅(三)PCB 3D查看器

3D激光線掃輪廓傳感器在汽車行業(yè)的汽車車縫檢測(cè)的應(yīng)用

裸眼3D筆記本電腦——先進(jìn)的光場(chǎng)裸眼3D技術(shù)
Meta推出革命性3D Gen AI模型:1分鐘內(nèi)生成高質(zhì)量3D內(nèi)容
奧比中光3D相機(jī)打造高質(zhì)量、低成本的3D動(dòng)作捕捉與3D動(dòng)畫內(nèi)容生成方案
3D建模的重要內(nèi)容和應(yīng)用
VIVERSE 推行實(shí)時(shí)3D渲染: 探索Polygon Streaming技術(shù)力量與應(yīng)用

英倫科技的15.6寸2D-3D可切換光場(chǎng)裸眼3D顯示屏有哪些特點(diǎn)?

評(píng)論