女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

逼真到頭發(fā)絲,光線可調(diào),Meta推出實(shí)時(shí)3D頭像合成方法

3D視覺(jué)工坊 ? 來(lái)源:機(jī)器之心 ? 2023-12-10 10:02 ? 次閱讀

Meta 一直沒(méi)放棄元宇宙。

2021 年,F(xiàn)acebook 將「元宇宙(metaverse)」作為公司主營(yíng)業(yè)務(wù),并將公司名稱更改為 Meta。然而,這一年,隨著 ChatGPT 的橫空出世,生成式 AI 成為一個(gè)新的研究趨勢(shì),很多科技公司都將生成式 AI 作為公司重要研發(fā)業(yè)務(wù)。但 Meta 一直沒(méi)有停止 VR/AR 的研究步伐。

最近,Meta 的 Codec Avatars Lab 提出了一種高保真、光線可調(diào)節(jié)的虛擬頭像合成方法 ——Relightable Gaussian Codec Avatars。

302b95da-96ad-11ee-8b88-92fbcf53809c.png

論文地址:https://arxiv.org/pdf/2312.03704.pdf

項(xiàng)目主頁(yè):https://shunsukesaito.github.io/rgca/

今年 9 月,Meta 首席執(zhí)行官馬克?扎克伯格與麻省理工學(xué)院(MIT)科學(xué)家 Lex Fridman 在元宇宙里進(jìn)行了一小時(shí)的對(duì)話。彼時(shí),兩位的形象是使用掃描技術(shù)構(gòu)建的用戶面部 3D 模型,逼真度已經(jīng)很高。

現(xiàn)在,Relightable Gaussian Codec Avatars 能夠構(gòu)建更加逼真、光線可調(diào)節(jié)的實(shí)時(shí) 3D 頭像,精細(xì)到連頭發(fā)絲都清晰可見(jiàn):

30442b4a-96ad-11ee-8b88-92fbcf53809c.png

下面我們來(lái)看下 Relightable Gaussian Codec Avatars 方法的核心內(nèi)容和實(shí)驗(yàn)結(jié)果。

方法簡(jiǎn)介

我們知道,人類的視覺(jué)感知對(duì)人臉外觀高度敏感,因此合成 3D 頭像 / 虛擬化身(avatar)一直存在一些挑戰(zhàn)。

首先,人類頭部由高度復(fù)雜和多樣化的材料組成,這些材料表現(xiàn)出不同的散射和反射特性。例如,皮膚由于微觀幾何形狀以及顯著的次表面散射而產(chǎn)生復(fù)雜的反射,頭發(fā)由于其半透明纖維結(jié)構(gòu)而表現(xiàn)出具有多次反射的面外散射,而眼睛有多個(gè)具有高反射膜的層。總的來(lái)說(shuō),沒(méi)有一種單一的材料表征可以準(zhǔn)確地表示所有這些,尤其是實(shí)時(shí)的。

為了以統(tǒng)一的方式表征人體頭部的多種材質(zhì),該研究提出了一種基于可學(xué)習(xí)輻射傳輸(radiance transfer)的新型可重新照明外觀模型,使用球面高斯實(shí)現(xiàn)了全頻率反射的實(shí)時(shí)重新照明。

304d9a86-96ad-11ee-8b88-92fbcf53809c.gif

另一方面,對(duì)運(yùn)動(dòng)中的底層幾何體進(jìn)行精確跟蹤和建模極具挑戰(zhàn)性。為此,該研究提出基于 3D 高斯的可驅(qū)動(dòng)化身,使用 Gaussian Splatting 技術(shù)有效地渲染復(fù)雜的幾何細(xì)節(jié)。

305a52ee-96ad-11ee-8b88-92fbcf53809c.gif

3063e49e-96ad-11ee-8b88-92fbcf53809c.gif

此外,該研究還提出了可重新照明的顯式眼睛模型,首次以完全數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)對(duì)其他面部運(yùn)動(dòng)以及全頻率眼部反射的注視控制,并進(jìn)一步提高了眼睛反射的保真度。

30714d00-96ad-11ee-8b88-92fbcf53809c.gif

最終,Relightable Gaussian Codec Avatars 可以捕獲 3D 一致的亞毫米細(xì)節(jié),例如動(dòng)態(tài)面部序列上的發(fā)絲和毛孔。

307d7a30-96ad-11ee-8b88-92fbcf53809c.png

實(shí)驗(yàn)及結(jié)果

上圖 1 顯示了重建的虛擬人物可以擁有新的表情、視圖以及光照,包括點(diǎn)光源和高分辨率環(huán)境圖。就連眼睛中的光反射,都忠實(shí)地再現(xiàn)了周圍環(huán)境,而不會(huì)丟失高頻細(xì)節(jié)。

如圖 3 所示,Relightable Gaussian Codec Avatars方法能夠?qū)崿F(xiàn) 3D 一致且高保真的內(nèi)部分解。

30846a0c-96ad-11ee-8b88-92fbcf53809c.png

幾何表征。該研究通過(guò)比較三種變體來(lái)評(píng)估幾何組件:本文方法、本文方法但排除了顯式眼睛模型(EEM)和基于體素的原型。為了公平比較,該研究使用相同的外觀模型,僅改變幾何表征(表 1 和表 2 B、D、H)。

3090d09e-96ad-11ee-8b88-92fbcf53809c.png

309a584e-96ad-11ee-8b88-92fbcf53809c.png

圖 4 清楚地表明,基于 3D 高斯的幾何體可以比 MVP 更好地建模皮膚細(xì)節(jié)和發(fā)絲。此外,完整的模型與 EEM 結(jié)合使用時(shí),眼睛里的反光都非常令人折服。除了在強(qiáng)光下的 SSIM 指標(biāo)外,高斯模型在所有指標(biāo)中都取得了優(yōu)異的性能。

30a5828c-96ad-11ee-8b88-92fbcf53809c.png

外觀表征。對(duì)于外觀表征,該研究將外觀模型與現(xiàn)有的 relightable 外觀表征進(jìn)行了比較。如上表 1 和表 2 C、D、E 顯示,本文的外觀表征在大多數(shù)指標(biāo)中優(yōu)于現(xiàn)有的外觀模型。

如圖 5 所示,雖然線性模型可以產(chǎn)生正確的顏色,但 relighting 的結(jié)果模糊且缺乏高頻細(xì)節(jié)。EyeNeRF 中與視圖相關(guān)的球諧函數(shù)顯示出更詳細(xì)的反射,但由于使用球諧函數(shù)來(lái)實(shí)現(xiàn)鏡面反射,因此其表現(xiàn)力受到限制。此外,該研究觀察到依賴于視圖的球諧函數(shù)更容易過(guò)度擬合,從而導(dǎo)致動(dòng)畫中出現(xiàn)閃爍偽影。相比之下,Relightable Gaussian Codec Avatars方法不受帶寬限制,因此實(shí)現(xiàn)了高頻反射。

30b1c7b8-96ad-11ee-8b88-92fbcf53809c.png

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2947

    瀏覽量

    109395
  • Facebook
    +關(guān)注

    關(guān)注

    3

    文章

    1432

    瀏覽量

    56149
  • Meta
    +關(guān)注

    關(guān)注

    0

    文章

    300

    瀏覽量

    11730

原文標(biāo)題:逼真到頭發(fā)絲,光線可調(diào),Meta推出實(shí)時(shí)3D頭像合成方法

文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    答疑|3D打印能打印立體字母嗎?

    最近有朋友留言問(wèn):3D打印能打印那種立體字母嗎?會(huì)不會(huì)很難實(shí)現(xiàn)? JLC3D小編來(lái)解答:當(dāng)然可以!無(wú)論是單獨(dú)的字母,還是組合成單詞或句子,3D打印都可以實(shí)現(xiàn)的。 以下是一些關(guān)于打印立體
    發(fā)表于 05-21 16:17

    3D閃存的制造工藝與挑戰(zhàn)

    3D閃存有著更大容量、更低成本和更高性能的優(yōu)勢(shì),本文介紹了3D閃存的制造工藝與挑戰(zhàn)。
    的頭像 發(fā)表于 04-08 14:38 ?624次閱讀
    <b class='flag-5'>3D</b>閃存的制造工藝與挑戰(zhàn)

    VirtualLab Fusion應(yīng)用:光學(xué)系統(tǒng)的3D可視化

    Results Profile提供有關(guān)傳播光線的信 息,而后者只顯示組件和探測(cè)器。 在接下來(lái)的使用案例中,我們將重點(diǎn)介紹 System:3D視圖。 系統(tǒng):Ray Results Profile的3D視圖
    發(fā)表于 04-02 08:42

    SciChart 3D for WPF圖表庫(kù)

    SciChart 3D for WPF 是一個(gè)實(shí)時(shí)、高性能的 WPF 3D 圖表庫(kù),專為金融、醫(yī)療和科學(xué)應(yīng)用程序而設(shè)計(jì)。非常適合需要極致性能和豐富的交互式 3D 圖表的項(xiàng)目。 使用我們
    的頭像 發(fā)表于 01-23 13:49 ?457次閱讀
    SciChart <b class='flag-5'>3D</b> for WPF圖表庫(kù)

    光學(xué)系統(tǒng)的3D可視化

    Results Profile提供有關(guān)傳播光線的信 息,而后者只顯示組件和探測(cè)器。 在接下來(lái)的使用案例中,我們將重點(diǎn)介紹 System:3D視圖。 系統(tǒng):Ray Results Profile的3D
    發(fā)表于 01-06 08:53

    3D打印技術(shù),推動(dòng)手板打樣從概念到成品的高效轉(zhuǎn)化

    用戶的體驗(yàn)和需求。他們致力于為用戶提供入門級(jí)的3D打印服務(wù),客戶可以通過(guò)嘉立創(chuàng)3D打印官方平臺(tái)所推出的在線上傳文件和實(shí)時(shí)報(bào)價(jià),享受到更加透明的價(jià)格,從而更方便地進(jìn)行材料和工藝之間的比較
    發(fā)表于 12-26 14:43

    Meta發(fā)布新AI模型Meta Motivo,旨在提升元宇宙體驗(yàn)

    Meta公司近日宣布,將推出一款名為Meta Motivo的全新人工智能模型。該模型具備控制類似人類的數(shù)字代理動(dòng)作的能力,有望為元宇宙的用戶體驗(yàn)帶來(lái)顯著提升。 Meta Motivo的
    的頭像 發(fā)表于 12-16 10:34 ?833次閱讀

    KiCad發(fā)現(xiàn)之旅(三)PCB 3D查看器

    方式查看您的PCB設(shè)計(jì)! 加上龐大的3D模型庫(kù),您可以在交互式3D視圖中立即檢查您的設(shè)計(jì)。與二維顯示相比,旋轉(zhuǎn)和平移檢查細(xì)節(jié)更容易。 與PCB集成的3D查看器 可以在PCB編輯器中簡(jiǎn)單地激活3
    的頭像 發(fā)表于 11-12 12:23 ?2078次閱讀
    KiCad發(fā)現(xiàn)之旅(三)PCB <b class='flag-5'>3D</b>查看器

    3D光線掃輪廓傳感器在汽車行業(yè)的汽車車縫檢測(cè)的應(yīng)用

    在實(shí)際應(yīng)用中,3D光線掃傳感器可以集成到自動(dòng)化檢測(cè)系統(tǒng)中,與機(jī)器人或自動(dòng)化輸送系統(tǒng)配合,實(shí)現(xiàn)對(duì)汽車車縫的全面檢測(cè)。這些系統(tǒng)通常包括傳感器、控制軟件、數(shù)據(jù)處理單元和用戶界面,能夠自動(dòng)分析檢測(cè)數(shù)據(jù)
    的頭像 發(fā)表于 09-14 09:00 ?800次閱讀
    <b class='flag-5'>3D</b>激<b class='flag-5'>光線</b>掃輪廓傳感器在汽車行業(yè)的汽車車縫檢測(cè)的應(yīng)用

    裸眼3D筆記本電腦——先進(jìn)的光場(chǎng)裸眼3D技術(shù)

    隨著科技的不斷進(jìn)步,裸眼3D技術(shù)已經(jīng)不再是科幻電影中的幻想。如今,英倫科技裸眼3D筆記本電腦將這一前沿科技帶到了我們的日常生活中。無(wú)論你是專業(yè)的3D模型設(shè)計(jì)師,還是希望在視頻播放和模型展示中體驗(yàn)
    的頭像 發(fā)表于 07-16 10:04 ?917次閱讀

    Meta推出革命性3D Gen AI模型:1分鐘內(nèi)生成高質(zhì)量3D內(nèi)容

    在科技日新月異的今天,Meta再次引領(lǐng)創(chuàng)新潮流,宣布了一項(xiàng)令人矚目的技術(shù)突破——3D Gen AI模型的誕生。這款先進(jìn)的模型以其前所未有的高效性與卓越品質(zhì),重新定義了3D內(nèi)容創(chuàng)作的邊界,標(biāo)志著數(shù)字藝術(shù)創(chuàng)作進(jìn)入了一個(gè)全新的快速響應(yīng)
    的頭像 發(fā)表于 07-04 18:12 ?1220次閱讀

    奧比中光3D相機(jī)打造高質(zhì)量、低成本的3D動(dòng)作捕捉與3D動(dòng)畫內(nèi)容生成方

    高質(zhì)量、低成本的3D動(dòng)作捕捉與3D動(dòng)畫內(nèi)容生成方案。 Moverse公司總部位于希臘塞薩洛尼基,是三維動(dòng)畫相關(guān)媒體和娛樂(lè)行業(yè)的一家科技創(chuàng)業(yè)公司。基于奧比中光3D相機(jī),Moverse可以
    的頭像 發(fā)表于 06-25 16:37 ?1412次閱讀

    3D建模的重要內(nèi)容和應(yīng)用

    和應(yīng)用。 1. 建筑設(shè)計(jì)與規(guī)劃 在建筑領(lǐng)域,3D建模被廣泛應(yīng)用于建筑設(shè)計(jì)和規(guī)劃過(guò)程中。建筑師可以利用3D建模軟件創(chuàng)建逼真的建筑物模型,幫助客戶更好地理解設(shè)計(jì)概念和空間布局,同時(shí)進(jìn)行各種設(shè)計(jì)方案的可視化展示和分析。這不僅使得設(shè)計(jì)過(guò)
    的頭像 發(fā)表于 06-21 14:48 ?1149次閱讀

    VIVERSE 推行實(shí)時(shí)3D渲染: 探索Polygon Streaming技術(shù)力量與應(yīng)用

    在商業(yè)領(lǐng)域和娛樂(lè)行業(yè)中,3D渲染技術(shù)一直是推動(dòng)視覺(jué)體驗(yàn)革新的關(guān)鍵力量。隨著技術(shù)的進(jìn)步,實(shí)時(shí)3D渲染技術(shù)逐漸成為主流,近期VIVERSE平臺(tái)對(duì)外發(fā)布引入一項(xiàng)全新技術(shù)——Polygon
    的頭像 發(fā)表于 05-31 15:49 ?2538次閱讀
    VIVERSE 推行<b class='flag-5'>實(shí)時(shí)</b><b class='flag-5'>3D</b>渲染: 探索Polygon Streaming技術(shù)力量與應(yīng)用

    英倫科技的15.6寸2D-3D可切換光場(chǎng)裸眼3D顯示屏有哪些特點(diǎn)?

    隨著科技的快速發(fā)展,人類對(duì)于視覺(jué)體驗(yàn)的追求也在不斷攀升。從平面的2D圖像到立體的3D影像,我們一直在探索如何讓虛擬世界更加逼真。如今,英倫科技憑借其創(chuàng)新實(shí)力,推出了一款革命性的顯示設(shè)備
    的頭像 發(fā)表于 05-28 11:17 ?620次閱讀
    英倫科技的15.6寸2<b class='flag-5'>D-3D</b>可切換光場(chǎng)裸眼<b class='flag-5'>3D</b>顯示屏有哪些特點(diǎn)?