女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

使用RayDF方法突破3D形狀重建方案

3D視覺(jué)工坊 ? 來(lái)源:3DCV ? 2023-11-10 15:04 ? 次閱讀

1.摘要

傳統(tǒng)的三維形狀表示方法存在離散化和內(nèi)存占用等問(wèn)題,而基于深度學(xué)習(xí)的方法在恢復(fù)三維幾何結(jié)構(gòu)方面取得了顯著的進(jìn)展。然而,這些方法的離散形狀表示受到空間分辨率和內(nèi)存占用的限制。因此,本文提出了一種新的三維形狀表示方法,即射線-表面距離場(chǎng)(RayDF),通過(guò)學(xué)習(xí)射線與表面之間的距離來(lái)表示三維形狀。與現(xiàn)有的基于坐標(biāo)和射線的方法相比,RayDF具有更高的效率和更準(zhǔn)確的三維幾何重建能力。同時(shí),本文還引入了多視角一致性優(yōu)化模塊,以提高學(xué)習(xí)到的射線-表面距離場(chǎng)在不同視角下的一致性。通過(guò)在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明,RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面優(yōu)于現(xiàn)有的方法。

2.研究思路

本研究的研究思路是通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)三維形狀的表面距離,并保持多視角一致性。我們提出了一種稱為RayDF的方法,它包括三個(gè)關(guān)鍵組件:

主要的射線-表面距離網(wǎng)絡(luò)

輔助的雙射線可見(jiàn)性分類器

多視角一致性優(yōu)化模塊

3.貢獻(xiàn)

我們采用了直觀的射線-表面距離場(chǎng)來(lái)表示三維形狀,這種表示方法比現(xiàn)有的基于坐標(biāo)的表示更高效。

我們?cè)O(shè)計(jì)了一種新的雙射線可見(jiàn)性分類器,用于學(xué)習(xí)任意一對(duì)射線的空間關(guān)系,使學(xué)到的射線-表面距離場(chǎng)具有多視角幾何一致性。

我們?cè)诙鄠€(gè)數(shù)據(jù)集上展示了優(yōu)越的三維形狀重建準(zhǔn)確性和效率,相比于現(xiàn)有的基于坐標(biāo)和基于射線的基線方法,取得了顯著更好的結(jié)果。

4.研究問(wèn)題的解決方法

通過(guò)訓(xùn)練主要的射線-表面距離網(wǎng)絡(luò)和輔助的雙射線可見(jiàn)性分類器,并引入多視角一致性優(yōu)化模塊來(lái)訓(xùn)練這兩個(gè)網(wǎng)絡(luò)。具體而言,我們的訓(xùn)練模塊包括兩個(gè)階段:

階段1:訓(xùn)練雙射線可見(jiàn)性分類器。關(guān)鍵是創(chuàng)建正確的數(shù)據(jù)對(duì),將原始深度值轉(zhuǎn)換為射線-表面距離值,并生成射線對(duì)和0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來(lái)優(yōu)化雙射線可見(jiàn)性分類器。

階段2:訓(xùn)練射線-表面距離網(wǎng)絡(luò)。將所有深度圖像轉(zhuǎn)換為射線-表面距離,為特定的3D場(chǎng)景生成訓(xùn)練射線-距離對(duì)。通過(guò)采樣多視角射線并利用訓(xùn)練好的可見(jiàn)性分類器,優(yōu)化射線-表面距離網(wǎng)絡(luò),使其不僅適應(yīng)已見(jiàn)射線的距離,還能準(zhǔn)確估計(jì)未見(jiàn)射線的距離,從而實(shí)現(xiàn)多視角一致性。

5.RayDF網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過(guò)程

網(wǎng)絡(luò)結(jié)構(gòu)

RayDF模型包括主要的射線-表面距離網(wǎng)絡(luò)、輔助的雙射線可見(jiàn)性分類器和多視角一致性優(yōu)化模塊。

8ba363a4-7f54-11ee-939d-92fbcf53809c.png

訓(xùn)練過(guò)程

第一階段是訓(xùn)練雙射線可見(jiàn)性分類器

首先,將所有原始深度值轉(zhuǎn)換為射線-表面距離值。對(duì)于第k張圖像中的第i條射線(像素),將其射線-表面點(diǎn)投影回剩余的(K-1)個(gè)掃描中,得到相應(yīng)的(K-1)個(gè)距離值。設(shè)置10毫米作為接近閾值,確定投影的(K-1)條射線在(K-1)個(gè)圖像中是否可見(jiàn)。總共生成K* H * W * (K-1)對(duì)射線,以及0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來(lái)優(yōu)化雙射線可見(jiàn)性分類器。推薦三維重建課程基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]

第二階段是訓(xùn)練射線-表面距離網(wǎng)絡(luò)

首先,將所有深度圖像轉(zhuǎn)換為射線-表面距離,為特定的3D場(chǎng)景生成K * H * W個(gè)訓(xùn)練射線-距離對(duì)。然后,對(duì)于特定的訓(xùn)練射線,稱為主射線,我們?cè)谝员砻纥c(diǎn)p為球心的球中均勻采樣M條射線,稱為多視角射線。

8ba9eaa8-7f54-11ee-939d-92fbcf53809c.png

然后,計(jì)算表面點(diǎn)p與沿著每條多視角射線的邊界球之間的距離,得到多視角距離。

接下來(lái),建立M對(duì)射線并將它們輸入到訓(xùn)練好的可見(jiàn)性分類器中,推斷它們的可見(jiàn)性得分。

8bb0938a-7f54-11ee-939d-92fbcf53809c.png

然后,將主射線和所有采樣的M條多視角射線輸入到射線-表面距離網(wǎng)絡(luò)中,估計(jì)它們的表面距離。

8bb4b8fc-7f54-11ee-939d-92fbcf53809c.png

最后,使用多視角一致性損失函數(shù)來(lái)(公式如下)優(yōu)化射線-表面距離網(wǎng)絡(luò),使其不僅適應(yīng)主射線的表面距離,還滿足可見(jiàn)的多視角射線也具有準(zhǔn)確的距離估計(jì)。

6.創(chuàng)新點(diǎn)

主要體現(xiàn)在以下幾個(gè)方面:

提出了一種新的神經(jīng)網(wǎng)絡(luò)模型,稱為RayDF,用于學(xué)習(xí)三維場(chǎng)景的表面距離。與傳統(tǒng)的基于點(diǎn)云或體素的方法不同,RayDF利用射線與表面的交點(diǎn)來(lái)表示場(chǎng)景的幾何形狀,從而更準(zhǔn)確地捕捉細(xì)節(jié)和形狀變化。

引入了多視角一致性約束,通過(guò)訓(xùn)練網(wǎng)絡(luò)來(lái)學(xué)習(xí)不同視角下的一致性信息。這種約束可以提高模型在新視角下的泛化能力,使其能夠更好地處理未見(jiàn)過(guò)的場(chǎng)景。

提出了雙射線可見(jiàn)性分類器,用于判斷射線是否與表面相交。這個(gè)分類器可以幫助網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的表面距離,并提高模型在測(cè)試階段的性能。

在實(shí)驗(yàn)中,本研究在多個(gè)真實(shí)世界的三維數(shù)據(jù)集上進(jìn)行了評(píng)估,并與其他基線方法進(jìn)行了比較。

7.實(shí)驗(yàn)方法

本研究采用了兩組實(shí)驗(yàn)方法進(jìn)行評(píng)估。第一組實(shí)驗(yàn)方法是基于多視角深度圖像的三維形狀表示。在這組實(shí)驗(yàn)中,我們使用了多視角深度圖像作為輸入,通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)三維場(chǎng)景的形狀表示。我們與其他基線方法進(jìn)行了比較,包括OF、DeepSDF、NDF、NeuS、DS-NeRF、LFN和PRIF。通過(guò)對(duì)六個(gè)ScanNet數(shù)據(jù)集場(chǎng)景的評(píng)估,我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上表現(xiàn)明顯優(yōu)于其他方法,展示了我們方法在顯式表面恢復(fù)方面的明顯優(yōu)勢(shì)。第二組實(shí)驗(yàn)方法是基于多視角RGB圖像和深度圖像的三維形狀和外觀表示。在這組實(shí)驗(yàn)中,我們使用了多視角RGB圖像和深度圖像作為輸入,通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)三維場(chǎng)景的形狀和外觀表示。我們與NeuS、DS-NeRF、LFN和PRIF等基線方法進(jìn)行了比較。通過(guò)對(duì)DM-SR數(shù)據(jù)集的評(píng)估,我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上再次超越了所有基線方法,展示了我們方法在形狀恢復(fù)方面的優(yōu)勢(shì)。同時(shí),我們的方法在PSNR、SSIM和LPIPS等指標(biāo)上也取得了可比較的性能。

8bbfd6ba-7f54-11ee-939d-92fbcf53809c.png

8bc49ef2-7f54-11ee-939d-92fbcf53809c.png

8bcd0e34-7f54-11ee-939d-92fbcf53809c.png

8.結(jié)論

本文的研究旨在提出一種稱為RayDF的方法,用于準(zhǔn)確地表示三維形狀。該方法基于射線-表面距離場(chǎng)的概念,通過(guò)訓(xùn)練一個(gè)主要的射線-表面距離網(wǎng)絡(luò)和一個(gè)輔助的雙射線可見(jiàn)性分類器,以及一個(gè)多視角一致性優(yōu)化模塊來(lái)實(shí)現(xiàn)。主要網(wǎng)絡(luò)直接將射線作為輸入,并推斷射線起點(diǎn)與其在表面上的擊中點(diǎn)之間的距離。輔助網(wǎng)絡(luò)則以一對(duì)射線作為輸入,并預(yù)測(cè)它們的相互可見(jiàn)性。通過(guò)訓(xùn)練輔助網(wǎng)絡(luò),可以有效地利用學(xué)到的雙射線可見(jiàn)性來(lái)訓(xùn)練主網(wǎng)絡(luò),從而使學(xué)到的射線-表面距離在任何已見(jiàn)或未見(jiàn)的視角下保持多視角一致性。研究結(jié)果表明,相比于現(xiàn)有的基于坐標(biāo)的表示方法,RayDF方法在效率上具有優(yōu)勢(shì),而相比于現(xiàn)有的基于射線的方法,RayDF方法在學(xué)習(xí)準(zhǔn)確的三維幾何形狀方面表現(xiàn)出色。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面的優(yōu)越性。

編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:香港理工大學(xué)最新提出精確3D重建的突破性方法

文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    3d全息風(fēng)扇燈條|3D全息風(fēng)扇方案|3d全息風(fēng)扇PCBA

    我公司專業(yè)從事3D全息風(fēng)扇研發(fā)生產(chǎn),主要生產(chǎn)供應(yīng)3D全息風(fēng)扇PCBA,也可出售整機(jī),其他配件可免費(fèi)提供供應(yīng)商信息或者代購(gòu),歡迎咨詢 劉先生:*** 微信同號(hào)3d全息風(fēng)扇燈條3d全息風(fēng)扇
    發(fā)表于 08-02 09:50

    PYNQ框架下如何快速完成3D數(shù)據(jù)重建

    來(lái)實(shí)現(xiàn)基于這些約束的三維重建的完整管道。  在這個(gè)項(xiàng)目中,作者的目標(biāo)是朝著實(shí)時(shí)生成3D視覺(jué)數(shù)據(jù)邁進(jìn)一步。首先,在CPU上生成3D點(diǎn)云,然后使用Mesh Lab可視化它。由于Mesh Lab不適合實(shí)時(shí)
    發(fā)表于 01-07 17:25

    在Altium Designer創(chuàng)建不尋常的3D形狀

    在AltiumDesigner?中使用PCB庫(kù)編輯器中包含的線條拉伸,圓柱和球形形狀類型創(chuàng)建逼真的3D機(jī)械形狀通常非常簡(jiǎn)單。但是,有些形狀可能很棘手。 本文是一個(gè)客戶要求的創(chuàng)建環(huán)形線圈
    發(fā)表于 01-08 07:10

    使用結(jié)構(gòu)光的3D掃描介紹

    隨著很多全新技術(shù)的涌現(xiàn),人們?cè)絹?lái)越需要用3D方法來(lái)表示現(xiàn)實(shí)世界中的物體。特別是機(jī)器視覺(jué)和機(jī)器人技術(shù),它們都得益于精確和自適應(yīng)的3D捕捉功能。其它針對(duì)3D掃描的應(yīng)用包括生物識(shí)別、安防、工
    發(fā)表于 11-16 07:48

    光學(xué)3D表面輪廓儀可以測(cè)金屬嗎?

    重建物體的三維模型。這種測(cè)量方式具有非接觸性、高精度、高速度等優(yōu)點(diǎn),非常適合用于金屬等材料的表面測(cè)量。 光學(xué)3D表面輪廓儀可以測(cè)量金屬的形狀、表面缺陷、幾何尺寸等多個(gè)方面: 1、形狀測(cè)
    發(fā)表于 08-21 13:41

    創(chuàng)想三維:3D掃描儀在3D打印機(jī)上的運(yùn)用

    3D打印機(jī)的工作原理產(chǎn)生好奇。 ? ? ? ?什么是3D掃描? ? ? ? ?3D掃描是分析來(lái)自現(xiàn)實(shí)世界的對(duì)象,收集所有數(shù)據(jù)以便以數(shù)字方式重建形狀
    發(fā)表于 04-19 15:50 ?1079次閱讀

    3D的感知技術(shù)及實(shí)踐

    測(cè)量表面法向量估計(jì) 幾何測(cè)量平面提取 3D重建從離散點(diǎn)云得到光滑曲面 3D重建ICP點(diǎn)云配準(zhǔn) 3D重建
    的頭像 發(fā)表于 10-23 09:40 ?3481次閱讀
    <b class='flag-5'>3D</b>的感知技術(shù)及實(shí)踐

    音圈模組3D打印助力肌腱和韌帶重建

    音圈模組3D打印助力肌腱和韌帶重建。BellaSeno是一家開(kāi)發(fā)由可吸收聚合物制成的3D打印乳房重建支架的初創(chuàng)公司,該公司現(xiàn)在已經(jīng)開(kāi)始一項(xiàng)計(jì)劃,旨在設(shè)計(jì)和評(píng)估用于肌腱和韌帶
    發(fā)表于 09-01 14:57 ?452次閱讀

    大規(guī)模3D重建的Power Bundle Adjustment

    BA (BA) 是一個(gè)經(jīng)典的計(jì)算機(jī)視覺(jué)問(wèn)題,它構(gòu)成了許多 3D 重建和運(yùn)動(dòng)結(jié)構(gòu) (SfM) 算法的核心組成部分。它指的是通過(guò)最小化非線性重投影誤差來(lái)聯(lián)合估計(jì)相機(jī)參數(shù)和 3D 地標(biāo)位置。
    的頭像 發(fā)表于 12-15 11:20 ?898次閱讀

    英偉達(dá)提出了同時(shí)對(duì)未知物體進(jìn)行6D追蹤和3D重建方法

    一種用于新穎未知?jiǎng)討B(tài)物體的因果 6 自由度姿態(tài)跟蹤和 3D 重建的新方法。該方法利用了并發(fā)跟蹤和神經(jīng)重建過(guò)程的新穎共同設(shè)計(jì),能夠在幾乎實(shí)時(shí)的
    的頭像 發(fā)表于 07-03 10:49 ?677次閱讀
    英偉達(dá)提出了同時(shí)對(duì)未知物體進(jìn)行6<b class='flag-5'>D</b>追蹤和<b class='flag-5'>3D</b><b class='flag-5'>重建</b>的<b class='flag-5'>方法</b>

    基于未知物體進(jìn)行6D追蹤和3D重建方法

    如今,計(jì)算機(jī)視覺(jué)社區(qū)已經(jīng)廣泛展開(kāi)了對(duì)物體姿態(tài)的 6D 追蹤和 3D 重建。本文中英偉達(dá)提出了同時(shí)對(duì)未知物體進(jìn)行 6D 追蹤和 3D
    的頭像 發(fā)表于 07-03 11:24 ?811次閱讀
    基于未知物體進(jìn)行6<b class='flag-5'>D</b>追蹤和<b class='flag-5'>3D</b><b class='flag-5'>重建</b>的<b class='flag-5'>方法</b>

    基于3D形狀重建網(wǎng)絡(luò)的機(jī)器人抓取規(guī)劃方法

    一個(gè)帶有分割掩碼的輸入RGB-D圖像被提供給兩個(gè)神經(jīng)網(wǎng)絡(luò),分別產(chǎn)生一個(gè)6自由度的抓取姿勢(shì)和一個(gè)物體的3D點(diǎn)云重建。通過(guò)將抓取姿勢(shì)投影到點(diǎn)云中最近的點(diǎn)來(lái)優(yōu)化抓取姿勢(shì),從而產(chǎn)生最終的輸出抓取。
    發(fā)表于 11-02 10:39 ?607次閱讀
    基于<b class='flag-5'>3D</b><b class='flag-5'>形狀</b><b class='flag-5'>重建</b>網(wǎng)絡(luò)的機(jī)器人抓取規(guī)劃<b class='flag-5'>方法</b>

    使用Python從2D圖像進(jìn)行3D重建過(guò)程詳解

    有許多不同的方法和算法可用于從2D圖像執(zhí)行3D重建。選擇的方法取決于諸如輸入圖像的質(zhì)量、攝像機(jī)校準(zhǔn)信息的可用性以及
    的頭像 發(fā)表于 12-05 14:07 ?4061次閱讀
    使用Python從2<b class='flag-5'>D</b>圖像進(jìn)行<b class='flag-5'>3D</b><b class='flag-5'>重建</b>過(guò)程詳解

    提供3D打印材料與解決方案,助力3D打印產(chǎn)業(yè)發(fā)展

    提供3D打印材料與解決方案,助力3D打印產(chǎn)業(yè)發(fā)展
    的頭像 發(fā)表于 12-12 11:12 ?843次閱讀

    三維掃描與3D打印在法醫(yī)頭骨重建中的突破性應(yīng)用

    隨著科技的飛速發(fā)展,三維掃描和3D打印技術(shù)已經(jīng)逐漸滲透到醫(yī)療領(lǐng)域的各個(gè)環(huán)節(jié),為臨床診斷、治療和醫(yī)學(xué)研究帶來(lái)了前所未有的便利。特別是在法醫(yī)學(xué)領(lǐng)域,三維掃描和3D打印技術(shù)的應(yīng)用更是為頭骨重建、身份鑒定等
    的頭像 發(fā)表于 04-19 10:26 ?793次閱讀
    三維掃描與<b class='flag-5'>3D</b>打印在法醫(yī)頭骨<b class='flag-5'>重建</b>中的<b class='flag-5'>突破</b>性應(yīng)用