1.摘要
傳統(tǒng)的三維形狀表示方法存在離散化和內(nèi)存占用等問(wèn)題,而基于深度學(xué)習(xí)的方法在恢復(fù)三維幾何結(jié)構(gòu)方面取得了顯著的進(jìn)展。然而,這些方法的離散形狀表示受到空間分辨率和內(nèi)存占用的限制。因此,本文提出了一種新的三維形狀表示方法,即射線-表面距離場(chǎng)(RayDF),通過(guò)學(xué)習(xí)射線與表面之間的距離來(lái)表示三維形狀。與現(xiàn)有的基于坐標(biāo)和射線的方法相比,RayDF具有更高的效率和更準(zhǔn)確的三維幾何重建能力。同時(shí),本文還引入了多視角一致性優(yōu)化模塊,以提高學(xué)習(xí)到的射線-表面距離場(chǎng)在不同視角下的一致性。通過(guò)在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明,RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面優(yōu)于現(xiàn)有的方法。
2.研究思路
本研究的研究思路是通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)三維形狀的表面距離,并保持多視角一致性。我們提出了一種稱為RayDF的方法,它包括三個(gè)關(guān)鍵組件:
主要的射線-表面距離網(wǎng)絡(luò)
輔助的雙射線可見(jiàn)性分類器
多視角一致性優(yōu)化模塊
3.貢獻(xiàn)
我們采用了直觀的射線-表面距離場(chǎng)來(lái)表示三維形狀,這種表示方法比現(xiàn)有的基于坐標(biāo)的表示更高效。
我們?cè)O(shè)計(jì)了一種新的雙射線可見(jiàn)性分類器,用于學(xué)習(xí)任意一對(duì)射線的空間關(guān)系,使學(xué)到的射線-表面距離場(chǎng)具有多視角幾何一致性。
我們?cè)诙鄠€(gè)數(shù)據(jù)集上展示了優(yōu)越的三維形狀重建準(zhǔn)確性和效率,相比于現(xiàn)有的基于坐標(biāo)和基于射線的基線方法,取得了顯著更好的結(jié)果。
4.研究問(wèn)題的解決方法
通過(guò)訓(xùn)練主要的射線-表面距離網(wǎng)絡(luò)和輔助的雙射線可見(jiàn)性分類器,并引入多視角一致性優(yōu)化模塊來(lái)訓(xùn)練這兩個(gè)網(wǎng)絡(luò)。具體而言,我們的訓(xùn)練模塊包括兩個(gè)階段:
階段1:訓(xùn)練雙射線可見(jiàn)性分類器。關(guān)鍵是創(chuàng)建正確的數(shù)據(jù)對(duì),將原始深度值轉(zhuǎn)換為射線-表面距離值,并生成射線對(duì)和0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來(lái)優(yōu)化雙射線可見(jiàn)性分類器。
階段2:訓(xùn)練射線-表面距離網(wǎng)絡(luò)。將所有深度圖像轉(zhuǎn)換為射線-表面距離,為特定的3D場(chǎng)景生成訓(xùn)練射線-距離對(duì)。通過(guò)采樣多視角射線并利用訓(xùn)練好的可見(jiàn)性分類器,優(yōu)化射線-表面距離網(wǎng)絡(luò),使其不僅適應(yīng)已見(jiàn)射線的距離,還能準(zhǔn)確估計(jì)未見(jiàn)射線的距離,從而實(shí)現(xiàn)多視角一致性。
5.RayDF網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過(guò)程
網(wǎng)絡(luò)結(jié)構(gòu)
RayDF模型包括主要的射線-表面距離網(wǎng)絡(luò)、輔助的雙射線可見(jiàn)性分類器和多視角一致性優(yōu)化模塊。
訓(xùn)練過(guò)程
第一階段是訓(xùn)練雙射線可見(jiàn)性分類器
首先,將所有原始深度值轉(zhuǎn)換為射線-表面距離值。對(duì)于第k張圖像中的第i條射線(像素),將其射線-表面點(diǎn)投影回剩余的(K-1)個(gè)掃描中,得到相應(yīng)的(K-1)個(gè)距離值。設(shè)置10毫米作為接近閾值,確定投影的(K-1)條射線在(K-1)個(gè)圖像中是否可見(jiàn)。總共生成K* H * W * (K-1)對(duì)射線,以及0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來(lái)優(yōu)化雙射線可見(jiàn)性分類器。推薦三維重建課程基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]
第二階段是訓(xùn)練射線-表面距離網(wǎng)絡(luò)
首先,將所有深度圖像轉(zhuǎn)換為射線-表面距離,為特定的3D場(chǎng)景生成K * H * W個(gè)訓(xùn)練射線-距離對(duì)。然后,對(duì)于特定的訓(xùn)練射線,稱為主射線,我們?cè)谝员砻纥c(diǎn)p為球心的球中均勻采樣M條射線,稱為多視角射線。
然后,計(jì)算表面點(diǎn)p與沿著每條多視角射線的邊界球之間的距離,得到多視角距離。
接下來(lái),建立M對(duì)射線并將它們輸入到訓(xùn)練好的可見(jiàn)性分類器中,推斷它們的可見(jiàn)性得分。
然后,將主射線和所有采樣的M條多視角射線輸入到射線-表面距離網(wǎng)絡(luò)中,估計(jì)它們的表面距離。
最后,使用多視角一致性損失函數(shù)來(lái)(公式如下)優(yōu)化射線-表面距離網(wǎng)絡(luò),使其不僅適應(yīng)主射線的表面距離,還滿足可見(jiàn)的多視角射線也具有準(zhǔn)確的距離估計(jì)。
6.創(chuàng)新點(diǎn)
主要體現(xiàn)在以下幾個(gè)方面:
提出了一種新的神經(jīng)網(wǎng)絡(luò)模型,稱為RayDF,用于學(xué)習(xí)三維場(chǎng)景的表面距離。與傳統(tǒng)的基于點(diǎn)云或體素的方法不同,RayDF利用射線與表面的交點(diǎn)來(lái)表示場(chǎng)景的幾何形狀,從而更準(zhǔn)確地捕捉細(xì)節(jié)和形狀變化。
引入了多視角一致性約束,通過(guò)訓(xùn)練網(wǎng)絡(luò)來(lái)學(xué)習(xí)不同視角下的一致性信息。這種約束可以提高模型在新視角下的泛化能力,使其能夠更好地處理未見(jiàn)過(guò)的場(chǎng)景。
提出了雙射線可見(jiàn)性分類器,用于判斷射線是否與表面相交。這個(gè)分類器可以幫助網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的表面距離,并提高模型在測(cè)試階段的性能。
在實(shí)驗(yàn)中,本研究在多個(gè)真實(shí)世界的三維數(shù)據(jù)集上進(jìn)行了評(píng)估,并與其他基線方法進(jìn)行了比較。
7.實(shí)驗(yàn)方法
本研究采用了兩組實(shí)驗(yàn)方法進(jìn)行評(píng)估。第一組實(shí)驗(yàn)方法是基于多視角深度圖像的三維形狀表示。在這組實(shí)驗(yàn)中,我們使用了多視角深度圖像作為輸入,通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)三維場(chǎng)景的形狀表示。我們與其他基線方法進(jìn)行了比較,包括OF、DeepSDF、NDF、NeuS、DS-NeRF、LFN和PRIF。通過(guò)對(duì)六個(gè)ScanNet數(shù)據(jù)集場(chǎng)景的評(píng)估,我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上表現(xiàn)明顯優(yōu)于其他方法,展示了我們方法在顯式表面恢復(fù)方面的明顯優(yōu)勢(shì)。第二組實(shí)驗(yàn)方法是基于多視角RGB圖像和深度圖像的三維形狀和外觀表示。在這組實(shí)驗(yàn)中,我們使用了多視角RGB圖像和深度圖像作為輸入,通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)三維場(chǎng)景的形狀和外觀表示。我們與NeuS、DS-NeRF、LFN和PRIF等基線方法進(jìn)行了比較。通過(guò)對(duì)DM-SR數(shù)據(jù)集的評(píng)估,我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上再次超越了所有基線方法,展示了我們方法在形狀恢復(fù)方面的優(yōu)勢(shì)。同時(shí),我們的方法在PSNR、SSIM和LPIPS等指標(biāo)上也取得了可比較的性能。
8.結(jié)論
本文的研究旨在提出一種稱為RayDF的方法,用于準(zhǔn)確地表示三維形狀。該方法基于射線-表面距離場(chǎng)的概念,通過(guò)訓(xùn)練一個(gè)主要的射線-表面距離網(wǎng)絡(luò)和一個(gè)輔助的雙射線可見(jiàn)性分類器,以及一個(gè)多視角一致性優(yōu)化模塊來(lái)實(shí)現(xiàn)。主要網(wǎng)絡(luò)直接將射線作為輸入,并推斷射線起點(diǎn)與其在表面上的擊中點(diǎn)之間的距離。輔助網(wǎng)絡(luò)則以一對(duì)射線作為輸入,并預(yù)測(cè)它們的相互可見(jiàn)性。通過(guò)訓(xùn)練輔助網(wǎng)絡(luò),可以有效地利用學(xué)到的雙射線可見(jiàn)性來(lái)訓(xùn)練主網(wǎng)絡(luò),從而使學(xué)到的射線-表面距離在任何已見(jiàn)或未見(jiàn)的視角下保持多視角一致性。研究結(jié)果表明,相比于現(xiàn)有的基于坐標(biāo)的表示方法,RayDF方法在效率上具有優(yōu)勢(shì),而相比于現(xiàn)有的基于射線的方法,RayDF方法在學(xué)習(xí)準(zhǔn)確的三維幾何形狀方面表現(xiàn)出色。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面的優(yōu)越性。
編輯:黃飛
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4806瀏覽量
102688 -
分類器
+關(guān)注
關(guān)注
0文章
152瀏覽量
13394 -
網(wǎng)絡(luò)結(jié)構(gòu)
+關(guān)注
關(guān)注
0文章
48瀏覽量
11458 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1222瀏覽量
25264 -
深度圖像
+關(guān)注
關(guān)注
0文章
19瀏覽量
3588
原文標(biāo)題:香港理工大學(xué)最新提出精確3D重建的突破性方法
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
3d全息風(fēng)扇燈條|3D全息風(fēng)扇方案|3d全息風(fēng)扇PCBA
PYNQ框架下如何快速完成3D數(shù)據(jù)重建
在Altium Designer創(chuàng)建不尋常的3D形狀
使用結(jié)構(gòu)光的3D掃描介紹
光學(xué)3D表面輪廓儀可以測(cè)金屬嗎?
創(chuàng)想三維:3D掃描儀在3D打印機(jī)上的運(yùn)用
3D的感知技術(shù)及實(shí)踐

音圈模組3D打印助力肌腱和韌帶重建
大規(guī)模3D重建的Power Bundle Adjustment
英偉達(dá)提出了同時(shí)對(duì)未知物體進(jìn)行6D追蹤和3D重建的方法

基于未知物體進(jìn)行6D追蹤和3D重建的方法

基于3D形狀重建網(wǎng)絡(luò)的機(jī)器人抓取規(guī)劃方法

使用Python從2D圖像進(jìn)行3D重建過(guò)程詳解

提供3D打印材料與解決方案,助力3D打印產(chǎn)業(yè)發(fā)展
三維掃描與3D打印在法醫(yī)頭骨重建中的突破性應(yīng)用

評(píng)論