1、導讀

神經輻射場渲染是一種用神經網絡表示場景的方法，可以生成逼真的新視角圖像。然而，神經輻射場渲染的計算復雜度較高，導致訓練和推理速度較慢。因此，本文旨在提出一種自適應外殼（Adaptive Shells）的方法，以加速神經輻射場渲染，并在保持視覺質量的同時提高效率。

2、貢獻

我們提出了一種神經輻射公式，可以在基于體積和基于表面的渲染之間平滑過渡，大大加快渲染速度，甚至提高視覺保真度。

我們的方法構建了一個顯式的網格包絡，它在空間上限制了神經體積表示。在實體區域中，包絡幾乎會聚到一個表面，并且通常可以使用單個樣本進行渲染。

實驗表明，我們的方法能夠以非常高的保真度實現高效渲染。

3、方法

我們通過對顯式薄殼內的體積渲染進行有效采樣來演示高保真、高效的神經隱式場景重建，該薄殼會自動適應視覺目標。

在這篇論文中，作者提出了一種自適應殼層方法來提高神經輻射場渲染的效率。該方法利用了顯式幾何來加速性能，同時保持或提高感知質量。該方法通過提取一個窄帶網格來適應場景的局部復雜性，并在渲染過程中分配所需的樣本數量，以準確地表示地面真實外觀。與傳統的體積渲染方法相比，該方法能夠更好地分配計算成本，從而實現高效的新視角合成。該方法的主要步驟包括：

提取窄帶網格：根據場景的局部復雜性，從體積表示中提取一個窄帶網格。這個窄帶網格可以很好地近似表面，并且只需要在網格中間的一個點采樣即可。

分配樣本數量：根據場景的不同區域，分配不同數量的樣本來表示地面真實外觀。對于復雜的模糊表面，需要更多的樣本來準確表示外觀；而對于光滑的不透明表面，只需要在射線與表面相交的點采樣一個樣本即可。

輔助加速數據結構：引入輔助加速數據結構，以促進空間跳過，從而進一步提高渲染效率。通過這些步驟，該方法能夠在保持感知質量的同時，更高效地進行神經輻射場渲染。

3.1、提取窄帶網格

作者提出了一種自適應的窄帶渲染方法，用于加速神經輻射場（Neural Radiance Field）的渲染過程。該方法通過提取窄帶網格來指導光線的采樣，從而在保持感知質量的同時實現高效的渲染。具體而言，作者首先使用一種流體動力學方法來計算出適應場景局部復雜性的自適應殼（adaptive shell）。這個自適應殼由兩個邊界網格組成，一個是外殼邊界網格，一個是內殼邊界網格。這兩個網格定義了一個窄帶區域，其中包含了需要進行采樣的點。在渲染過程中，對于每條光線，我們使用硬件加速的光線追蹤方法來計算光線與自適應殼的交點。在這里推薦工坊課程基于深度學習的三維重建MVSNet系列論文+源碼+應用+科研

通過計算光線與殼的交點，我們將光線分割成多個區間，每個區間都包含在窄帶區域內。在每個區間內，我們均勻采樣點來進行渲染。這種方法不需要動態自適應采樣或者基于采樣的終止條件，從而實現了高性能的并行計算。為了確定每個區間內的采樣數量，我們使用了一個目標采樣間距和一個單樣本閾值。

3.2、分配樣本數量

根據給定的表格，我們可以看到在MipNeRF360數據集上，我們的方法對每個場景分配的樣本數量如下：Bicycle: 16.33 Garden: 14.05 Stump: 22.81 Room: 17.14 Counter: 22.24 Kitchen: 14.49 Bonsai: 14.80 這些樣本數量是根據我們的自適應殼層方法計算得出的，以確保在保持圖像質量的同時盡可能減少樣本數量。

3.3、輔助加速數據結構

輔助加速數據結構是指在渲染過程中使用的一種數據結構，用于提高渲染效率。這些數據結構可以幫助減少不必要的計算和內存消耗，從而加快渲染速度。在本篇論文中，作者提到了一種輔助加速數據結構，即用于跳過空白空間的網格結構。這個網格結構可以幫助減少需要進行渲染的體素數量，從而提高渲染效率。通過跳過空白空間，可以減少需要進行采樣的體素數量，從而減少了計算量。這種輔助加速數據結構的使用可以在一定程度上提高渲染速度，但同時也需要權衡渲染質量。因為跳過空白空間可能會導致一些細節丟失，從而影響渲染結果的質量。因此，在設計輔助加速數據結構時需要綜合考慮渲染速度和渲染質量之間的平衡。

3.4、損失函數

在訓練過程中，我們使用兩個階段來優化模型的參數。第一階段是使用完全體積形式的NeRF模型，通過最小化以下目標函數進行訓練：

其中，是標準的像素級顏色損失，用于與校準的真實圖像進行比較。是Eikonal正則化項，用于約束場的梯度。規范了我們公式中引入的空間變化的內核大小。是用于訓練預測的幾何法線的損失，以使其與通過有限差分計算得到的法線保持一致。

在第二階段，我們使用窄帶采樣的NeRF模型進行微調。由于我們已經提取出了自適應殼并將采樣限制在了一個小范圍內，因此不再需要鼓勵幾何上良好的表示。因此，我們只使用來優化模型，以提高視覺保真度。通過這兩個階段的訓練，我們可以得到一個高質量的NeRF模型，用于渲染新視角的圖像。

4、實驗結果

本研究采用了兩個數據集進行實驗評估：Shelly數據集和DTU數據集。

Shelly數據集：

Shelly數據集是本研究新引入的合成數據集，包含了六個物體級別的場景：Khady、Pug、Kitty、Horse、Fernvase和Woolly。

對于每個場景，我們從隨機的相機位置渲染了128個訓練視角和32個測試視角。

我們使用了峰值信噪比（PSNR）、學習感知圖像補丁相似度（LPIPS）和結構相似度（SSIM）等常用評估指標來量化渲染質量。

此外，我們還報告了每個像素所需的沿射線采樣數，以評估方法的計算復雜性。

DTU數據集：

我們選擇了DTU數據集中的15個桌面場景進行實驗評估。

這些場景是由機器人持有的單目RGB相機捕捉的，并且通常用于評估隱式表面表示方法。- 我們要求方法表示整個場景，但僅在提供的物體掩碼內評估性能。

我們使用了相同的評估指標（PSNR、LPIPS和SSIM）來量化渲染質量。

總結起來，本研究通過在Shelly數據集和DTU數據集上進行實驗評估，使用了多個評估指標來量化渲染質量，并報告了每個像素所需的沿射線采樣數，以評估方法的計算復雜性。實驗結果表明，我們的方法在各項指標上均優于基線方法，具有更高的渲染質量和更高的效率。

5、結論

本研究結論是提出了一種自適應外殼方法，用于提高神經輻射場渲染的效率。通過在神經輻射場中提取窄殼，可以根據場景的局部復雜性來調整表示，從而加速渲染過程。實驗結果表明，該方法在保持渲染質量的同時，顯著減少了采樣數量和計算復雜度。這對于神經輻射場的訓練和推斷都具有重要意義。