高精度的實時立體匹配網絡是時下研究的一個熱點，它在自動駕駛、機器人導航和增強現實等領域中有著廣泛的應用。雖然近年來對立體匹配網絡的研究已經取得了顯著的成果，但要同時兼顧實時性和高精度仍然是一個挑戰。現有的高精度立體匹配網絡，通常需要在較高的分辨率建立代價空間。比如，GANet在1/3分辨率建立代價空間，PSMNet在1/4分辨率，但這會影響網絡的效率（GANet處理一對1242×375的圖像，需要1.8s，PSMNet需要0.41s）。

本文的動機是期望尋求一種解決方案：用高分辨率代價空間預測視差圖，以保持高的精度，同時要保持高的計算效率。

［CVPR 2021］ Bilateral Grid Learning for Stereo Matching Networks

徐彬1，徐玉華1，2，*，楊曉立1，賈偉2，郭裕蘭3

（ 1奧比中光，2合肥工業大學，3國防科技大學）

論文鏈接： https://arxiv.org/pdf/2101.01601.pdf

代碼開源： https://github.com/3DCVdeveloper/BGNet

1.創新點

（1）本文提出一種新的基于可學習的雙邊網格的代價空間上采樣模塊（Cost volume Upsampling in the learned Bilateral Grid， CUBG）。基于這個具有邊緣保持特性的上采樣模塊，通過無參數的切片層（slicing layer）可以高效地從低分辨率的代價空間獲得高質量的高分辨率代價空間。這樣，費時的代價聚合只需要在低分辨率執行。該模塊能夠無縫嵌入到許多現有的立體匹配網絡（如GCNet，PSMNet，GANet等）中，在保持相當精度的條件下取得4-29倍的加速。據我們所知，這是可微雙邊網格首次在立體匹配網絡中的應用。

（2）基于本文提出的代價空間上采樣模塊，我們設計了一個高精度的實時立體匹配網絡（稱為BGNet），該網絡在KITTI數據集的分辨率下能夠達到39fps，且精度超過了之前所有實時立體匹配網絡。

2. 相關工作

基于深度學習的立體匹配網絡研究已經持續了很多年。MC-CNN ［1］首次使用卷積神經網絡（CNN）來計算兩個圖像塊之間的匹配代價，但后續步驟（如代價聚合、視差后處理等）仍然使用傳統方法。DispNetC ［2］是第一個端到端的立體匹配網絡，后續的工作引入了殘差優化模塊，對網絡預測的視差圖做一步的優化。GCNet ［6］首次使用3D卷積學習構建4D代價空間，并使用soft argmin操作進行視差回歸。

基于3D卷積的立體匹配網絡在各大數據集榜單上都取得了很好的結果，但是 3D卷積比2D卷積計算量大的多，現有的基于3D卷積的實時立體匹配網絡［7， 8］都是對低分辨率代價空間進行代價聚合，得到低分辨率的視差圖，然后對視差圖進行逐級上采樣和優化，這種策略不如使用高分辨率代價空間計算視差圖的方法精度高。

我們的工作受到雙邊網格［9］的啟發。雙邊網格最早用于加速雙邊濾波器，主要包含三個步驟，即splat，blur和slice。splat操作對圖像進行下采樣構建雙邊網格，blur操作對雙邊網格進行平滑濾波，最后通過slice操作將濾波后的雙邊網格上采樣到高分辨率。slice操作主要涉及在高分辨率引導圖的指引下進行線性插值，因此其計算是非常高效的。

3. 方法描述

雙邊網格代價空間上采樣

本文采用的思路是使用3D卷積在低分辨率構建雙邊網格代價空間，并通過提出的上采樣模塊（CUBG）得到高質量的高分辨率代價空間，在高分辨率代價空間進行視差回歸。

如圖1所示，CUBG模塊的輸入是一個低分辨率的代價空間和高分辨率的圖像特征，輸出是高分辨率的代價空間，該模塊包含雙邊網格的生成和slicing上采樣操作。

給定一個維度為 的低分辨率的代價空間。其中， 分別表示圖像寬度，圖像高度，視差范圍和特征通道數。我們使用一個3*3*3的3D卷積完成向雙邊網格的轉換，其中的維度為 ， 為引導特征的通道數。

為了得到維度為 的三維高分辨率的代價空間（其中 和 分別是圖像寬度和高度， 是給定的最大視差值），我用雙邊網絡中的slicing操作進行上采樣。slicing操作一種基于引導圖的無參數插值算法。slicing的操作可以表示為公式（1）：

其中為低分辨率代價空間相對于高分辨率代價空間的寬度或者高度比例， 是生成的引導圖特征，范圍為［0，255］。不同于雙邊網格［9］原文，我們的雙邊網格是從低分辨率的代價空間中學習得到的。在本文的所有試驗，我們設置雙邊網格的維度為 。

嵌入式模塊

CUBG模塊可以無縫嵌入到許多現有的立體匹配網絡結構中。在本文中，我把CUBG模塊嵌入到四種具有代表性的網絡，分別是GCNet， PSMNet， GANet和DeepPrunerFast。嵌入后的模型用后綴BG表示。比如，GCNet-BG表示在GCNet中嵌入了CUBG模塊后的網絡結構。

對于前三種網絡結構，我們分別在1/8， 1/8， 1/6分辨率上重新建立代價空間，然后用CUBG模塊把濾波后的代價空間分別上采樣到1/2， 1/4和1/3分辨率。對于DeepPrunerFast，類似PatchMatch的視差上、下界估計模塊和窄代價空間被1/8分辨率的完整的代價空間所代替。然后，用CUBG把濾波后的代價空間上采樣到1/2分辨率。網絡其余的結構都保持不變。

BGNet

基于CUBG模塊，我們設計了一個高精度實時立體匹配網絡。該網絡主要包含四個模塊：特征提取，代價空間聚合，代價空間上采樣和殘差優化模塊。在不使用殘差優化的情況下（對應BGNet），對于KITTI分辨率，速度為39fps。使用殘差優化時（對應BGNet+），速度為30fps。

4.實驗結果

消融實驗

為了驗證所提出CUBG上采樣模塊的有效性，我們在SceneFlow、Middlebury 2014數據集上進行了消融實驗。可見無論是在合成數據集還是在真實數據集上，CUBG都優于線性插值上采樣（LU）。尤其是在深度邊緣附近區域，CUBG優勢更加明顯（EPE-edge）。

編輯：jq