【導(dǎo)讀】從立體圖像或視頻幀中進(jìn)行遮擋物的檢測，對許多計(jì)算機(jī)視覺應(yīng)用而言都是非常重要的。在本文中，我們利用卷積神經(jīng)網(wǎng)絡(luò)來解決傳統(tǒng)交錯(cuò)的計(jì)算框架中遮擋物檢測問題。

我們提出一個(gè)對稱的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) (SymmNet)，它能夠直接利用圖像對的信息，而無需提前估計(jì)視覺差異或動(dòng)作的影響。我們所提出的網(wǎng)絡(luò)是一種左右的對稱結(jié)構(gòu)，在學(xué)習(xí)雙目下的遮擋問題的同時(shí)，旨在共同改善檢測結(jié)果。通過綜合的實(shí)驗(yàn)分析來驗(yàn)證我們模型的有效性：實(shí)驗(yàn)結(jié)果表明，在立體圖像和運(yùn)動(dòng)遮擋問題中，我們的模型能夠取得當(dāng)前最先進(jìn)的檢測表現(xiàn)。

▌前言

對多視角圖像或視頻序列數(shù)據(jù)的遮擋或無遮擋區(qū)域的定位問題，一直以來是許多計(jì)算機(jī)視覺任務(wù)中非常感興趣的研究方向。解決這個(gè)問題我們需要考慮與其最相關(guān)的兩個(gè)任務(wù)：立體圖像計(jì)算和視頻光流估計(jì)。

圖像中被遮擋的像素是違反了圖像內(nèi)部的對應(yīng)約束，從而導(dǎo)致像素匹配的模糊性。當(dāng)前最先進(jìn)的處理立體圖像和光流方法都是基于對遮擋物的檢測：通過在視差和運(yùn)動(dòng)計(jì)算過程中排除遮擋物的像素，或通過修復(fù)這些被遮擋的區(qū)域。因此，遮擋物檢測也被應(yīng)用于幫助改善諸如動(dòng)作識別、目標(biāo)追蹤和 3D 重建等任務(wù)的表現(xiàn)。

現(xiàn)有的大多數(shù)方法都是視差或光流估計(jì)來解決遮擋物的檢測問題。最簡單也是最廣泛使用的方法是左右交叉檢查 (left-right-cross-checking，LRC)，這種方法直接通過預(yù)先計(jì)算的視差結(jié)果來推斷遮擋的位置。然而，LRC 方法中未引入遮擋物的先驗(yàn)知識，這將無法精確地計(jì)算出視差結(jié)果，影響后續(xù)的檢測結(jié)果。其他一些研究提出通過交替改進(jìn)視差和運(yùn)動(dòng)準(zhǔn)確性，來迭代地改善遮擋物的映射圖。總的說來，先前研究中對遮擋物的檢測依賴于預(yù)先計(jì)算的視差或光流估計(jì)，這種方法容易受到噪聲、低或重復(fù)的紋理特征的理影響，具有很大局限性。

這促使我們探索一種檢測立體圖像或視頻連續(xù)幀中遮擋物的解決方案。在本文中，我們主要關(guān)注的是立體圖像的遮擋物檢測問題。隨著卷積神經(jīng)網(wǎng)絡(luò) (CNN) 在單目深度和相機(jī)定位方面的成功應(yīng)用，我們利用 CNN 結(jié)構(gòu)來解決遮擋物檢測中的視差估計(jì)問題。我們將遮擋檢測視為二元分類問題，并提出一種對稱卷積網(wǎng)絡(luò) (SymmNet) 作為分類器。SymmNet是一種利用雙目圖像信息的沙漏架構(gòu) (hourglass architecture)。利用左右對稱的網(wǎng)絡(luò)結(jié)構(gòu)，我們能夠推斷出雙眼條件下遮擋物的情況，從而同時(shí)同步改善左右的檢測結(jié)構(gòu)。

本文的貢獻(xiàn)主要包含以下三個(gè)方面：

這項(xiàng)工作是第一個(gè)無需利用視差和運(yùn)動(dòng)估計(jì)的先驗(yàn)知識，而直接對遮擋物進(jìn)行檢測的研究。

我們提出了一個(gè)對稱卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) SymmNet，它能直接以圖像對作為輸入并進(jìn)行協(xié)同工作。

我們進(jìn)行了綜合的實(shí)驗(yàn)以驗(yàn)證我們的模型設(shè)計(jì)，實(shí)驗(yàn)結(jié)果表明該方法在立體圖像和運(yùn)動(dòng)遮擋的檢測方面有著非常有前景的表現(xiàn)。

▌模型結(jié)構(gòu)

我們提出了一種對稱結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò) (SymmNet)，通過左右對稱結(jié)構(gòu)來預(yù)測堆疊雙目圖像流的遮擋問題。下圖1說明了我們所提出的網(wǎng)絡(luò)的簡要架構(gòu)，我們遵循 FlowNet 的結(jié)構(gòu)來構(gòu)建一個(gè)完整的卷積網(wǎng)絡(luò)，其中包含一個(gè)收縮部分 (contractive) 和擴(kuò)展部分 (expanding)，以跳躍連接的方式連接這兩部分。

圖1 SymmNet 網(wǎng)絡(luò)結(jié)構(gòu)。中間層和殘差連接在圖中省略。網(wǎng)絡(luò)以雙目圖像對作為輸入，輸出的是雙目圖像中的遮擋物。沿著特征通道，網(wǎng)絡(luò)整體呈一種左右對稱的結(jié)構(gòu)。

下表1中列出了詳細(xì)的逐層定義。由于遮擋物檢測可能依賴于來自廣闊視野的信息，因此網(wǎng)絡(luò)的收縮模塊通過特征子采樣來編碼大型結(jié)構(gòu)。它包含6個(gè)步長為2下采樣層來逐步增加接收域，并且將特征映射圖的空間大小縮小64倍。為了在擴(kuò)展模塊中獲得原始輸入分辨率的逐像素預(yù)測，我們使用6個(gè)反卷積層進(jìn)行上采樣特征。在每個(gè)下采樣或上采樣層后都連接一個(gè)卷積層來平滑結(jié)果輸出。為了保留更多的局部細(xì)粒度信息，低層次的特征通過跳躍連接進(jìn)行解碼。每層后采用 ReLU 作為層激活函數(shù)，以更好應(yīng)對梯度消失問題。

表1 SymmNet 結(jié)構(gòu)參數(shù)。除預(yù)測層 pr，其余每一層后都接上一個(gè)ReLU 函數(shù)，而 pr 層后激活函數(shù)采用的是 softmax 函數(shù)以輸出檢測概率。表格的排列方式是從上到下，從左到右的，其中 + 代表加法運(yùn)算，⊕ 代表的是跳躍連接中的串聯(lián)操作。

與 FlowNet 結(jié)構(gòu)不同，我們的 SymmNet 模型采取了幾種網(wǎng)絡(luò)修剪策略以提高網(wǎng)絡(luò)的計(jì)算效率。首先，我們對特征通道的數(shù)量進(jìn)行壓縮。第一層有16個(gè)過濾器。每次對特征映射圖的空間大小進(jìn)行下采樣時(shí)，網(wǎng)絡(luò)的特征長度都將翻倍，并在收縮模塊的最后一層達(dá)到最大值，該層包含512個(gè)過濾器。然后，我們更換了跳躍連接中的連接方式，并相應(yīng)地減小擴(kuò)展模塊的特征長度以匹配收縮模塊。另一個(gè)修改是我們的網(wǎng)絡(luò)在擴(kuò)展模塊后又包含一個(gè)額外上采樣模塊，以獲得全分辨率的輸出。由上采樣到全分辨率，原始圖像的特征將與最后一層的卷積層特征相連接。這是出于圖像低層次特征可以幫助定位遮擋物的考慮而做的處理。

▌實(shí)驗(yàn)

我們在 SceneFlow 數(shù)據(jù)集上訓(xùn)練我們的模型，該數(shù)據(jù)集由合成序列渲染后的立體圖像構(gòu)成。該數(shù)據(jù)集的規(guī)模足夠大，共包含35454對訓(xùn)練數(shù)據(jù)和和4370 對測試數(shù)據(jù)，以此訓(xùn)練的模型不會(huì)產(chǎn)生過擬合現(xiàn)象。此外，該數(shù)據(jù)集還提供了密集而完美的地面實(shí)況差異的兩種視圖，可用于生成雙目圖像中真實(shí)的遮擋物。我們首先進(jìn)行對比實(shí)驗(yàn)以驗(yàn)證我們模型的有效性，接著在 SceneFlow 和 Middleburry 數(shù)據(jù)集上對比其他方法。然后，我們在 MPI Sintel 數(shù)據(jù)集上測試模型學(xué)習(xí)運(yùn)動(dòng)遮擋物的容量。最終，我們還測試了我們結(jié)構(gòu)的效率，包括運(yùn)行的時(shí)間和內(nèi)存使用。

值得注意的是，我們采用三個(gè)在遮擋物檢測任務(wù)中廣泛使用的評估指標(biāo)，包括精度值 P，回召值 R 以及 F 分?jǐn)?shù)。在預(yù)測遮擋物時(shí)，我們將閾值設(shè)置為0.5。

▌結(jié)構(gòu)分析

為了驗(yàn)證模型設(shè)計(jì)的有效性，我們在 SceneFlow 數(shù)據(jù)集上測試了SymmNet 及其一些變體。在圖2我們提供了示例結(jié)果，并在圖4中可視化 PR 曲線結(jié)果。

圖2 不同結(jié)構(gòu)變體的示例結(jié)果。MonoNet (L/R) 的第一排是MonoNetL 的結(jié)果，而第二行是 MonoNetR 的結(jié)果。MonoNetL中的粉色箭頭指向圖像邊緣發(fā)生的假遮擋現(xiàn)象，而 MonoNetR中的箭頭指向錯(cuò)誤的遮擋物形狀。

圖3 PR曲線。在 PR 曲線上標(biāo)注了最大 Fscore。曲線越靠近右上角代表該模型的表現(xiàn)更好。因此我們可以看到 SymmNet 的表現(xiàn)由于其他兩種變體結(jié)構(gòu)。

我們提出的 SymmNet 模型能夠直接對輸入圖像的遮擋進(jìn)行建模，無需基于視差計(jì)算的先驗(yàn)知識。從結(jié)果上看，我們的模型明顯優(yōu)于其他變體結(jié)構(gòu)，驗(yàn)證了 SymmNet 模型結(jié)構(gòu)的有效性。

▌?wù)w性能

我們在 SceneFlow 和 Middlebury 數(shù)據(jù)集上驗(yàn)證 SymmNet 模型的整體性能，并其他兩種檢測器進(jìn)行比較。定性結(jié)果及定量結(jié)果分別如下圖4，圖5及表2所示。

圖4 SceneFlow 數(shù)據(jù)集的定性結(jié)果。真正的正樣本 (true positive) 估計(jì)用青色標(biāo)記，假陰性 (false negative) 用洋紅色標(biāo)記，假陽性 (false positive) 用黃色標(biāo)記。綠色框標(biāo)記錯(cuò)誤發(fā)生在第一行中傾斜平面上以及第二行中無紋理區(qū)域。

圖5. Middlebury 數(shù)據(jù)集的定性結(jié)果。真正的正樣本 (true positive) 估計(jì)用青色標(biāo)記，假陰性 (false negative) 用洋紅色標(biāo)記，假陽性 (false positive) 用黃色標(biāo)記。

表2 定量估計(jì)結(jié)果。所有的評估結(jié)果中，值越高表示模型性能越好，在這里我們用粗體來突出顯示最佳的表現(xiàn)。

▌運(yùn)動(dòng)遮擋檢測

盡管 SymmNet 模型的設(shè)計(jì)是用于立體圖像中遮擋物的檢測，但它也可以應(yīng)用于以兩個(gè)連續(xù)幀作為輸入的運(yùn)動(dòng)遮擋檢測任務(wù)。我們在 MPI Sintel 數(shù)據(jù)集上驗(yàn)證并展示模型的表現(xiàn)。實(shí)驗(yàn)結(jié)果如下圖6所示：在運(yùn)動(dòng)遮擋檢測任務(wù)中，即使真實(shí)的遮擋區(qū)域比立體圖像中的區(qū)域小得多，我們的模型仍然可以做得很好的預(yù)測。

圖6 模型在 MPI 數(shù)據(jù)集上的定性結(jié)果。從左到右依次是：兩個(gè)輸入幀的平均圖像；真實(shí)的遮擋物圖像；我們模型預(yù)測的遮擋物圖像。

▌運(yùn)行時(shí)間和內(nèi)存需求

我們在單個(gè) NVIDIA Tesla M40 GPU 上，測試以 PyTorch 框架實(shí)現(xiàn)的運(yùn)行時(shí)間。結(jié)果表明，我們的模型能夠在 SceneFlow 數(shù)據(jù)集的訓(xùn)練時(shí)間只需兩天。在預(yù)測一張 540×960 的圖像對時(shí)，模型需要 0.07s 的運(yùn)行時(shí)間和 651M 的顯卡內(nèi)存?？偟恼f來，對時(shí)間和內(nèi)存的低要求使我們的模型有很強(qiáng)的可用性，并能應(yīng)用于其他任務(wù)的預(yù)處理模塊，如目標(biāo)追蹤，人體姿勢估計(jì)和行為識別等。

▌總結(jié)

我們提出了一種名為 SymmNet 的 CNN 模型來檢測立體圖像或視頻序列中的遮擋。與傳統(tǒng)方法通過預(yù)先計(jì)算的視差或光流估計(jì)結(jié)果來推斷被遮擋的像素不同，我們的模型能夠直接從原始圖像中進(jìn)行學(xué)習(xí)。SymmNet 模型是一種左右對稱的結(jié)構(gòu)，以協(xié)作的方式提取雙目圖像信息并學(xué)習(xí)圖像中的遮擋。實(shí)驗(yàn)結(jié)果驗(yàn)證了我們模型具有良好的立體和運(yùn)動(dòng)遮擋檢測的能力。