全卷積神經(jīng)網(wǎng)絡(luò) ［3］

　　全卷積神經(jīng)網(wǎng)絡(luò) FCN 可以說(shuō)是深度學(xué)習(xí)在圖像語(yǔ)義分割任務(wù)上的開(kāi)創(chuàng)性工作，出自 UC Berkeley 的 Trevor Darrell 組，發(fā)表于計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)會(huì)議 CVPR 2015，并榮獲best paper honorable mention。

　　FCN 的思想很直觀，即直接進(jìn)行像素級(jí)別端到端（end-to-end）的語(yǔ)義分割，它可以基于主流的深度卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）來(lái)實(shí)現(xiàn)。正所謂「全卷積神經(jīng)網(wǎng)絡(luò)」，在FCN中，傳統(tǒng)的全連接層 fc6 和 fc7 均是由卷積層實(shí)現(xiàn)，而最后的 fc8 層則被替代為一個(gè) 21 通道（channel）的 1x1 卷積層，作為網(wǎng)絡(luò)的最終輸出。之所以有 21 個(gè)通道是因?yàn)?PASCAL VOC 的數(shù)據(jù)中包含 21 個(gè)類(lèi)別（20個(gè)object類(lèi)別和一個(gè)「background」類(lèi)別）。

　　下圖為 FCN 的網(wǎng)絡(luò)結(jié)構(gòu)，若原圖為 H×W×3，在經(jīng)過(guò)若干堆疊的卷積和池化層操作后可以得到原圖對(duì)應(yīng)的響應(yīng)張量（activation tensor） ，其中， 為第i層的通道數(shù)。可以發(fā)現(xiàn)，由于池化層的下采樣作用，使得響應(yīng)張量的長(zhǎng)和寬遠(yuǎn)小于原圖的長(zhǎng)和寬，這便給像素級(jí)別的直接訓(xùn)練帶來(lái)問(wèn)題。

　　為了解決下采樣帶來(lái)的問(wèn)題，F(xiàn)CN 利用雙線性插值將響應(yīng)張亮的長(zhǎng)寬上采樣到原圖大小，另外為了更好的預(yù)測(cè)圖像中的細(xì)節(jié)部分，F(xiàn)CN 還將網(wǎng)絡(luò)中淺層的響應(yīng)也考慮進(jìn)來(lái)。具體來(lái)說(shuō)，就是將 Pool4 和 Pool3 的響應(yīng)也拿來(lái)，分別作為模型 FCN-16s 和 FCN-8s 的輸出，與原來(lái) FCN-32s 的輸出結(jié)合在一起做最終的語(yǔ)義分割預(yù)測(cè)（如下圖所示）。

　　下圖是不同層作為輸出的語(yǔ)義分割結(jié)果，可以明顯看出，由于池化層的下采樣倍數(shù)的不同導(dǎo)致不同的語(yǔ)義分割精細(xì)程度。如 FCN-32s，由于是 FCN 的最后一層卷積和池化的輸出，該模型的下采樣倍數(shù)最高，其對(duì)應(yīng)的語(yǔ)義分割結(jié)果最為粗略；而 FCN-8s 則因下采樣倍數(shù)較小可以取得較為精細(xì)的分割結(jié)果。

　　Dilated Convolutions ［4］

　　FCN 的一個(gè)不足之處在于，由于池化層的存在，響應(yīng)張量的大小（長(zhǎng)和寬）越來(lái)越小，但是FCN的設(shè)計(jì)初衷則需要和輸入大小一致的輸出，因此 FCN 做了上采樣。但是上采樣并不能將丟失的信息全部無(wú)損地找回來(lái)。

　　對(duì)此，dilated convolution 是一種很好的解決方案——既然池化的下采樣操作會(huì)帶來(lái)信息損失，那么就把池化層去掉。但是池化層去掉隨之帶來(lái)的是網(wǎng)絡(luò)各層的感受野（receptive field）變小，這樣會(huì)降低整個(gè)模型的預(yù)測(cè)精度。Dilated convolution 的主要貢獻(xiàn)就是，如何在去掉池化下采樣操作的同時(shí)，而不降低網(wǎng)絡(luò)的感受野。

　　以 3×3 的卷積核為例，傳統(tǒng)卷積核在做卷積操作時(shí)，是將卷積核與輸入張量中「連續(xù)」的 3×3 的 patch 逐點(diǎn)相乘再求和（如下圖a，紅色圓點(diǎn)為卷積核對(duì)應(yīng)的輸入「像素」，綠色為其在原輸入中的感知野）。而 dilated convolution 中的卷積核則是將輸入張量的 3×3 patch 隔一定的像素進(jìn)行卷積運(yùn)算。

　　如下圖 b 所示，在去掉一層池化層后，需要在去掉的池化層后將傳統(tǒng)卷積層換做一個(gè)「dilation=2」的 dilated convolution 層，此時(shí)卷積核將輸入張量每隔一個(gè)「像素」的位置作為輸入 patch 進(jìn)行卷積計(jì)算，可以發(fā)現(xiàn)這時(shí)對(duì)應(yīng)到原輸入的感知野已經(jīng)擴(kuò)大（dilate）為 ；同理，如果再去掉一個(gè)池化層，就要將其之后的卷積層換成「dilation=4」的 dilated convolution 層，如圖 c 所示。這樣一來(lái)，即使去掉池化層也能保證網(wǎng)絡(luò)的感受野，從而確保圖像語(yǔ)義分割的精度。

　　從下面的幾個(gè)圖像語(yǔ)義分割效果圖可以看出，在使用了 dilated convolution 這一技術(shù)后可以大幅提高語(yǔ)義類(lèi)別的辨識(shí)度以及分割細(xì)節(jié)的精細(xì)度。

　　以條件隨機(jī)場(chǎng)為代表的后處理操作

　　當(dāng)下許多以深度學(xué)習(xí)為框架的圖像語(yǔ)義分割工作都是用了條件隨機(jī)場(chǎng)（conditional random field，CRF）作為最后的后處理操作來(lái)對(duì)語(yǔ)義預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化。

　　一般來(lái)講，CRF 將圖像中每個(gè)像素點(diǎn)所屬的類(lèi)別都看作一個(gè)變量 ，然后考慮任意兩個(gè)變量之間的關(guān)系，建立一個(gè)完全圖（如下圖所示）。

　　其中是一元項(xiàng)，表示像素對(duì)應(yīng)的語(yǔ)義類(lèi)別，其類(lèi)別可以由 FCN 或者其他語(yǔ)義分割模型的預(yù)測(cè)結(jié)果得到；而第二項(xiàng)為二元項(xiàng)，二元項(xiàng)可將像素之間的語(yǔ)義聯(lián)系／關(guān)系考慮進(jìn)去。例如，「天空」和「鳥(niǎo)」這樣的像素在物理空間是相鄰的概率，應(yīng)該要比「天空」和「魚(yú)」這樣像素的相鄰概率大。最后通過(guò)對(duì) CRF 能量函數(shù)的優(yōu)化求解，得到對(duì) FCN 的圖像語(yǔ)義預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化，得到最終的語(yǔ)義分割結(jié)果。

　　值得一提的是，已經(jīng)有工作［5］將原本與深度模型訓(xùn)練割裂開(kāi)的 CRF 過(guò)程嵌入到神經(jīng)網(wǎng)絡(luò)內(nèi)部，即，將 FCN+CRF 的過(guò)程整合到一個(gè)端到端的系統(tǒng)中，這樣做的好處是 CRF 最后預(yù)測(cè)結(jié)果的能量函數(shù)可以直接用來(lái)指導(dǎo) FCN 模型參數(shù)的訓(xùn)練，而取得更好的圖像語(yǔ)義分割結(jié)果。