摘要：

隨著深度學(xué)習(xí)的發(fā)展，目前已經(jīng)出現(xiàn)了很多算法（或者訓(xùn)練技巧，tricks）來提升神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。在實際測試中評價一個算法的好壞優(yōu)劣主要看兩點，一是能否在大規(guī)模的數(shù)據(jù)集中起作用（work），二是是否有理論依據(jù)。一些算法僅能在某些特定的模型上或者某類特定的問題上運行，亦或是適用于一些小規(guī)模的數(shù)據(jù)集。然而，還有一些算法，例如batch normalization（BN）或者殘差連接（residual-connections）已經(jīng)被用在了不同的模型，任務(wù)以及不同的數(shù)據(jù)集中，已經(jīng)被充分的證明了這些算法的普適性，是一個general的算法。我們假設(shè)這樣的general（or universal）的算法包括Weighted-residual-connection（WRC），cross-stage-partial-connections（SCP），cross mini-batch Normalization（CmBN），self-adversarial-training（SAT）以及mish-activation。此外，我們還加了一些其余的tricks，包括Mosaic data augmentation，DropBlock regularization，CIoU loss，設(shè)計了一個YOLO-V4，并且在MS coco數(shù)據(jù)集中取得了新的state-of-the-art的結(jié)果：在Tesla V100顯卡能達(dá)到43.5% AP（65.7% AP）的精度，且達(dá)到~65FPS的速度。目前代碼已經(jīng)開源：

Introduction

Yolo-V4的主要目的在于設(shè)計一個能夠應(yīng)用于實際工作環(huán)境中的快速目標(biāo)檢測系統(tǒng)，且能夠被并行優(yōu)化，并沒有很刻意的去追求理論上的低計算量（BFLOP）。同時，Yolo-V4的作者希望算法能夠很輕易的被訓(xùn)練，也就是說擁有一塊常規(guī)了GTX-2080ti或者Titan-XP GPU就能夠訓(xùn)練Yolo-V4, 同時能夠得到一個較好的結(jié)果（Yolo-V4 結(jié)果如上圖）。整個introduction可以總結(jié)為以下幾點：

研究設(shè)計了一個簡單且高效的目標(biāo)檢測算法，該算法降低了訓(xùn)練門檻，使得普通人員在擁有一塊1080TI或者2080TI的情況下就能夠訓(xùn)練一個super fast and accurate 的目標(biāo)檢測器

在訓(xùn)練過程中，驗證了最新的Bag-of-Freebies和Bag-of-Specials對Yolo-V4的影響

簡化以及優(yōu)化了一些最新提出的算法，包括（CBN，PAN，SAM），從而使Yolo-V4能夠在一塊GPU上就可以訓(xùn)練起來。

Related work

首先解釋一下相關(guān)的名詞：

Input：算法的輸入，包括整個圖像，一個patch，或者是image pyramid

Backbone：可以理解為是提取圖像特征的部分，由于圖像中的淺層特征（low-level）是比較類似的，例如提取邊緣，顏色，紋理這些。因此這部分可以很好的借鑒一些設(shè)計好并且已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)，例如（VGG16,19，ResNet-50, ResNeXt-101, Darknet53）, 同時還有一些輕量級的backbone（MobilenetV1,2,3 ShuffleNet1,2）。

Neck：這部分我的理解是特征增強模塊，前面的backbone已經(jīng)提取到了一些相關(guān)的淺層特征，由這部分對backbone提取到的淺層特征（low-level feature）進行加工，增強，從而使得模型學(xué)到的特征是我想要的特征。這部分典型的有（SPP，ASPP in deeplabV3+，RFB，SAM），還有一些（FPN, PAN, NAS-FPN, BiFPN, ASFF, SFAM）。

Head：檢測頭。這部分就到了算法最關(guān)鍵的部分，就是來輸出你想要的結(jié)果，例如想得到一個heatmap，（如在centernet中），那就增加一些反卷積層來一層一層反卷積回去。如果想直接得到bbox，那就可以接conv來輸出結(jié)果，例如Yolo，ssd這些。亦或是想輸出多任務(wù)（mask-RCNN）那就輸出三個head：classification，regression，segmentation（就是mask那部分）。

因此，一個檢測算法可以理解為：

Object Detection = Backbone + Neck + Head

2.1. Bag of freebies

什么叫Bag of freebies？字面上的意思就是免費贈品。在目標(biāo)檢測中是指：用一些比較有用的訓(xùn)練技巧來訓(xùn)練模型，從而使得模型取得更好的準(zhǔn)確率但是不增加模型的復(fù)雜度，也就不增加推理（inference）是的計算量（cost）。在目標(biāo)檢測中，提到bag of freebies，首先會想到的 就是Data augmentation。

2.1.1 : Data augmentation 的目的在于增加訓(xùn)練樣本的多樣性，使得檢測模型具有高的魯棒性。常見的不能再常見的數(shù)據(jù)增強方式包括兩個方面：幾何增強以及色彩增強。

幾何增強包括：隨機翻轉(zhuǎn)（水平翻轉(zhuǎn)較多，垂直翻轉(zhuǎn)較少），隨機裁剪（crop），拉伸，以及旋轉(zhuǎn)。

色彩增強包括：對比度增強，亮度增強，以及較為關(guān)鍵的HSV空間增強。

上述說的色彩以及幾何增強都是pixel-wise 的調(diào)整。此外還有一些數(shù)據(jù)增強方法被用來解決目標(biāo)遮擋及不足的問題。

在圖像中隨機裁剪矩形區(qū)域，并用0來填充（random erase和CutOut算法）

隨機裁剪多個矩形區(qū)域（hide-and-seek， grid mask）

上述算法是在圖像中裁剪矩形區(qū)域并填充0，那么算法在heatmap上裁剪并填充的叫做（DropOut，DropConnect， DropBlock）

此外還有一個重要的data augmentation算法叫做MIX-UP。Mix-up在分類任務(wù)中，將兩個圖像按照不同的比例相加，例如A*0.1+B*0.9=C，那么C的label就是[0.1A， 0.9B]。在目標(biāo)檢測中的做法就是將一些框相加，這些label中就多了一些不同置信度的框。

還有一類是style-transfer GAN做數(shù)據(jù)增強，例如在做街景分割和目標(biāo)檢測的時候，將GTA-5的數(shù)據(jù)做一個style-transfer，擴充一些數(shù)據(jù)集。不過更多的是用在了Domain Adaptation上。

2.1.2 : 不同于上述說的data augmentation，第二類方法是要解決數(shù)據(jù)不均衡問題（imbalance problems in object detection），數(shù)據(jù)不均衡問題在目標(biāo)檢測中是一個特別難的問題，Yolo-V4中沒有細(xì)說，但是最近的一篇PAMI綜述論文，用了30幾頁詳細(xì)介紹了這個問題，論文可以見我專欄的第一篇文章。下面我簡單說一下：數(shù)據(jù)不均衡包括了兩種一種是訓(xùn)練的背景和我要識別的物體之間的不均衡，例如在two-stage的方法中，首先在RPN階段會生成了很多個ROI，這里面有太多的背景了，有用的框會很少。還有一類不均衡是類別之間的不均衡，例如在COCO數(shù)據(jù)集中一些常見的物體例如人就會很多，不常見的就會比較少，這樣類別之間還有不平衡，這就涉及到另外一個問題了，叫做長尾分布（long-tailed Data），也是比較棘手的問題。這里面比較經(jīng)典的算法就是在two-stage 中使用hard negative example mining or online head example mining （OHEM）。還有一個比較經(jīng)典的算法就是Focal-loss，來處理數(shù)據(jù)不均衡的問題。還有一個trick就是關(guān)于One-hot編碼之后label沒有關(guān)聯(lián)，針對這個問題進行l(wèi)abel-smooth。

2.1.3: 第三個bag of freebies就是在loss function上進行改動，之前常用的計算bbox的loss 使用MSE，現(xiàn)在改為了計算IOU之間的loss，還有一個叫做GIoU loss。這里面有一個比較經(jīng)典的算法就是在Mask-RCNN上改動的MASK SCoring RCNN中，這部分的邏輯是這樣的：在選擇ROI時，如果按照每個ROI的score來排序篩選ROI，會出現(xiàn)一個問題就是，置信度高的ROI并不一定BBOX的位置就準(zhǔn)，后來作者嘗試了使用IoU來篩選ROI，發(fā)現(xiàn)效果要好。

2.2. Bag of specials

什么叫做bag of specials：就是指一些plugin modules（例如特征增強模型，或者一些后處理），這部分增加的計算量（cost）很少，但是能有效地增加物體檢測的準(zhǔn)確率，我們將這部分稱之為Bag of specials。這部分插件模塊能夠增強網(wǎng)絡(luò)模型的一些屬性，例如增大感受域（ASFF，ASPP，RFB這些模塊），引入注意力機制（有兩種一種是spatial attention，另外一種是channel attention），增加特征集成能力（FPN，ASFF，BiFPN）。后處理算法是指用一些算法來篩選模型預(yù)測出來的結(jié)果

2.2.1 增大感受域

SPP：He提出了一個比較經(jīng)典的算法，當(dāng)時解決了一個問題就是我在測試的時候，輸入尺寸可以與訓(xùn)練的時候 不一樣。但是當(dāng)網(wǎng)絡(luò)中有FC的時候，尺寸必須是固定的，這時候，SPP作用就體現(xiàn)出來了，按照比例劃分pooling，最后輸出的結(jié)果就是一致的了。

ASPP：我記得是用在了DeepLabV3系列中，與SPP不同前面加了Atrous or dilated ，在Pooling中加入了dilated ratio。

RFB：就是說是在同一個featuremap下引入不同dilated ration的空洞卷積，這樣提取到了不同感受野的特征，最后進行融合。

2.2.2 引入注意力機制

Channel Attention：最經(jīng)典的就是SEnet（Squeeze-and-Excitation），這個算法一開始獲得了imagenet分類任務(wù)中的冠軍，他的原理是這樣的，在featuremap層中同時引入一個1X1XC的weights，這樣對每個channel上的特征加入不同的權(quán)重，這樣提高特征學(xué)習(xí)能力，注意：SE module是在channel 這個維度上進行加入權(quán)重。后來又有一篇CVPR用SE module做了分割任務(wù)，從側(cè)面證明了SE module很好用。

Spatial Attention Module：從字面意思上來理解，就是在HW維度上加入attention，上述是在Channel維度上加入Attention。

Channel+Spatial：一個featuremap的維度：NCHW，N：batch size，C：channel，H：height，W：weight。Channel attention 和spatial attention 是從兩個不同的方法對feature進行增強，接著又有一篇paper對二者進行融合，channel attention+spatial attention

2.2.3 特征融合or特征集成

Skip connection：用在encoder-decoder中比較多，例如最經(jīng)典的Unet，融入了low-level和high-level的信息，在目標(biāo)檢測中主要用在了類似于pose這一類的檢測任務(wù)中，例如DLA，Hourglass，以及最近的CenterNet

hyper-column：最經(jīng)典的就要屬于InceptionV1-4結(jié)構(gòu)了，使用不同的kernel-size的convolution來集成特征。

FPN，ASFF，BiFPN：在我看來都屬于一類，屬于將不同stage下不同scale的特征進行融合，只是連接融合的方式不一樣，F(xiàn)PN是最經(jīng)典的，efficientdet中的BiFPN連接的最密集。

2.2.4 激活函數(shù)

一個好的激活函數(shù)能夠使得梯度傳播的更高效，并且不會占用額外的計算資源。常見的激活函數(shù)有以下：(由于我對激活函數(shù)沒有研究過，所以這邊就不畫蛇添足了，直接把論文中的摘錄下來）

ReLU

LRelu, PReLU, SELU，ReLu6, Swish, hard-Swish Mish

2.2.5 后處理

經(jīng)典的后處理包含了NMS，soft NMS，DIoU NMS