一、開(kāi)源

MogFace: Towards a Deeper Appreciation on Face Detection

1. 論文鏈接：

https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_MogFace_Towards_a_Deeper_Appreciation_on_Face_Detection_CVPR_2022_paper.pdf

2. 代碼模型：

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

3. 可玩應(yīng)用：

https://modelscope.cn/studios/baigui/face_album/summary

二、背景

人臉檢測(cè)算法是在一幅圖片或者視頻序列中檢測(cè)出來(lái)人臉的位置，給出人臉的具體坐標(biāo)，一般是矩形坐標(biāo)。它是人臉關(guān)鍵點(diǎn)、屬性、編輯、風(fēng)格化、識(shí)別等模塊的基礎(chǔ)。本文通過(guò)實(shí)驗(yàn)觀察發(fā)現(xiàn)，對(duì)應(yīng)設(shè)計(jì)出如下三個(gè)模塊構(gòu)建出一個(gè)高性能的人臉檢測(cè)器MogFace：1.）動(dòng)態(tài)標(biāo)簽分配策略（dynamic label assignment），2.）誤檢上下文相關(guān)性分析（FP context analysis），3.）金字塔層級(jí)監(jiān)督信號(hào)分配（pyramid layer level GT assignment）。該方法的模型在WIDER FACE榜單上取得了截止目前將近兩年的六項(xiàng)第一。

三、觀察

1.1 動(dòng)態(tài)標(biāo)簽分配策略（dynamic label assignment）

為每個(gè)anchor點(diǎn)定義cls和reg目標(biāo)是訓(xùn)練檢測(cè)器的必要過(guò)程，在人臉檢測(cè)中這個(gè)過(guò)程稱之為標(biāo)簽分配（Label Assignment）。最近，標(biāo)簽分配吸引了諸多研究人員的注意，在人臉檢測(cè)及通用物體檢測(cè)領(lǐng)域提出了一系列方法，例如：OTA、PAA，ATSS以及HAMBox。如示例圖(a)，標(biāo)簽分配過(guò)程依賴4個(gè)元素。分別是：1.）offline information: a.）IoU (anchor與ground-truth框的IoU) ， b.）CPD (anchor與ground-truth中心點(diǎn)的距離) ，2.）online information: a.）PCS (cls分支對(duì)anchor的前景分類概率值) ，b.）PLC (reg分支對(duì)anchor的預(yù)測(cè)坐標(biāo)值)。

但是，目前的標(biāo)簽分配方法存在三個(gè)問(wèn)題。1.）若只用offline information做靜態(tài)標(biāo)簽分配，那么會(huì)有很多具備更強(qiáng)回歸能力的negative anchor無(wú)法被有效利用起來(lái)，會(huì)導(dǎo)致標(biāo)簽分配策略欠飽和。2.）若過(guò)度信任online information動(dòng)態(tài)調(diào)整正負(fù)anchor時(shí)（如OTA和Hambox），由于online information屬于預(yù)測(cè)信息可信度不高，會(huì)導(dǎo)致標(biāo)簽分配策略錯(cuò)誤多， 極端情況下會(huì)陷入trivial 的分配結(jié)果。3.) 若引入大量超參 （K in ATSS, alpha in OTA）做標(biāo)簽分配，則當(dāng)數(shù)據(jù)集分布發(fā)生變化時(shí)，需要大量的調(diào)參時(shí)間。

1.2 誤檢上下文相關(guān)性分析（FP context analysis）

在實(shí)際應(yīng)用中，人臉檢測(cè)器并不會(huì)十分care AP的指標(biāo)，而對(duì)誤檢（false positive [FP]）的數(shù)量十分敏感。針對(duì)這個(gè)問(wèn)題，目前的做法是收集大量帶有FP的圖片去fine-tune或者from scratch訓(xùn)練檢測(cè)器，來(lái)幫助檢測(cè)器了解更多范式的FP，但是我們發(fā)現(xiàn)有些頻繁出現(xiàn)在訓(xùn)練集中的的FP在這種策略下無(wú)法有效解決。這篇文章，我們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：對(duì)于同一個(gè)FP，當(dāng)它的context發(fā)生變化時(shí)，對(duì)于同一個(gè)檢測(cè)器來(lái)說(shuō)它可能就不是FP了。如下圖(c)，最左面的圖片里日歷是FP，剩余兩張日歷都不是FP。

1.3 金字塔層級(jí)監(jiān)督信號(hào)分配（pyramid layer level GT assignment）

scale-level 數(shù)據(jù)增強(qiáng)策略常常作通用物體檢測(cè)以及人臉檢測(cè)中解決scale variance主要手段。如圖(b)所示，相對(duì)于COCO，人臉檢測(cè)數(shù)據(jù)集Wider Face 中人臉的尺度分布更為嚴(yán)峻。為此，我們分提出了一個(gè)新的問(wèn)題，如何合理的分配ground-truth 在不同pyramidlayer上的分布？即檢測(cè)器的性能與每個(gè)pyramidlayer匹配ground-truth的個(gè)數(shù)之間的關(guān)系是什么？是否越多越好？通過(guò)嚴(yán)格的對(duì)比實(shí)驗(yàn)我們發(fā)現(xiàn)：“對(duì)于所有的pyramid layer來(lái)說(shuō)，并不是這個(gè)pyramid layer匹配到越多的ground-truth就越好”。這說(shuō)明要挖掘每一個(gè)pyramidlayer的最好性能，需要控制在這個(gè)pyramidlayer上的ground-truth分配的比例。

四、方法

2.1 Adaptive Online Incremental Anchor Mining Strategy (Ali-AMS)

針對(duì)上述“動(dòng)態(tài)標(biāo)簽分配策略（dynamic label assignment）”觀察分析，本文提出了在里面一種自適應(yīng)的在線增量錨挖掘策略（Ali-AMS），它基于standard anchor matching 策略，并進(jìn)一步adaptive 幫助outlier face匹配anchor。如下：

2.2 Hierachical Context-Aware Module (HCAM)

基于上述“誤檢上下文相關(guān)性分析（FP context analysis）”觀察分析，發(fā)現(xiàn)“對(duì)于同一個(gè)FP，當(dāng)它的context發(fā)生變化時(shí)，對(duì)于同一個(gè)檢測(cè)器來(lái)說(shuō)他可能就不是FP了”，我們進(jìn)一步提出了一個(gè)two-step的模塊來(lái)顯示的encode context 信息來(lái)幫助區(qū)分FP和TP，顯著減少了FP的數(shù)量。

2.3 Selective Scale Enhancement Strategy （SSE）

基于上述的“金字塔層級(jí)監(jiān)督信號(hào)分配（pyramid layer level GT assignment）”觀察分析，發(fā)現(xiàn)“對(duì)于所有的pyramid layer來(lái)說(shuō)，并不是這個(gè)pyramid layer匹配到越多的ground-truth就越好”，我們提出通過(guò)控制pyramid layer 匹配的ground-truth的數(shù)量來(lái)最大化pyramid layer 的性能。

五、實(shí)驗(yàn)

3.1 Ablation Study

3.2 Comparison with sota

審核編輯 ：李倩