聲明:作為全網(wǎng) AI 領(lǐng)域 干貨最多的博主之一，?? 不負(fù)光陰不負(fù)卿 ??

10w+讀者

論文基本信息【 CVPR2021 】

• HLA-Face: Joint High-Low Adaptation for Low Light Face Detection
• 用于弱光人臉檢測的聯(lián)合高低自適應(yīng)算法

https://github.com/daooshee/HLA-Face-Code?github.com/daooshee/HLA-Face-Code

HLA-Face: Joint High-Low Adaptation for Low Light Face Detection?arxiv.org/abs/2104.01984

摘要翻譯

0. Abstract

微光下的人臉檢測對許多實(shí)際應(yīng)用來說具有挑戰(zhàn)性，但卻至關(guān)重要，例如監(jiān)控視頻、夜間自動駕駛。大多數(shù)現(xiàn)有的人臉探測器嚴(yán)重依賴于大量的注釋，而收集數(shù)據(jù)是費(fèi)時(shí)費(fèi)力的。為了減少在弱光條件下建立新的數(shù)據(jù)集的負(fù)擔(dān)，我們充分利用現(xiàn)有的正常光數(shù)據(jù)，探索如何將人臉探測器從正常光適應(yīng)到弱光。這項(xiàng)任務(wù)的挑戰(zhàn)在于，對于像素級和物體級來說，普通光和弱光之間的差距太大，太復(fù)雜。因此，大多數(shù)現(xiàn)有的低光增強(qiáng)和適應(yīng)方法并沒有達(dá)到理想的性能。為了解決這個(gè)問題，我們提出了一個(gè)聯(lián)合高-低適配(HLA)框架。通過雙向的低水平適應(yīng)和多任務(wù)高水平適應(yīng)方案，我們的HLA-Face即使沒有使用黑色面孔標(biāo)簽進(jìn)行訓(xùn)練，也比最先進(jìn)的方法表現(xiàn)得更好。

1. Introduction

人臉檢測是許多視覺任務(wù)的基礎(chǔ)，已廣泛應(yīng)用于各種實(shí)際應(yīng)用中，如智慧城市智能監(jiān)控、人臉解鎖、手機(jī)美容濾鏡等。在過去的幾十年里，大量的研究在人臉檢測方面取得了很大的進(jìn)展。然而，在不利光照條件下的人臉檢測仍然具有挑戰(zhàn)性。在光照不足的情況下拍攝的圖像會遭受一系列的退化，例如低能見度、強(qiáng)烈的噪聲和色彩。這些退化不僅會影響人類的視覺質(zhì)量，還會使機(jī)器視覺任務(wù)的性能惡化，在監(jiān)控視頻分析和夜間自動駕駛中可能會產(chǎn)生潛在的風(fēng)險(xiǎn)。在圖1 (a)中，目前最先進(jìn)的人臉檢測器DSFD[1]很難檢測到光照不足的人臉，這與它在WIDER face[2]上超過90%的精度形成了直接對比。

為了促進(jìn)微光人臉檢測的研究，構(gòu)建了一個(gè)大尺度基準(zhǔn)DARK face[3]。暗臉數(shù)據(jù)的出現(xiàn)催生了大量的暗臉檢測研究[4]。然而，現(xiàn)有的方法依賴于廣泛的注釋，因此健壯性和可伸縮性較差。

本文基于DARK FACE提供的標(biāo)桿平臺，探討了如何在不需要DARK FACE標(biāo)注的情況下，將普通光照人臉檢測模型適應(yīng)于微光場景。我們發(fā)現(xiàn)在正常光和弱光之間存在兩級間隙。一個(gè)是像素級外觀上的差距，如照明不足、相機(jī)噪音和顏色偏差。另一個(gè)是普通燈光場景和弱光場景之間的對象層次語義差異，包括但不限于路燈、汽車前照燈和廣告牌的存在。傳統(tǒng)的低光照增強(qiáng)方法(5、6)設(shè)計(jì)用于提高視覺質(zhì)量,因此不能填補(bǔ)語義空白,如圖1所示(b)。典型的適應(yīng)方法[7,8]主要為場景設(shè)計(jì)的兩個(gè)域共享相同的場景,如適應(yīng)從城市多霧的城市風(fēng)光[10][9]。但就我們的任務(wù)而言，領(lǐng)域差距更大，為適應(yīng)氣候變化提出了更艱巨的挑戰(zhàn)

為了適應(yīng)從正常光照到低光照，我們提出了一種高-低適應(yīng)人臉檢測框架(hlface)。我們考慮聯(lián)合低水平和高水平的適應(yīng)。具體來說，對于低水平的適應(yīng)，典型的方法要么使暗圖像變亮，要么使亮圖像變暗。然而，由于域隙巨大，它們并沒有達(dá)到理想的性能。我們不是單向的低到正常或正常到低的翻譯，而是雙向地使兩個(gè)領(lǐng)域彼此走向?qū)Ψ健Ｍㄟ^使弱光圖像變亮，使正常光圖像失真，我們建立了介于正常和弱光之間的中間狀態(tài)。對于高階自適應(yīng)，我們使用多任務(wù)自監(jiān)督學(xué)習(xí)來縮小低階自適應(yīng)建立的中間狀態(tài)之間的特征距離。

通過結(jié)合低級和高級自適應(yīng)，即使我們不使用深色人臉的標(biāo)簽，我們也勝過最先進(jìn)的人臉檢測方法。

主要工作:

墨理學(xué)AI

2. Related Works

- Low Light Enhancement.

低照度是一種常見的視覺失真，可能由不良的拍攝條件、錯(cuò)誤的相機(jī)操作、設(shè)備故障等引起。關(guān)于低照度增強(qiáng)的文獻(xiàn)很多。 直方圖均衡化及其變體 [11] 擴(kuò)展了圖像的動態(tài)范圍。 基于去霧的方法 [12] 將暗圖像視為倒置的模糊圖像。Retinex 理論假設(shè)圖像可以分解為光照和反射。 基于 Retinex 理論，大部分作品 [5, 13] 估計(jì)光照和反射率，然后單獨(dú)或同時(shí)處理每個(gè)組件。 最近的方法主要基于深度學(xué)習(xí)。 一些設(shè)計(jì)端到端的處理模型[14]，而一些則注入了傳統(tǒng)的思想，例如 Retinex 理論 [15,16,6]。 除了處理 8 位 RGB 圖像外，還有用于 RAW 圖像的模型 [17]。

問題是這些方法主要是為人類視覺而不是機(jī)器視覺設(shè)計(jì)的。 像素級調(diào)整如何有益于和指導(dǎo)高級任務(wù)尚未得到很好的探索。 在本文中，我們?yōu)樯钌四槞z測提供了相應(yīng)的解決方案。

- Face Detection.

早期的人臉檢測器依賴于手工制作的特征 [18]，現(xiàn)在這些特征被從數(shù)據(jù)驅(qū)動的卷積神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)到的深度特征所取代。 繼承通用對象檢測，典型的人臉檢測器可以分為兩類：兩階段和一階段。 兩階段模型 [19, 20] 首先生成區(qū)域提議，然后對其進(jìn)行細(xì)化以進(jìn)行最終檢測。 一階段模型 [21] 直接預(yù)測邊界框和置信度。 通用對象和人臉檢測之間的區(qū)別在于，在人臉檢測中，尺度變化通常要大得多。 現(xiàn)有方法通過多尺度圖像和特征金字塔 [22, 23] 或各種錨點(diǎn)采樣和匹配策略 [24, 25, 26] 解決了這個(gè)問題。

盡管人臉檢測研究蓬勃發(fā)展，但現(xiàn)有模型很少考慮光照不足的場景。 在本文中，我們提出了一種暗臉檢測器，even without using dark annotations，其性能也優(yōu)于最先進(jìn)的方法。

- Dark Object Detection.

With the rapid development of deep learning, object detection has attracted more and more attention. However, few efforts have been made for dark objects. For RAW images, YOLO-in-the-Dark [27] merges models pre-trained in different domains using glue layers and a generative model. For RGB images, Loh et al. build the ExDark [28] dataset and analyze the low light images using both hand-crafted and learned features. DARK FACE [3] is a large-scale low light face dataset, giving birth to a series of dark face detectors in the UG2 Prize Challenge1 . However, most of these models highly rely on annotations, thus are of limited flexibility and robustness.

為了擺脫對標(biāo)簽的依賴，無監(jiān)督域適應(yīng)(Unsupervised Domain Adaptation, UDA)可能是一種簡單的解決方案[8,29]。雖然UDA方法在許多應(yīng)用中已被證明是有效的，但由于正常和微光之間的巨大差距，這些方法在黑暗人臉檢測方面的性能有限。本文提出了一種結(jié)合低水平和高水平自適應(yīng)的較優(yōu)方法。

此處就不繼續(xù)有道翻譯了，了解到 該論文和代碼是用于 Low Light Face Detection 任務(wù)即可

墨理學(xué)AI

環(huán)境搭建

官方readME

經(jīng)測試 pytorch==1.4.0 一樣可以順利運(yùn)行該代碼，因此這里安裝的是 pytorch 1.4.0
torch 1.6.0 運(yùn)行 測試代碼 則會遇到一個(gè)小的報(bào)錯(cuò)

cat /etc/issue

Ubuntu 18.04.5 LTS n l

conda create -n torch14 python=3.6.6

conda activate torch14

conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.0 -c pytorch

pip install opencv-python

pip install scipy

pip install thop

pip install easydict

人臉檢測測試

模型準(zhǔn)備：

項(xiàng)目結(jié)構(gòu)如下

測試命令如下

python test.py 

# 或者指定 gpu 編號

CUDA_VISIBLE_DEVICES=3  python test.py 

GPU 占用 7539MiB

可視化檢測框

# 首先要正確設(shè)置 檢測圖像的 名字

vim draw_result.py +32

正確設(shè)置 檢測圖像的 名字

> 運(yùn)行命令如下

python draw_result.py 

- 效果如下
- 各位小伙伴，學(xué)會此文、可以換其他更有趣圖片進(jìn)行實(shí)驗(yàn)哈

可能遇到的報(bào)錯(cuò)：RuntimeError: CUDA out of memory

RuntimeError: CUDA out of memory. Tried to allocate 190.00 MiB (GPU 0; 15.75 GiB total capacity; 1.40 GiB already allocated; 144.31 MiB free; 1.84 GiB reserved in total by PyTorch)

> 解決方法，使用一塊閑置并且 超過 8G的顯卡 進(jìn)行測試即可

CUDA_VISIBLE_DEVICES=3  python test.py 

nvidia-smi

此次運(yùn)行源碼+模型+論文

按照此次博文環(huán)境搭建教程，即可運(yùn)行成功
倘若鏈接失效、請?jiān)u論區(qū)告知

鏈接：https://pan.baidu.com/s/1zt6j8uQDcj68W5U-0WYCNA 
提取碼：nice

訓(xùn)練 【這里就不展開啦】

官方該代碼訓(xùn)練文檔 -- 已經(jīng)足夠清晰?github.com/daooshee/HLA-Face-Code/tree/main/train_code

訓(xùn)練數(shù)據(jù)集準(zhǔn)備

魔法加速-即可下載

?? 歡迎和墨理一起學(xué)AI

點(diǎn)贊 收藏 ?留言 都是博主堅(jiān)持寫作、更新高質(zhì)量博文的最大動力！

各種技術(shù)Club : 計(jì)算機(jī)視覺、超分重建、圖像修復(fù)、目標(biāo)檢測、模型部署等方向小伙伴可簡單交流

審核編輯 黃宇