圖像獲取

圖像獲取是人臉識(shí)別的第一步，人臉圖像主要來源為各類相機(jī)，圖像質(zhì)量很大程度會(huì)影響人臉識(shí)別的準(zhǔn)確率。圖像質(zhì)量與采集設(shè)備和采集環(huán)境密不可分，我們從獲取圖像的方式、相機(jī)選擇與架設(shè)、相機(jī)接入三個(gè)主題展開討論，撰寫圖像獲取的相關(guān)要點(diǎn)。

一、獲取圖像的方式

獲取圖像的方式有兩種，第一種是直接從源頭獲取，通過對(duì)接前端各類相機(jī)、NVR錄像存儲(chǔ)等設(shè)備。第二種是間接獲取，包含網(wǎng)上的開源數(shù)據(jù)集、第三方企業(yè)單位提供、用戶上傳、產(chǎn)品或項(xiàng)目積累。

無論是何種獲取方式，圖像歸根結(jié)底是通過各類相機(jī)產(chǎn)生的。目前安防、商業(yè)類項(xiàng)目主要使用各類監(jiān)控相機(jī)，相機(jī)選型、架設(shè)、調(diào)試及與平臺(tái)的對(duì)接是前期圖像獲取的關(guān)鍵。

二、相機(jī)的選型與架設(shè)

1、選擇合適的相機(jī)

相機(jī)的性能決定了圖片質(zhì)量的上限，選擇相機(jī)需考慮到產(chǎn)品使用場(chǎng)景，并結(jié)合相機(jī)的功能、性能指標(biāo)進(jìn)行綜合考慮。

1）監(jiān)控一體機(jī)和人臉抓拍機(jī)

使用場(chǎng)景在室外的，相機(jī)需具備防雨、防雷、防霧、逆光調(diào)節(jié)、補(bǔ)光、夜視等功能，這種專門用于戶外的相機(jī)叫做監(jiān)控一體機(jī)。室內(nèi)場(chǎng)景下，相機(jī)則不需要考慮防雨、防霧、逆光、極端天氣等問題。

監(jiān)控一體機(jī)

如果項(xiàng)目對(duì)人臉抓拍率、人臉識(shí)別的準(zhǔn)確率要求較高，建議選擇專業(yè)的人臉抓拍機(jī)，如圖3，人臉抓拍機(jī)內(nèi)嵌智能人臉算法，能夠自動(dòng)捕獲進(jìn)入檢測(cè)區(qū)域內(nèi)的人臉并進(jìn)行追蹤及人臉抓拍。

人臉抓拍機(jī)

相較于普通監(jiān)控相機(jī)，其優(yōu)點(diǎn)是可直接輸出人臉圖片流，不需要在服務(wù)器端進(jìn)行人臉檢測(cè)，降低服務(wù)器計(jì)算的壓力，同時(shí)具有出色的人臉曝光效果，增強(qiáng)了逆光環(huán)境下人臉的檢測(cè)和抓拍效果，缺點(diǎn)是價(jià)格較高，一般是普通相機(jī)價(jià)格的1.5倍以上，所以需要考慮到成本問題。

2）常用的功能指標(biāo)

智能分析功能（是否具有絆線、雙絆線、周界、物品遺留、物品遺失、徘徊等分析功能）

智能報(bào)警功能（遮擋報(bào)警、IP沖突、MAC沖突、存儲(chǔ)器滿、存儲(chǔ)器異常）

支持的網(wǎng)絡(luò)協(xié)議（常用的TCP /HTTP/ FTP / RTSP/ONVI/28181是否支持，是否可定制協(xié)議）

圖像處理（是否支持圖像增強(qiáng)、背光補(bǔ)償、透霧、走廊模式、圖像風(fēng)格可選）

彩轉(zhuǎn)黑（是否支持內(nèi)同步、報(bào)警同步、黑白、彩色、定時(shí)設(shè)置）

是否支持強(qiáng)光抑制、背光補(bǔ)償

是否支持本地SD卡儲(chǔ)存

是否支持?jǐn)嗑W(wǎng)續(xù)傳

3）常用的性能指標(biāo)

像素：200萬以上為宜

圖像分辨率：主碼流最高分辨率需要不低于1080p（1920×1080）

寬動(dòng)態(tài)：室外場(chǎng)景需大于120dB

最低照度：彩色≤0.001 Lux(F1.2,AGC ON)黑白≤0.0001 Lux(F1.2,AGC ON)越低性能越好

防護(hù)等級(jí)：戶外IP65以上、防雷、防浪涌

功耗：一般在10w以內(nèi)

工作溫度：室外在-30℃～60℃為宜

鏡頭：鏡頭選擇見下文

2、鏡頭選擇

相機(jī)鏡頭可分為變焦和固定焦距兩種。變焦鏡頭的焦距是可以手動(dòng)調(diào)節(jié)的，所以變焦鏡頭識(shí)別距離更廣，也具有更高的適用性。

焦距決定了相機(jī)的成像距離，需要根據(jù)項(xiàng)目對(duì)人臉識(shí)別距離要求來選擇最合適的焦距，下圖展示了焦距大小與最佳人臉識(shí)別距離之間的關(guān)系。

3、相機(jī)的架設(shè)

即使選擇了效果最佳的相機(jī)和鏡頭，也需要架設(shè)得當(dāng)才能發(fā)揮其最佳效果。于是我們需要事先計(jì)算出最合適的架設(shè)高度和俯視角。

從上圖不同角度拍攝的人臉效果對(duì)比可知，不同的拍攝角度獲取的人臉效果互有差異，而按照人臉采集的慣例，通常是采用水平拍攝的方式最大程度獲取目標(biāo)人員的正臉，如身份證照片的采集。

1）俯仰角

人臉攝像機(jī)在安裝時(shí)要求水平面上位于通道中軸線上（水平無偏轉(zhuǎn)），并垂直面上有一定的俯視角度以照顧不同高矮人員經(jīng)過時(shí)能正常抓拍，避免一前一后通過抓拍區(qū)域時(shí)后方人臉被遮擋，俯視角度α要求保持在 10°±3°。

2）架設(shè)高度

如圖所示，推薦俯視角α為10°，攝像機(jī)視角中軸線延伸到人臉下頜位置，保證人臉處于畫面中心區(qū)域，取成年人下頜以下的平均高度為1.5m（頭部長(zhǎng)0.2m），可得:

L=tan(10°±3°)×D (4)·1

H=L+1.5=tan(10°±3°) ×D+1.5 (5)

例：室內(nèi)相機(jī)可視距離為6m，則算得H為2.5m，即相機(jī)應(yīng)該架設(shè)的高度為2.5米，如下圖所示。

3）架設(shè)環(huán)境

攝像機(jī)鏡頭至人員通道出入口中間空曠、無遮擋；

聚焦清晰，光照均勻，特別注意避免逆光、側(cè)光，必要時(shí)進(jìn)行補(bǔ)光；

人臉大小80像素以上(雙眼距離大于30像素)；

人臉的俯仰角度在15度以內(nèi)，左右角度在30度以內(nèi)。

4）畫面調(diào)整

調(diào)整鏡頭的目是獲得合適的觀察寬度。攝像機(jī)像素的大小決定了設(shè)備可觀察畫面寬度的范圍，觀察寬度過大會(huì)導(dǎo)致人臉抓拍圖片模糊，所以一個(gè)合適的觀察寬度十分重要，人臉寬度像素宜大于120，瞳距像素宜大于40。

如下表格，統(tǒng)計(jì)了不同像素的最佳觀察寬度：

例：按照人像識(shí)別要求，人臉橫向像素點(diǎn)宜在 120以上，1080P 攝像機(jī)全幅畫面橫向像素點(diǎn)為 1920，成年人臉的橫向平均寬度為0.16 m，場(chǎng)景寬度（V）計(jì)算公式為：

三、相機(jī)的對(duì)接

大部分人臉識(shí)別的場(chǎng)景，是建立在對(duì)實(shí)時(shí)視頻流（圖片流）分析的基礎(chǔ)之上，例如你想檢測(cè)一個(gè)攝像機(jī)實(shí)時(shí)畫面中的人臉，平臺(tái)就需要先獲取相機(jī)的實(shí)時(shí)視頻流（圖片流），這就涉及到了平臺(tái)與相機(jī)等設(shè)備對(duì)接的問題。前端相機(jī)與平臺(tái)之間是通過網(wǎng)絡(luò)連接的，如果想實(shí)現(xiàn)對(duì)接，就需要平臺(tái)滿足相應(yīng)的網(wǎng)絡(luò)協(xié)議。

1、什么是網(wǎng)絡(luò)協(xié)議？

網(wǎng)絡(luò)協(xié)議為計(jì)算機(jī)網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)交換而建立的規(guī)則、標(biāo)準(zhǔn)或約定的集合。例如，網(wǎng)絡(luò)中一個(gè)微機(jī)用戶和一個(gè)大型主機(jī)的操作員進(jìn)行通信，由于這兩個(gè)數(shù)據(jù)終端所用字符集不同，因此操作員所輸入的命令彼此不認(rèn)識(shí)。為了能進(jìn)行通信，規(guī)定每個(gè)終端都要將各自字符集中的字符先變換為標(biāo)準(zhǔn)字符集的字符后，才進(jìn)入網(wǎng)絡(luò)傳送，到達(dá)目的終端之后，再變換為該終端字符集的字符。

2、網(wǎng)絡(luò)協(xié)議的結(jié)構(gòu)

網(wǎng)絡(luò)協(xié)議分為很多種，例如TCP/IP協(xié)議、IPX/SPX協(xié)議、NetBEUI協(xié)議等。相機(jī)對(duì)接用到的是基于TCP/IP的四層網(wǎng)絡(luò)，下三層由網(wǎng)卡、驅(qū)動(dòng)、操作系統(tǒng)實(shí)現(xiàn)，研發(fā)只需要依據(jù)設(shè)備的用途開發(fā)應(yīng)用層的協(xié)議。

3、通過協(xié)議接入相機(jī)

平臺(tái)對(duì)接相機(jī)的目的是獲取相機(jī)的實(shí)時(shí)視頻流（普通相機(jī)）或圖片流（人臉抓拍相機(jī)），所以需要開發(fā)相應(yīng)的流媒體服務(wù)協(xié)議，常用的視頻流媒體協(xié)議有RTP、RTSP、RTCP等，一般相機(jī)通用的協(xié)議為RTSP，人臉抓拍機(jī)一般支持FTP，國(guó)內(nèi)政府公安類項(xiàng)目，安全級(jí)別比較高，會(huì)用到ONVIF/28181協(xié)議。

- 2 -

人臉庫(kù)

人臉庫(kù)是人臉識(shí)別的基礎(chǔ)，建立人臉庫(kù)往往是人臉項(xiàng)目的首要任務(wù)，接下來會(huì)介紹什么是人臉庫(kù)、如何建立人臉庫(kù)，特別還包含14個(gè)常見的人臉數(shù)據(jù)集，供大家實(shí)戰(zhàn)使用。

一、什么是人臉庫(kù)

簡(jiǎn)單來講，人臉庫(kù)就是人臉數(shù)據(jù)的儲(chǔ)存管理中心，能夠?yàn)槿四樧R(shí)別提供比對(duì)模板，為抓拍人臉數(shù)據(jù)提供管理空間，為人臉?biāo)惴z測(cè)提供測(cè)試樣本。人臉識(shí)別項(xiàng)目是建立在人臉庫(kù)的基礎(chǔ)之上，所以人臉識(shí)別的首要任務(wù)便是是建立人臉庫(kù)。

人臉庫(kù)按照用途可分為人臉比對(duì)庫(kù)、人臉抓拍庫(kù)、人臉數(shù)據(jù)集，不同類型人臉庫(kù)的組成、結(jié)構(gòu)、作用也有所不同，下面將會(huì)依次介紹，本文重點(diǎn)討論人臉比對(duì)庫(kù)。

1、人臉比對(duì)庫(kù)

人臉比對(duì)庫(kù)主要用于人臉1:N識(shí)別，如下圖，人臉1:N是將人臉抓拍照片的人臉特征與人臉庫(kù)中所有人臉特征進(jìn)行逐一比對(duì)。

人臉比對(duì)庫(kù)主要由人臉庫(kù)管理、人臉數(shù)據(jù)、人臉庫(kù)屬性描述三部分組成，如下圖：

人臉比對(duì)庫(kù)按照應(yīng)用場(chǎng)景又可分為四類，分別是黑名單庫(kù)、白名單庫(kù)、紅名單庫(kù)和灰名單庫(kù)。

1）黑名單庫(kù)：黑名單指需要重點(diǎn)管控、關(guān)注的人員，一般由在逃犯、慣犯、水客、異常行為或是想要重點(diǎn)關(guān)注的人員構(gòu)成。比中黑名單中會(huì)產(chǎn)生報(bào)警提示，常用于公安追逃；

2）白名單庫(kù)：白名單一般指可信人員，常用于商業(yè)領(lǐng)域中的通行管理，白名單中的人員容許進(jìn)入通過。例如在樓宇內(nèi)設(shè)置人臉識(shí)別門禁，只容許公司內(nèi)部人員進(jìn)入，于是可將公司員工設(shè)置成白名單，白名單一般不會(huì)觸發(fā)報(bào)警；

3）紅名單庫(kù)：紅名屬于白名單的拓展應(yīng)用，用于白名單中需要重點(diǎn)關(guān)注展現(xiàn)的人群，如VIP客戶、領(lǐng)導(dǎo)人等，可在識(shí)別后進(jìn)一步分析該人群的行為特點(diǎn)和活動(dòng)范圍；

4）灰名單：介于白名單和黑名單之間，是一類具有異常行為的可疑人員，還需要通過更多數(shù)據(jù)分析他們是否是黃牛、小偷、罪犯同伙等。

2、人臉抓拍庫(kù)

人臉抓拍庫(kù)是管理人臉抓拍數(shù)據(jù)的地方，在視頻流或圖片流中凡是能被算法檢測(cè)到的人臉，都會(huì)經(jīng)過圖像處理形成一張張人臉的抓拍照片及對(duì)應(yīng)的場(chǎng)景照，再將抓拍照片進(jìn)行數(shù)據(jù)結(jié)構(gòu)化并與其場(chǎng)景照一同保留至人臉抓拍庫(kù)中。抓拍庫(kù)的人臉照片會(huì)具有性別、年齡、戴眼鏡、胡須、表情、是否戴帽子、是否有遮擋等圖片描述，方便抓拍照片的檢索及深層次人臉數(shù)據(jù)應(yīng)用。

人臉數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，人臉結(jié)構(gòu)化數(shù)據(jù)指將原始采集數(shù)據(jù)按照規(guī)則處理，形成具有統(tǒng)一格式，并用數(shù)據(jù)庫(kù)二維邏輯表來表現(xiàn)的數(shù)據(jù)，如上圖，抓拍庫(kù)儲(chǔ)存的是結(jié)構(gòu)化數(shù)據(jù)，人臉結(jié)構(gòu)化數(shù)據(jù)指原始人臉數(shù)據(jù)經(jīng)過程序分析和過濾，形成具有統(tǒng)一格式和描述的數(shù)據(jù)儲(chǔ)存在數(shù)據(jù)庫(kù)中。

3、人臉數(shù)據(jù)集

人臉數(shù)據(jù)集就是用于檢測(cè)人臉?biāo)惴ㄐЧ陀?xùn)練算法的數(shù)據(jù)庫(kù)，網(wǎng)上有很多公開的人臉數(shù)據(jù)集可為模型訓(xùn)練提供數(shù)據(jù)來源。

常見的人臉數(shù)據(jù)集可見下表：

1）人臉識(shí)別

2）人臉檢測(cè)

3）人臉表情

4）人臉年齡/性別

二、如何建立人臉庫(kù)

人臉庫(kù)中人臉比對(duì)庫(kù)的建立最為復(fù)雜，這里只討論人臉比對(duì)庫(kù)的建立過程。

1、梳理入庫(kù)流程

人臉入庫(kù)流程見下圖，人臉數(shù)據(jù)包含人臉特征向量、人臉信息兩部分，它們儲(chǔ)存在數(shù)據(jù)庫(kù)不同的表中，注意在刪除人臉庫(kù)照片時(shí)一定要?jiǎng)h除它對(duì)應(yīng)的特征向量。如果照片質(zhì)量未達(dá)到要求，且沒有更好的照片，可以有強(qiáng)制入庫(kù)的選項(xiàng)。

2、制定入庫(kù)規(guī)則

人臉數(shù)據(jù)的質(zhì)量關(guān)系到人臉比對(duì)的效果，盡可能將人臉清晰、正臉、本人近期的人臉照片入庫(kù)。在人臉入庫(kù)時(shí)，產(chǎn)品經(jīng)理需要制定入庫(kù)規(guī)則來過濾質(zhì)量不佳、格式不規(guī)范的人臉數(shù)據(jù)。

入庫(kù)規(guī)則應(yīng)該包含：

圖片的顏色：可支持彩色及灰度的圖片，最低要求256灰度圖片；

圖片的格式：各類主流圖片格式，例如 bmp/jpg/png等，圖片命名格式統(tǒng)一，如常用的命名“姓名_證件號(hào)”；

圖片像素：雙眼中心之間的距離大于30像素；

圖片尺寸：尺寸大于70X80以上；

人臉角度：人臉左右偏轉(zhuǎn)30度以內(nèi)，上下偏轉(zhuǎn)20度以內(nèi)；

圖片大小：建議幾十KB~一百KB之間為宜，但也不能太大，超過500k，會(huì)影響入庫(kù)速度。

3、設(shè)計(jì)人臉庫(kù)功能及界面

人臉庫(kù)應(yīng)包含人臉信息的增、刪、改、查等基本功能，必要的人臉字段需要根據(jù)用戶需求來定，人臉庫(kù)界面可參見下圖的樣式：

人臉信息可以從客戶端批量導(dǎo)入，客戶端需要提供人臉批量導(dǎo)入模板，批量導(dǎo)入適合小規(guī)模格式統(tǒng)一的數(shù)據(jù)。

當(dāng)人臉項(xiàng)目中需要入庫(kù)數(shù)萬以上的人臉信息，并且人臉數(shù)據(jù)格式并不統(tǒng)一，整理起來很麻煩，這時(shí)就需要設(shè)計(jì)批量入庫(kù)工具。

新建的人臉庫(kù)需要設(shè)定人臉規(guī)模，一般分為＜1W、1W-100W、100W-1000W、>1000W四個(gè)范圍，大庫(kù)容進(jìn)行人臉比對(duì)需要更高配置服務(wù)器，服務(wù)器配置與圖像處理能力的關(guān)系將會(huì)在后續(xù)文章中詳細(xì)討論。

4、采集人臉庫(kù)數(shù)據(jù)

如果想通過人臉識(shí)別技術(shù)識(shí)別某人，就需要先獲取到該人的人臉數(shù)據(jù)，并錄入人臉庫(kù)中作為比對(duì)模板，那么如何采集人臉庫(kù)數(shù)據(jù)呢？采集方式依據(jù)使用場(chǎng)景而定。

公安類項(xiàng)目，人臉數(shù)據(jù)提供方是公安，公安內(nèi)部有大量的人臉數(shù)據(jù)，可通過對(duì)接公安信息資源庫(kù)來獲取人臉數(shù)據(jù)，如下圖為八大公安信息資源庫(kù)。公安的信息資源庫(kù)是嚴(yán)禁外泄的，對(duì)產(chǎn)品的網(wǎng)絡(luò)安全及數(shù)據(jù)保密性要求頗為嚴(yán)格，在產(chǎn)品設(shè)計(jì)時(shí)需要考慮到相關(guān)問題。

刷臉通行或新零售類項(xiàng)目，一般是用戶配合式采集人臉信息，需要設(shè)計(jì)人臉信息采集入口，用戶可在微信公眾號(hào)、手機(jī)app或PC端進(jìn)行注冊(cè)時(shí)上傳人臉信息。

大型商業(yè)類或平安城市項(xiàng)目中，需要設(shè)計(jì)非配合式采集人臉信息。一般會(huì)通過在主要出入口、通道、走廊等地部署的人臉抓拍機(jī)，抓拍路人人臉，自動(dòng)建立該人檔案庫(kù)，這里需要用到一人一檔，作者會(huì)在后期文章詳細(xì)討論。

- 3 -

人臉比對(duì)

一、人臉比對(duì)類型

人臉比對(duì)類型可分為四種，分別是人臉1:1、人臉1:n、人臉1:N、人臉M:N，人臉識(shí)別應(yīng)用無非就是圍繞著這四種比對(duì)方式展開，下面將依次介紹各種比對(duì)類型。

1、人臉1:1

人臉1:1一般用于人證核驗(yàn)，可以簡(jiǎn)單理解為證明你就是你。例如在乘坐火車、飛機(jī)，出入境，銀行辦卡，通常需要驗(yàn)證本人與其持有身份證是否為同一個(gè)人。如下圖，系統(tǒng)只需讀取二代身份證中的人臉照片，與現(xiàn)場(chǎng)抓拍的本人照片做比對(duì)即可。

人臉1:1又稱為靜態(tài)人臉比對(duì)，同時(shí)具有配合式的特點(diǎn)，完成比對(duì)需要用戶攜帶身份證并主動(dòng)配合采集人臉。

2、人臉1:n

人臉1:n是將一張人臉照片與人臉庫(kù)中的多張人臉進(jìn)行一一比對(duì)，人臉庫(kù)有多少人臉就需要比對(duì)多少次。平臺(tái)采集了“我”的一張照片之后，從海量的人像數(shù)據(jù)庫(kù)中找到與當(dāng)前使用者人臉數(shù)據(jù)相符合的圖像，并進(jìn)行匹配，找出來“我是誰(shuí)”。

人臉1:n又稱動(dòng)態(tài)人臉比對(duì)，因?yàn)楸葘?duì)照片是從動(dòng)態(tài)視頻中獲取的，同時(shí)具有非配合特點(diǎn)，整個(gè)比對(duì)過程是無感知的，不需要人為配合。由于這兩個(gè)特性使人臉1:n能迅速落地于公安追捕逃犯，但其難度要遠(yuǎn)高于人臉1:1，通常會(huì)受到光照變化、人臉姿態(tài)的影響，比如側(cè)臉、低頭、逆光現(xiàn)象會(huì)大大提升人臉漏報(bào)率。

人臉1:n中“n”的大?。ㄈ四槑?kù)照片的數(shù)量）會(huì)影響人臉識(shí)別的準(zhǔn)確率和比對(duì)速度，所以比對(duì)人臉庫(kù)規(guī)模會(huì)設(shè)置的相對(duì)較小。

3、人臉1:N

人臉1:N又稱靜態(tài)大庫(kù)檢索，即以人臉圖片、人臉相似度作為檢索條件，在人臉庫(kù)中搜索與其相似（相似度大于設(shè)定閾值）的圖片，類似于百度以圖搜圖，檢索過程實(shí)際就是進(jìn)行N次人臉比對(duì)并留下比分大于閾值的結(jié)果。

人臉1:N的人臉庫(kù)規(guī)模相較于人臉1:n會(huì)大很多，最高可支持億級(jí)人臉檢索，所以這里的N為大寫。

4、人臉M:N

人臉M:N實(shí)際就是兩個(gè)人臉庫(kù)進(jìn)行比對(duì)，例如：人臉庫(kù)A有M個(gè)人臉，人臉庫(kù)B有N個(gè)人臉，如果想查看人臉庫(kù)A和B包含多少個(gè)相同的人，就需要用人臉庫(kù)A中M個(gè)人臉逐一與人臉庫(kù)B中N個(gè)人臉進(jìn)行比對(duì)，相當(dāng)于是M個(gè)人臉1:N相加的結(jié)果。

人臉M:N常用于慣犯排查、身份查重。例如辦案人員在處理類似三搶一盜的案件中，由于80%的案件是慣犯所為，于是將線索地點(diǎn)路人庫(kù)與慣犯庫(kù)進(jìn)行人臉M:N比對(duì)碰撞，可快速排查嫌疑，找出偵查方向。

二、人臉比對(duì)的要素

1、人臉數(shù)據(jù)

人工智能算法的演進(jìn)必須有數(shù)據(jù)作為支撐，使用大量標(biāo)注好的數(shù)據(jù)訓(xùn)練模型，可將識(shí)別的準(zhǔn)確率從70%提升到99%水平?？陀^、精準(zhǔn)的數(shù)據(jù)是人工智能應(yīng)用必須具備的條件。

獲取人臉數(shù)據(jù)的五種方式：

1）監(jiān)控相機(jī)、手機(jī)相機(jī)等各種類型相機(jī)，拍攝的視頻、照片是人臉原始數(shù)據(jù)的主要來源，項(xiàng)目中常通過RTSP、FTP等協(xié)議對(duì)接這類相機(jī)獲取實(shí)時(shí)視頻流或圖片流。

2）NVR/DVR等錄像儲(chǔ)存設(shè)備，儲(chǔ)存了大量視頻資源，可通過ONVIF協(xié)議對(duì)接這類設(shè)備獲取數(shù)據(jù)。

3）第三方企業(yè)、事業(yè)單位的人員信息庫(kù)，例如公安的八大信息資源庫(kù)，企業(yè)在職員工信息庫(kù)等，獲取這類數(shù)據(jù)難度較大，會(huì)涉及到第三方平臺(tái)對(duì)接，還需考慮到保密、網(wǎng)絡(luò)安全等問題。

4）互聯(lián)網(wǎng)中的開放數(shù)據(jù)集，例如常用的WebFace、FDDB、LFW、YouTube Face等人臉數(shù)據(jù)集，提供了優(yōu)質(zhì)的標(biāo)注數(shù)據(jù)，可用于算法測(cè)試及模訓(xùn)練。

5）網(wǎng)絡(luò)爬取，通過編寫或者利用免費(fèi)網(wǎng)絡(luò)爬蟲程序可自動(dòng)抓取萬維網(wǎng)中的圖片，它們被廣泛用于互聯(lián)網(wǎng)的數(shù)據(jù)采集中。

2、人臉比對(duì)庫(kù)

人臉比對(duì)庫(kù)為人臉識(shí)別提供比對(duì)模板，人臉1:n、人臉1:N、人臉M:N必須要有人臉比對(duì)庫(kù)才能進(jìn)行比對(duì)。本文第2小節(jié)已詳細(xì)介紹。

3、比對(duì)閾值

比對(duì)閾值即人臉比對(duì)的相似度，人臉比對(duì)結(jié)果以相似度值呈現(xiàn)。在人臉比對(duì)之前需要設(shè)定一個(gè)相似度的門檻值，大于這個(gè)門檻則判定兩張照片可能為同一個(gè)人。

比對(duì)閾值對(duì)人臉識(shí)別的準(zhǔn)確率、漏報(bào)率影響頗大，比對(duì)閾值設(shè)置的越高準(zhǔn)確率就越高，漏報(bào)率也會(huì)隨之升高。比對(duì)閾值沒有一個(gè)固定的標(biāo)準(zhǔn)，應(yīng)根據(jù)應(yīng)用場(chǎng)景來靈活調(diào)整，例如刷臉支付更關(guān)注比對(duì)準(zhǔn)確率，需要調(diào)高閾值，而公安嫌犯人臉布控要求降低漏報(bào)，就需要適當(dāng)調(diào)低閾值。

4、芯片

人工智能的三要素是算法、算力和數(shù)據(jù)，芯片決定了算力。深度學(xué)習(xí)工程的兩大關(guān)鍵環(huán)節(jié)training（訓(xùn)練）和inference（推測(cè)）需要大量的算力支撐，普通的CPU無法滿足計(jì)算要求。相繼推出的高性能GPU、TPU、FPGA、ASIC等加速芯片，大大提升了計(jì)算速度，同時(shí)也促進(jìn)了算法的發(fā)展。

GPU在人臉1:n、1:N、M:N比對(duì)中是不可或缺的，而部分人臉1:1計(jì)算量不大，可以不使用加速芯片。億級(jí)人臉檢索在GPU的加速下可以達(dá)到秒級(jí)返回結(jié)果。

5、人臉?biāo)惴?/p>

人臉?biāo)惴ㄐЧ麤Q定了人臉識(shí)別的上限，也是人臉比對(duì)最關(guān)鍵的要素，隨著深度學(xué)習(xí)技術(shù)的普及，各大公司的人臉?biāo)惴ㄐЧ罹嘁苍絹碓叫　?/p>

目前主流的人臉識(shí)別算法可以分為以下四類：

1）基于人臉特征點(diǎn)的識(shí)別算法

2）基于整幅人臉圖像的識(shí)別算法

3）基于模板的識(shí)別算法

4）利用神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的算法

2018年11月20日公布的有工業(yè)界黃金標(biāo)準(zhǔn)之稱的全球人臉識(shí)別算法測(cè)試(FRVT)結(jié)果，如下圖，排名前五的算法被中國(guó)包攬。依圖科技(yitu)繼續(xù)保持全球人臉識(shí)別競(jìng)賽冠軍，在千萬分之一誤報(bào)下的識(shí)別準(zhǔn)確率超過99%，排名第二的算法也來自依圖科技。商湯科技(sensetime)摘得第三名和第四名，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院(siat)排名第五，曠視科技(megvii)排名第八。

人臉?biāo)惴m然在各種數(shù)據(jù)集的測(cè)試中準(zhǔn)確率頗高，但還遠(yuǎn)沒達(dá)到在商業(yè)應(yīng)用中的滿意程度。目前仍然有很多缺陷需要解決，例如：

1）姿態(tài)問題

人臉識(shí)別主要依據(jù)人的面部表象特征來進(jìn)行，如何識(shí)別由姿態(tài)引起的面部變化就成了該技術(shù)的難點(diǎn)之一。

姿態(tài)問題涉及頭部在三維垂直坐標(biāo)系中繞三個(gè)軸的旋轉(zhuǎn)造成的面部變化，其中垂直于圖像平面的兩個(gè)方向的深度旋轉(zhuǎn)會(huì)造成面部信息的部分缺失。使得姿態(tài)問題成為人臉識(shí)別的一個(gè)技術(shù)難題。

針對(duì)姿態(tài)的研究相對(duì)比較的少，目前多數(shù)的人臉識(shí)別算法主要針列正面、準(zhǔn)正面人臉圖像，當(dāng)發(fā)生俯仰或者左右側(cè)而比較厲害的情況下，人臉識(shí)別算法的識(shí)別率也將會(huì)急劇下降。

2）圖像質(zhì)量問題

人臉圖像的來源可能多種多樣，由于采集設(shè)備的不同，得到的人臉圖像質(zhì)量也不一樣，特別是對(duì)于那些低分辨率、噪聲大、質(zhì)量差的人臉圖像(如手機(jī)攝像頭拍攝的人臉圖片、遠(yuǎn)程監(jiān)控拍攝的圖片等)，如何進(jìn)行有效地人臉識(shí)別是個(gè)需要關(guān)注的問題。

對(duì)于高分辨圖像對(duì)人臉識(shí)別算法的影響也需要進(jìn)一步的研究?，F(xiàn)在，我們?cè)谌四樧R(shí)別時(shí)，一般采用的都是相同尺寸，清晰度很接近的人臉圖片，所以圖像質(zhì)量問題基本可以解決，但是面對(duì)現(xiàn)實(shí)中更加復(fù)雜的問題，還需要繼續(xù)優(yōu)化處理。

3）遮擋問題

對(duì)于非配合情況下的人臉圖像采集，遮擋問題是一個(gè)非常嚴(yán)重的問題。特別是在監(jiān)控環(huán)境下，往往被監(jiān)控對(duì)象都會(huì)帶著眼鏡、帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了后面的特征提取與識(shí)別，甚至?xí)?dǎo)致人臉檢測(cè)算法的失效。

人臉?biāo)惴ㄔ谌四樜骞俦粨醯那闆r下表現(xiàn)的不是很好，目前對(duì)遮擋識(shí)別效果較好的DeepID2算法，可穩(wěn)定識(shí)別遮擋在20%以內(nèi)，塊大小在30*30以下的人臉。

4）樣本缺乏問題

基于統(tǒng)計(jì)學(xué)習(xí)的人臉識(shí)別算法是目前人臉識(shí)別領(lǐng)域中的主流算法，但是統(tǒng)計(jì)學(xué)習(xí)方法需要大量的訓(xùn)練。由于人臉圖像在高維空間中的分布是一個(gè)不規(guī)則的流形分布，能得到的樣本只是對(duì)人臉圖像空間中的一個(gè)極小部分的采樣，如何解決小樣本下的統(tǒng)計(jì)學(xué)習(xí)問題有待進(jìn)一步的研究。

- 4 -

人臉研判

一、什么是人臉研判

系統(tǒng)在人臉識(shí)別中會(huì)留下了大量?jī)?yōu)質(zhì)的人臉數(shù)據(jù)，可分為人臉抓拍數(shù)據(jù)和人臉比對(duì)數(shù)據(jù)兩種類型。目前單純的人臉比對(duì)功能已經(jīng)不能滿足項(xiàng)目的需求了，于是對(duì)人臉數(shù)據(jù)深層次的分析就孕育而生出人臉研判。

人臉研判就是對(duì)人臉數(shù)據(jù)的深層次分析運(yùn)用。

那么這些數(shù)據(jù)可做哪些運(yùn)用呢？比如：人臉軌跡分析、出行規(guī)律分析、同行人報(bào)警、落腳點(diǎn)分析、人臉碰撞、超時(shí)報(bào)警、區(qū)域管控等，下面將詳細(xì)介紹這些應(yīng)用。

二、人臉研判類型及應(yīng)用

1、人臉軌跡分析

人臉軌跡分析，是從海量路人庫(kù)數(shù)據(jù)中，通過人臉識(shí)別技術(shù)，尋找到目標(biāo)人的數(shù)據(jù)，利用數(shù)據(jù)中的時(shí)間、地點(diǎn)等信息在地圖上繪制出目標(biāo)人的運(yùn)動(dòng)軌跡，了解目標(biāo)人員在一段時(shí)間內(nèi)，從什么地方出發(fā)，經(jīng)過了那些地方，最終在什么地方停下來，實(shí)現(xiàn)目標(biāo)人員歷史動(dòng)向的還原展示。

為什么要使用人臉識(shí)別做軌跡分析？隨著公安加大對(duì)平安城市的建設(shè)力度，各種類型的監(jiān)控?cái)z像頭布滿了大街小巷，于是利用監(jiān)控視頻尋找目標(biāo)人便成為了一種有效的手段。從視頻中識(shí)別目標(biāo)人可以使用人體識(shí)別、人臉識(shí)別還有步態(tài)識(shí)別三種方法，其中人臉識(shí)別的準(zhǔn)確率最高，人臉?biāo)惴òl(fā)展的最為成熟，人臉數(shù)據(jù)也是最容易獲取的。

1）應(yīng)用場(chǎng)景——獲取目標(biāo)人運(yùn)動(dòng)軌跡可用于尋找目標(biāo)人及目標(biāo)人運(yùn)動(dòng)特點(diǎn)分析，于是就產(chǎn)生了以下四種應(yīng)用場(chǎng)景：

A）人員通行管理：基于歷史通行記錄，值班人員或者監(jiān)控人員按照時(shí)間地點(diǎn)查看通行人員情況，發(fā)現(xiàn)可疑人員信息。

B）嫌疑人員行動(dòng)追蹤：根據(jù)人員通信歷史軌跡，了解重點(diǎn)嫌疑目標(biāo)人員都去了哪、經(jīng)過了什么地方、最后出現(xiàn)的地方等，為刑偵及治安管理人員提供線索依據(jù)。

C）走失老人小孩查找：治安管理人員根據(jù)家人提供的走失人員照片，檢索比對(duì)歷史通行記錄，尋找人員走失軌跡，為找到走失人員提供線索。

D）商場(chǎng)超市顧客行為分析：根據(jù)顧客運(yùn)動(dòng)軌跡分析顧客對(duì)什么類型的商品感興趣，以及什么類型的商品最受青睞，以此制定銷售策略。

2）實(shí)現(xiàn)方式

實(shí)現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫(kù)、相機(jī)位置信息（經(jīng)緯度）

實(shí)現(xiàn)流程：

3）實(shí)現(xiàn)要點(diǎn)

需要設(shè)置輸入條件：目標(biāo)人臉圖片，時(shí)間段，發(fā)生區(qū)域。

目標(biāo)人臉會(huì)與設(shè)定范圍內(nèi)的抓拍照片進(jìn)行比對(duì)，篩選出大于比對(duì)閾值的人臉照片，再將照片按照抓拍時(shí)間順序排列，在地圖上按此順序依次連接抓拍地點(diǎn)，即可生成運(yùn)動(dòng)軌跡。

抓拍庫(kù)中會(huì)存在一個(gè)人在短時(shí)間內(nèi)被重復(fù)抓拍的現(xiàn)象，即短時(shí)間內(nèi)包含同一個(gè)人的多張照片，所以需要制定人臉去重規(guī)則，在間隔時(shí)間X內(nèi)選取比分最高的那張圖片，如果比分相同，則選擇圖片質(zhì)量分?jǐn)?shù)較高的。

間隔時(shí)間X需要考慮攝像頭間距和行人速度。

2、同行人分析

同行人分析是指通過人臉識(shí)別的方法，尋找到目標(biāo)人的同行或尾隨人員，并在地圖中繪制尾隨或同行人員的行走軌跡，實(shí)現(xiàn)一人鎖定全體，掌握所有關(guān)聯(lián)人員的目的。

同行人分析常用于公安偵查團(tuán)伙作案或尾隨作案，是基于人臉軌跡的更深層次數(shù)據(jù)應(yīng)用。

1）應(yīng)用場(chǎng)景

刑偵人員或辦案人員，查詢一段時(shí)間內(nèi)，其他人員與目標(biāo)人員行走距離有一定間隔、通過地點(diǎn)多次重合、歷史軌跡相似的人員行為分析。從而找到與案事件或目標(biāo)人員有關(guān)聯(lián)的同伙、蓄意尾隨的人員等，協(xié)助警方采集證據(jù)偵破案件。

2）實(shí)現(xiàn)方式

實(shí)現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫(kù)、相機(jī)位置信息（經(jīng)緯度）、時(shí)間間隔和尾隨次數(shù)。

實(shí)現(xiàn)流程：

A）繪制目標(biāo)人員在設(shè)定時(shí)間段內(nèi)的人臉軌跡；

B）從時(shí)間上第一個(gè)攝像頭開始，統(tǒng)計(jì)目標(biāo)人員經(jīng)過該攝像頭時(shí)間節(jié)點(diǎn)前后“時(shí)間間隔”內(nèi)經(jīng)過的所有人員人臉一直到最后一個(gè)攝像頭；

C）對(duì)這些人臉進(jìn)行聚類分析，同一個(gè)人的人臉照片歸在一類里；

D）挑選出現(xiàn)在不同攝像頭下次數(shù)≥2的類型，并繪制這類人臉軌跡。

3）實(shí)現(xiàn)要點(diǎn)

制定判定是否為同行人員的規(guī)則：這里引用了兩個(gè)參數(shù)X、M，設(shè)定同行人與目標(biāo)人出現(xiàn)在同一個(gè)相機(jī)畫面中的時(shí)間間隔為X秒，及同行人和目標(biāo)人出現(xiàn)在同一個(gè)相機(jī)下的頻次為M，M≥2。

X的設(shè)置需根據(jù)應(yīng)用場(chǎng)景來，如果是做尾隨分析，在人流量較大的環(huán)境下，建議X設(shè)置在60秒內(nèi)，如果是做同行人分析，人流量不大，可適當(dāng)延長(zhǎng)X。

3、落腳點(diǎn)分析

謀人在經(jīng)過某些區(qū)域時(shí)，停留的時(shí)間較長(zhǎng)，則認(rèn)定該區(qū)域即為此人的落腳點(diǎn)。在地圖上繪制某人的落腳點(diǎn)，可分析出某人經(jīng)?；顒?dòng)的區(qū)域、住所、工作地點(diǎn)等。

1）應(yīng)用場(chǎng)景

針對(duì)涉案的人員，通過落腳點(diǎn)分析，可以了解涉案人員經(jīng)常去哪，在哪停留較長(zhǎng)，從而為人員抓捕、蹲點(diǎn)堵控提供信息支撐。

2）實(shí)現(xiàn)方式

實(shí)現(xiàn)條件：目標(biāo)人員人臉照片、落腳時(shí)間、人臉抓拍庫(kù)、相機(jī)位置信息（經(jīng)緯度）

實(shí)現(xiàn)流程：

A）繪制在設(shè)置的某段時(shí)間某片區(qū)域內(nèi)的人臉軌跡；

B）計(jì)算軌跡內(nèi)兩兩攝像頭之間人臉出現(xiàn)時(shí)間差（停留時(shí)間）：后一個(gè)攝像頭抓拍時(shí)間減去前一個(gè)攝像頭抓拍時(shí)間，該時(shí)間差可認(rèn)為是目標(biāo)人在這兩個(gè)攝像頭間的停留時(shí)間；

C）繪制的軌跡中會(huì)有重復(fù)的線段，重復(fù)次數(shù)即為目標(biāo)人在該區(qū)域的出現(xiàn)頻次；

D）篩選出停留時(shí)間大于X且出現(xiàn)頻次大于M的線段，并過濾距離較長(zhǎng)的線段（線段兩端相機(jī)為非鄰近攝像頭）；

E）以篩選出的線段中心為圓心，線段長(zhǎng)度為直徑在地圖上畫圓，該圓形區(qū)域即為落腳點(diǎn)。

3）實(shí)現(xiàn)要點(diǎn)

統(tǒng)計(jì)目標(biāo)人員在“時(shí)間段”內(nèi)的人臉軌跡，目標(biāo)人員按照時(shí)間順序經(jīng)過的攝像頭及時(shí)間點(diǎn)為A、B、C……Z，如果目標(biāo)人員5次經(jīng)過A、B時(shí)間，3次時(shí)間大于“間隔時(shí)間”（1小時(shí)），AB攝像頭計(jì)“區(qū)域1” 3次；如果目標(biāo)人員10次經(jīng)過B、C時(shí)間，6次時(shí)間大于“間隔時(shí)間”（1小時(shí)），BC攝像頭計(jì)“區(qū)域2” 6次；一直到最后攝像頭XZ計(jì)“區(qū)域Y” N次。

攝像頭無法抓拍每個(gè)經(jīng)過的行人人臉，為防止AB攝像頭過遠(yuǎn)，需要在查詢之前計(jì)算出所有攝像頭鄰近的攝像頭，首先獲知所有攝像頭的經(jīng)緯度，計(jì)算A和B、C等所有攝像頭的距離，找出它最近的幾個(gè)攝像頭（暫定8個(gè)）；計(jì)算B和A、C、D等所有攝像頭的距離，找出它最近的幾個(gè)攝像頭，一直找到最后一個(gè)攝像頭Z最近的幾個(gè)攝像頭。在查詢時(shí)將行人軌跡中時(shí)間相近的兩個(gè)攝像頭和以前存儲(chǔ)的表相比，如果屬于攝像頭鄰近探頭，則統(tǒng)計(jì)，不屬于鄰近探頭則不統(tǒng)計(jì)。

4、人臉碰撞

多個(gè)地點(diǎn)不同時(shí)間抓拍到人臉進(jìn)行比對(duì)，找到共同出現(xiàn)的人臉。例如地區(qū)A在h1段時(shí)間內(nèi)抓拍到M張人臉，地區(qū)B在h2段時(shí)間內(nèi)抓拍到N張人臉，地區(qū)C在h3段時(shí)間內(nèi)抓拍到P張人臉，將地區(qū)A中M張人臉依次與地區(qū)B中N張人臉進(jìn)行比對(duì)，找出其中相似的人臉，再將上述人臉與地區(qū)C中的P張人臉進(jìn)行比對(duì)，得到A、B、C地區(qū)中共同相似的人臉。

1）應(yīng)用場(chǎng)景

針對(duì)案件中犯罪份子多次作案和在一起案件中確認(rèn)嫌疑人多個(gè)出現(xiàn)的地點(diǎn)的情況，可采用碰撞分析鎖定嫌疑人員。

也可用于慣犯排查。辦案人員在處理類似三搶一盜的案件中，80%的案件是慣犯所為，找到經(jīng)過線索地點(diǎn)所有人員和慣犯庫(kù)進(jìn)行比對(duì)碰撞，可以快速排查，找出偵查方向。

2）實(shí)現(xiàn)方式

實(shí)現(xiàn)條件：時(shí)間范圍、人臉抓拍庫(kù)、相機(jī)位置信息（經(jīng)緯度）

實(shí)現(xiàn)流程：

A）選擇要碰撞的區(qū)域（即攝像頭），輸入每個(gè)區(qū)域要碰撞的時(shí)間；

B）以區(qū)域?yàn)閱挝粎^(qū)域匯總輸入條件的人臉照片；

C）進(jìn)行區(qū)域間的人臉比對(duì)；

D）輸出大于比對(duì)閾值的人臉照片。

5、出行規(guī)律分析

分析一段時(shí)間內(nèi)指定人員的活動(dòng)規(guī)律，統(tǒng)計(jì)該人員出現(xiàn)在各個(gè)地點(diǎn)（攝像頭）的次數(shù)。

1）應(yīng)用場(chǎng)景

辦案人員找到一個(gè)嫌疑人線索后，需要知道嫌疑人經(jīng)常在那些地方活動(dòng)，在這些地點(diǎn)經(jīng)常什么時(shí)間出現(xiàn)，為嫌疑人抓捕、掌握嫌疑人更多的作案地點(diǎn)提供信息支持。

2）實(shí)現(xiàn)方式

實(shí)現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫(kù)、相機(jī)位置信息（經(jīng)緯度）

實(shí)現(xiàn)流程：

A）輸入目標(biāo)人臉照片及要統(tǒng)計(jì)的區(qū)域和時(shí)間；

B）篩選出輸入條件下的人臉抓拍照片，與目標(biāo)人臉進(jìn)行比對(duì)；

C）得到大于閾值的人臉抓拍照片；

D）統(tǒng)計(jì)上述照片出現(xiàn)在攝像頭下的頻次；

E）按照頻次高低排序并輸出目標(biāo)人出現(xiàn)的攝像頭及出現(xiàn)次數(shù)。