1. 方案簡介

人臉識別：在圖像中找出人臉，并與數(shù)據(jù)庫進行比對，得出該人臉對應(yīng)的身份信息。

方案設(shè)計邏輯流程圖，方案代碼分為分為三個業(yè)務(wù)流程，主體代碼負責(zé)抓取、合成圖像，算法代碼負責(zé)人臉識別功能，按鍵監(jiān)聽負責(zé)修改數(shù)據(jù)庫工作狀態(tài)。

2. 快速上手

2.1 開發(fā)環(huán)境準備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準備/Easy-Eai編譯環(huán)境準備與更新》，并按照其相關(guān)的操作，進行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh

2.2 源碼下載以及實例編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注：

* 此處可能會因網(wǎng)絡(luò)原因造成卡頓，請耐心等待。

* 如果實在要在gitHub網(wǎng)頁上下載，也要把整個倉庫下載下來，不能單獨下載本實例對應(yīng)的目錄。

進入到對應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-faceRecognition/ ./build.sh

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持adb連接。

注：

* 若build.sh腳本不帶任何參數(shù)，則僅會拷貝solution編譯出來的可執(zhí)行文件。

* 若build.sh腳本帶有cpres參數(shù)，則會把Release/目錄下的所有資源都拷貝到開發(fā)板上。

* 若build.sh腳本帶有clear參數(shù)，則會把build/目錄和Release/目錄刪除。

2.3 模型獲取

【百度網(wǎng)盤】

鏈接：https://pan.baidu.com/s/1mrhVHxHWJ8cY9Fl9k5KtYg

提取碼：0k7j

本方案用到兩個模型：face_detect.model和face_recognition.model

直接把模型下載到本地Windows主機，復(fù)制

進入PC端Ubuntu創(chuàng)建存放model目錄：

cd /opt mkdir model

然后把模型從本地Windows主機粘貼到PC端Ubuntu中：

2.4 方案部署

使用下方命令再次回到開發(fā)實例目錄

cd /opt/EASY-EAI-Toolkit-C-Solution/solu-faceRecognition/

然后，將EASY-EAI編譯環(huán)境的編譯結(jié)果部署到板卡中（有兩種方法）。

方法一：通過執(zhí)行以下命令手動部署【推薦】

cp Release/solu-* /mnt/userdata/Solu

方法二：在編譯時加上編譯參數(shù)自動部署

./build.sh cpres

最后，將準備好的模型部署到板卡中（注意：模型要放到編譯結(jié)果的同一目錄中），執(zhí)行命令如下所示。

cp /opt/model/face_detect.model /mnt/userdata/Solu cp /opt/model/face_recognition.model /mnt/userdata/Solu

2.5 示例方案運行

通過按鍵Ctrl+Shift+T創(chuàng)建一個新窗口，執(zhí)行adb shell命令，進入板卡運行環(huán)境。

adb shell

進入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

運行例程命令如下所示：

./solu-faceRecognition

2.6 運行效果

運行打?。?/p>

[root@EASY-EAI-NANO:/userdata/Solu]# ./solu-faceRecognition media get entity by name: rkcif-lvds-subdev is null media get entity by name: rkcif-lite-lvds-subdev is null media get entity by name: rkisp-mpfbc-subdev is null media get entity by name: rkisp_dmapath is null media get entity by name: rkisp-mpfbc-subdev is null media get entity by name: rkisp_dmapath is null media get entity by name: rockchip-mipi-dphy-rx is null [10:20:45.318138][CAMHW]:XCAM ERROR CamHwIsp20.cpp:928: No free isp&ispp needed by fake camera! Rga built version:1.04 7b33191+2022-05-12 19:00:07 Had init the rga dev ctx = 0x62288 Rga built version:1.04 7b33191+2022-05-12 19:00:07 get rkispp_input_params devname: /dev/video35 subscribe events from /dev/video35 success ! get rkispp_input_params devname: /dev/video43 subscribe events from /dev/video43 success ! mipicamera_init: RGB aiq status ok. [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media0 info [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media1 info >>>>>sensor entity name: m01_f_gc2093 1-007e get rkisp-isp-subdev devname: /dev/v4l-subdev5 get rkisp-input-params devname: /dev/video15 get rkisp-statistics devname: /dev/video14 [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media2 info [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media3 info get rkispp_m_bypass devname: /dev/video30 get rkispp_scale0 devname: /dev/video31 get rkispp_scale1 devname: /dev/video32 get rkispp_scale2 devname: /dev/video33 [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media4 info [INFO]rkisp_get_media_topology2:1244: Get media device: /dev/media5 info rkisp_open_device2: /dev/video31 [INFO]rkisp_get_fmt:548: Get Driver default fmt: fcc NV12 [1280x720] face detect init! ##RKMEDIA Log level: 2 [RKMEDIA][SYS][Info]:text is all=2 [RKMEDIA][SYS][Info]:module is all, log_level is 2 [RKMEDIA][SYS][Info]:RK_MPI_VO_CreateChn: Enable VO[1] Start... [RKMEDIA][SYS][Info]:conn id : 56, enc id: 55, crtc id: 53, plane id: 52, w/h: 720,1280, fps: 58 [RKMEDIA][SYS][Info]:RK_MPI_VO_CreateChn: Enable VO[1] End! [RKMEDIA][SYS][Info]:RK_MPI_VO_CreateChn: Enable VO[0] Start... [RKMEDIA][SYS][Info]:conn id : 56, enc id: 55, crtc id: 53, plane id: 54, w/h: 720,1280, fps: 58 [RKMEDIA][SYS][Info]:RK_MPI_VO_CreateChn: Enable VO[0] End! #CHN[0]:IN --> Out [RKMEDIA][SYS][Info]:RK_MPI_RGA_CreateChn: Enable RGA[0], Rect Start... [RKMEDIA][SYS][Info]:FilterFlow:rkrga: Enable BufferPool! memtype:hw_mem, memcnt:2 [RKMEDIA][SYS][Info]:Opened DRM device /dev/dri/card0: driver rockchip version 2.0.0. [RKMEDIA][SYS][Info]:RK_MPI_RGA_CreateChn: Enable RGA[0], Rect End... #Bind rga[0] to VM[0]:Chn[0].... [RKMEDIA][SYS][Info]:RK_MPI_SYS_Bind: Bind Mode[RGA]:Chn[0] to Mode[VMIX]:Chn[0]... #Bind VMX[0] to VO[0].... [RKMEDIA][SYS][Info]:RK_MPI_SYS_Bind: Bind Mode[VMIX]:Chn[0] to Mode[VO]:Chn[0]... [RKMEDIA][SYS][Warn]:RK_MPI_SYS_Bind: SrcChn:VMIX[0]:Chn[x] status(3) invalid! librknn_runtime version 1.7.1 (97198ce build: 2021-11-24 09:32:17 base: 1131) face recognition init! librknn_runtime version 1.7.1 (97198ce build: 2021-11-24 09:32:17 base: 1131) database_init OK

用人臉對準攝像頭，如果檢測到人臉。后臺會打印出識別出人臉的耗時，以及與數(shù)據(jù)庫特征值比較的相似度，詳情如下圖所示。

(若畫面中有多張人臉，則以最大一張人臉作為識別依據(jù))

此時尚未錄入人臉數(shù)據(jù)，程序只是檢測到人臉，并不能識別出具體用戶，則對人臉位置標記出紅框。效果如下圖所示。

注冊人臉：用攝像頭對準人臉時，按下復(fù)用按鍵“RECOVER”，則可成功對人臉進行注冊。按鍵位置如下圖所示。

再次識別，此時識別出用戶后，則用綠框標記。如下圖所示。

在識別出用戶的同時，可以觀察后臺打印。此時會打印出與畫面中最為相似的用戶id與姓名，以及具體的相似度。如下圖所示。

2.7 開機啟動

首先進入板卡環(huán)境，執(zhí)行以下命令，在板卡上創(chuàng)建一個給本例程使用的應(yīng)用目錄：myapp

cd /userdata/apps/ mkdir myapp

然后回到開發(fā)環(huán)境中，通過使用“2.4方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結(jié)果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

最后在板卡上創(chuàng)建一個run.sh腳本來管控用戶所有需要的應(yīng)用即可，《入門指南/應(yīng)用程序開機自啟動》會詳細描述run.sh腳本該如何編寫。

3. 代碼解析

方案主邏輯代碼位于：EASY-EAI-Toolkit-C-Solution/solu-faceRecognition/src/main.cpp。代碼實現(xiàn)主要通過調(diào)用我司的easyeai-api庫快速實現(xiàn)人臉識別功能，代碼主體分為主線程、算法分析子線程和按鍵監(jiān)聽子線程。

3.1 組件庫組成

要實現(xiàn)人臉識別功能，需要使用到easyeai-api庫的以下組件，如下所示。

模組信息如下所示。

這些組件通過CMakeLists.txt編譯進工程，具體請看后續(xù)章節(jié)。

3.2 邏輯框圖

項目的整體邏輯框圖如下所示。

3.3 主線程

主線程處理的業(yè)務(wù)有：

初始化外設(shè)；

創(chuàng)建算法分析子線程；

抓圖發(fā)送給到子線程；

抓圖、顯示；

本處附上主要的邏輯功能代碼，其他輔助的、校驗型的代碼先忽略。

組件初始化操作如下，本處調(diào)用RGB攝像頭和IR攝像頭。

// 1.打開攝像頭 ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90); pRGBbuf= NULL; pRGBbuf= (char *)malloc(IMAGE_SIZE); ret = ircamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 270); pIRbuf = NULL; pIRbuf = (char *)malloc(IMAGE_SIZE);

創(chuàng)建線程互斥鎖以及線程，如下所示。

// 2.創(chuàng)建識別線程，以及圖像互斥鎖 pthread_mutex_init(&img_lock, NULL); pResult = (Result_t *)malloc(sizeof(Result_t)); memset(pResult, 0, sizeof(Result_t)); if(0 != CreateNormalThread(detect_thread_entry, pResult, &mTid)){ free(pResult); }

初始化顯示屏，如下所示。

// 3.顯示初始化 ret = disp_init(SCREEN_WIDTH, SCREEN_HEIGHT);

抓取圖像，調(diào)用clone操作。

// 4.(取流 + 顯示)循環(huán) pthread_mutex_lock(&img_lock); ret = rgbcamera_getframe(pRGBbuf); ret = ircamera_getframe(pIRbuf); algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pRGBbuf); algorithm_IR_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pIRbuf); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用顯示圖像，將分析的目標位置通過pResult標記出來。

// 標記人臉框 rectangle(image, Point(pResult->x1, pResult->y1), Point(pResult->x2, pResult->y2), Scalar(pResult->color[0], pResult->color[1], pResult->color[2]), 3); // 顯示合成后的圖像 disp_commit(image.data, IMAGE_SIZE);

3.4 算法分析子線程

算法分析子線程，主要完成以下操作：

初始化數(shù)據(jù)庫；

啟動按鍵監(jiān)聽子線程，并設(shè)置回調(diào)；

根據(jù)存儲標志，判斷是否需要清空數(shù)據(jù)庫；

監(jiān)測是否圖像緩沖區(qū)是否為空；

不為空時，證明主函數(shù)已發(fā)送圖像數(shù)據(jù)過來，線程執(zhí)行圖像獲取操作；

檢測IR人臉位置；

檢測RGB人臉位置；

計算IR人臉與RGB人臉的IoU；

利用RGB人臉進行校正和計算特征值；

用計算出的特征值與數(shù)據(jù)庫中存儲的特征值進行比較；

根據(jù)存儲標志判斷是否需要插入或更新數(shù)據(jù)庫中的特征值。

初始化數(shù)據(jù)庫。如下所示。

database_init();

啟動按鍵監(jiān)聽子線程，并設(shè)置監(jiān)聽回調(diào)。如下所示。

keyEvent_init(); set_event_handle(dataBase_opt_handle);

根據(jù)存儲標志(由按鍵監(jiān)聽子線程通過監(jiān)聽回調(diào)修改)，判斷是否需要清空數(shù)據(jù)庫。如下所示。

if(g_delete_all_record){ g_delete_all_record = false; // 刪除庫 database_delete_all_record(); // 重載數(shù)據(jù)庫 peopleNum = database_getData_to_memory(pFaceData); }

監(jiān)測是否有圖像，操作如下所示。

if(algorithm_image.empty() || algorithm_IR_image.empty()) { usleep(5); continue; }

獲取圖像操作如下所示。

pthread_mutex_lock(&img_lock); irImage = algorithm_IR_image.clone(); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用人臉檢測函數(shù)，得出IR人臉位置算法得到的目標結(jié)果記錄于detect_result內(nèi)，如下所示。

// 活體檢測，計算出人臉位置 ret = face_detect_run(detect_ctx, irImage, detect_result); irRect.left = (uint32_t)(detect_result[0].box.x); irRect.top = (uint32_t)(detect_result[0].box.y); irRect.right = (uint32_t)(detect_result[0].box.x + detect_result[0].box.width); irRect.bottom = (uint32_t)(detect_result[0].box.y + detect_result[0].box.height);

調(diào)用人臉檢測函數(shù)，得出RGB人臉位置算法得到的目標結(jié)果記錄于detect_result內(nèi)，如下所示。

// 人臉檢測，計算出人臉位置 ret = face_detect_run(detect_ctx, image, detect_result); rgbRect.left = (uint32_t)(detect_result[0].box.x); rgbRect.top = (uint32_t)(detect_result[0].box.y); rgbRect.right = (uint32_t)(detect_result[0].box.x + detect_result[0].box.width); rgbRect.bottom = (uint32_t)(detect_result[0].box.y + detect_result[0].box.height);

計算出IR人臉與RGB人臉的IoU，偏差過大則不繼續(xù)后面步驟。如下所示。

if(calc_intersect_of_union(irRect, rgbRect) <= 0.5){ // 識別結(jié)果數(shù)據(jù)，復(fù)位 memset(pResult, 0 , sizeof(Result_t)); g_input_feature = false; usleep(1000); continue; }

人臉校正和特征值計算。如下所示。

// 人臉校正(從圖像中裁出人臉) face_algin = face_alignment(image, points); // 人臉識別，計算特征值 face_recognition_run(recognition_ctx, &face_algin, &face_feature);

從數(shù)據(jù)庫遍歷取出特征值，與上一步得出的特征值進行比較。如下所示。

for(face_index = 0; face_index < peopleNum; ++face_index){ similarity = face_recognition_comparison(face_feature, (float *)((pFaceData + face_index)-??>feature), 512); if(similarity > 0.5) {break;} }

根據(jù)存儲狀態(tài)標志，來判斷是否需要對數(shù)據(jù)庫進行增加或修改。如下所示。

if(g_input_feature){ g_input_feature = false; // 特征值入庫 database_add_record((pFaceData + face_index)->id, pResult->nameStr, (char *)face_feature, sizeof(face_feature)); // 重載數(shù)據(jù)庫 peopleNum = database_getData_to_memory(pFaceData); }

存儲狀態(tài)標志，由按鍵監(jiān)聽子線程通過監(jiān)聽回調(diào)進行修改。

3.5 按鍵監(jiān)聽子線程

按鍵監(jiān)聽子線程，主要完成以下操作：

打開input事件節(jié)點；

阻塞監(jiān)聽input事件；

根據(jù)具體動作回發(fā)事件類型進監(jiān)聽回調(diào)；

打開input事件節(jié)點。如下所示。

fp = fopen(KEY_EVENT_PATH, "r");

阻塞監(jiān)聽input事件。如下所示。

fread((void *)&ie, sizeof(ie), 1, fp);

回發(fā)事件類型。如下所示。

g_handle(KEY_XXXX);

4. 開發(fā)指南

4.1 示例文件&目錄結(jié)構(gòu)

Solution git倉庫會隨著產(chǎn)品迭代更新，不斷新增解決方案代碼，當(dāng)前截圖只作參考。

4.1.1 Solution git倉庫目錄介紹

Solution工程構(gòu)成如下所示，由功能組件easyeai-api和各個解決方案構(gòu)成。

單個“solu-”開頭的目錄即為一個解決方案案例，代碼內(nèi)調(diào)用“EASY EAI-API”來滿足某一實際應(yīng)用場景的需求。

功能組件的描述如下所示，easyeai-api是經(jīng)過高度封裝的易用性組件接口，便于用戶直接調(diào)用板卡資源。

4.1.2 人臉識別方案的目錄構(gòu)成

每個解決方案就是一個獨立的項目，項目內(nèi)包含部分如下所示，項目使用cmake構(gòu)建自動編譯部署。

具體介紹如下所示。

4.1.3 解決方案可拓展的目錄構(gòu)成

可拓展的目錄是指：開發(fā)過程中增加某些功能模塊，功能代碼。增加模式分為兩種：

增加已編譯的第三方庫，在include、libs目錄內(nèi)添加頭文件和庫文件；

增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

具體情況如下所示，第三方模塊相關(guān)的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊可參考src/dataBase、src/keyEvent。

4.2 CMakeLists.txt文件解析

4.2.1 編譯環(huán)境配置部分：

第一部分為配置部分，配置部分如下所示。（獲取當(dāng)前方案目錄、配置工具鏈、提取方案名稱）：

配置信息如下所示。

4.2.2 easyeai-api配置部分

第二部分是引入我司的功能組件庫（針對當(dāng)前方案進行：配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數(shù)）：

配置信息如下所示。

4.2.3 第三方庫配置部分

第三部分配置第三方的庫（針對當(dāng)前方案進行：配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數(shù)以及配置源碼目錄）：

配置信息如下所示。

例如添加個人庫的目錄組成方式如下所示。

aux_source_directory的修改方式為：

aux_source_directory(./src ./src/dataBase ./src/keyEvent dir_srcs)

或

aux_source_directory(./src dir_srcs) aux_source_directory(./src/dataBase dir_srcs) aux_source_directory(./src/keyEvent dir_srcs)

4.2.4 本方案配置部分

第四部分配置項目的編譯信息，內(nèi)容如下所示：

配置項如下所示。

4.3 build.sh編譯腳本：

4.3.1 路徑定位部分

第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進入build.sh腳本所在目錄，并且提取當(dāng)前目錄絕對路徑，提取當(dāng)前目錄名稱）

4.3.2 清除編譯部分

第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時，帶入了參數(shù)“clear”，則清空編譯輸出）

4.3.3 編譯操作

第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動部署進板卡）

審核編輯 黃宇