1. 人臉識(shí)別簡(jiǎn)介
人臉識(shí)別,是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流,并自動(dòng)在圖像中檢測(cè)和跟蹤人臉,進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部識(shí)別的一系列相關(guān)技術(shù),通常也叫做人像識(shí)別、面部識(shí)別。
人臉識(shí)別系統(tǒng)主要包括四個(gè)組成部分,分別為:人臉圖像采集及檢測(cè)、人臉圖像預(yù)處理、人臉圖像特征提取以及匹配與識(shí)別,本實(shí)例也包括這幾個(gè)流程。
本人臉識(shí)別算法在數(shù)據(jù)集表現(xiàn)如下所示:
人臉識(shí)別算法 | performance |
LFW | 99.8 |
IJB-C | 97.16 |
基于EASY-EAI-Nano硬件主板的運(yùn)行效率:
算法種類 | 運(yùn)行效率 |
face_detect | 35ms |
face_recognition | 32ms |
2. 快速上手
2.1 開(kāi)發(fā)環(huán)境準(zhǔn)備
如果您初次閱讀此文檔,請(qǐng)閱讀《入門指南/開(kāi)發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》,并按照其相關(guān)的操作,進(jìn)行編譯環(huán)境的部署。
在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本,進(jìn)入EASY-EAI編譯環(huán)境,具體如下所示。
cd ~/develop_environment ./run.sh

2.2 源碼下載以及例程編譯
在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉(cāng)庫(kù)的管理目錄:
cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit
通過(guò)git工具,在管理目錄內(nèi)克隆遠(yuǎn)程倉(cāng)庫(kù)
git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Demo.git
注:
* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓,請(qǐng)耐心等待。
* 如果實(shí)在要在gitHub網(wǎng)頁(yè)上下載,也要把整個(gè)倉(cāng)庫(kù)下載下來(lái),不能單獨(dú)下載本實(shí)例對(duì)應(yīng)的目錄。
進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作,具體命令如下所示:
cd EASY-EAI-Toolkit-C-Demo/algorithm-face_recognition/ ./build.sh cpres
注:
* 若build.sh腳本帶有cpres參數(shù),則會(huì)把Release/目錄下的所有資源都拷貝到開(kāi)發(fā)板上。
* 若build.sh腳本不帶任何參數(shù),則僅會(huì)拷貝demo編譯出來(lái)的可執(zhí)行文件。
* 由于依賴庫(kù)部署在板卡上,因此交叉編譯過(guò)程中必須保持adb連接。
2.3 模型部署
要完成算法Demo的執(zhí)行,需要先下載人臉檢測(cè)算法模型
百度網(wǎng)盤鏈接為:https://pan.baidu.com/s/1cxnx1T0ldJvoqkyTk1RmUg (提取碼:0b6h )。
也要下載人臉識(shí)別算法模型。
百度網(wǎng)盤鏈接為:https://pan.baidu.com/s/1L6ip8D13-kyo2i8il9ru6A (提取碼:56xm )。
然后需要把下載的人臉檢測(cè)算法模型和人臉識(shí)別算法模型復(fù)制粘貼到Release/目錄:
再通過(guò)下方命令將模型署到板卡中,如下所示。
cp ./Release/*.model /mnt/userdata/Demo
2.4 例程運(yùn)行
通過(guò)按鍵Ctrl+Shift+T創(chuàng)建一個(gè)新窗口,執(zhí)行adb shell命令,進(jìn)入板卡運(yùn)行環(huán)境。
adb shell
進(jìn)入板卡后,定位到例程上傳的位置,如下所示:
cd /userdata/Demo
運(yùn)行例程命令如下所示:
./test-face-recognition 1.jpg 2.jpg
2.5 運(yùn)行效果
face-recognition的Demo執(zhí)行效果如下所示,一般相似度大于0.4視為同一個(gè)人:
API的詳細(xì)說(shuō)明,以及API的調(diào)用(本例程源碼),詳細(xì)信息見(jiàn)下方說(shuō)明。
3. 人臉檢測(cè)API說(shuō)明
3.1 引用方式
為方便客戶在本地工程中直接調(diào)用我們的EASY EAI api庫(kù),此處列出工程中需要鏈接的庫(kù)以及頭文件等,方便用戶直接添加。
選項(xiàng) | 描述 |
頭文件目錄 | easyeai-api/algorithm_api/face_detect |
庫(kù)文件目錄 | easyeai-api/algorithm_api/face_detect |
庫(kù)鏈接參數(shù) | -lpthread -lface_detect -lrknn_api |
3.2 人臉檢測(cè)初始化函數(shù)
設(shè)置人臉檢測(cè)初始化函數(shù)原型如下所示。
int face_detect_init(rknn_context *ctx, const char *path)
具體介紹如下所示。
函數(shù)名: face_detect_init() | |
頭文件 | face_detect.h |
輸入?yún)?shù) | ctx:rknn_context句柄 |
path:算法模型的路徑 | |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
3.3 人臉檢測(cè)運(yùn)行函數(shù)
設(shè)face_detect_run原型如下所示。
int face_detect_run(rknn_context ctx, cv::Mat &input_image, std::vector &result)
具體介紹如下所示。
函數(shù)名: face_detect_run () | |
頭文件 | face_detect.h |
輸入?yún)?shù) |
ctx: rknn_context句柄 |
input_image:Opencv Mat格式圖像 | |
result:人臉檢測(cè)的結(jié)果輸出 | |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
3.4 人臉檢測(cè)釋放函數(shù)
人臉檢測(cè)釋放函數(shù)原型如下所示。
int face_detect_release(rknn_context ctx)
具體介紹如下所示。
函數(shù)名: face_detect_release () | |
頭文件 | face_detect.h |
輸入?yún)?shù) |
ctx: rknn_context句柄 |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
4. 人臉標(biāo)準(zhǔn)化API說(shuō)明
4.1 引用方式
為方便客戶在本地工程中直接調(diào)用我們的EASY EAI api庫(kù),此處列出工程中需要鏈接的庫(kù)以及頭文件等,方便用戶直接添加。
選項(xiàng) | 描述 |
頭文件目錄 | easyeai-api/algorithm_api/face_alignment |
庫(kù)文件目錄 | easyeai-api/algorithm_api/face_alignment |
庫(kù)鏈接參數(shù) | -lpthread -lface_alignment -lrknn_api |
4.2 人臉標(biāo)準(zhǔn)化函數(shù)
設(shè)置人臉標(biāo)準(zhǔn)化函數(shù)原型如下所示。
cv::Mat face_alignment(cv::Mat img, cv::Point2f* points)
具體介紹如下所示。
函數(shù)名:face_alignment() | |
頭文件 | face_alignment.h |
輸入?yún)?shù) | img: opencv圖像輸入 |
points: Point2f人臉關(guān)鍵點(diǎn)輸入 | |
返回值 | 成功返回:112*112*3的人臉標(biāo)準(zhǔn)化圖像 |
注意事項(xiàng) | 輸入圖片和人臉關(guān)鍵點(diǎn)坐標(biāo),輸出標(biāo)準(zhǔn)化的人臉頭像 |
5. 人臉識(shí)別API說(shuō)明
5.1 引用方式
為方便客戶在本地工程中直接調(diào)用我們的EASY EAI api庫(kù),此處列出工程中需要鏈接的庫(kù)以及頭文件等,方便用戶直接添加。
選項(xiàng) | 描述 |
頭文件目錄 | easyeai-api/algorithm_api/face_recognition |
庫(kù)文件目錄 | easyeai-api/algorithm_api/face_recognition |
庫(kù)鏈接參數(shù) | -lpthread -lface_recognition -lrknn_api |
5.2 人臉識(shí)別初始化函數(shù)
設(shè)置人臉識(shí)別初始化函數(shù)原型如下所示。
int face_recognition_init(rknn_context *ctx, const char * path)
具體介紹如下所示。
函數(shù)名: face_recognition_init() | |
頭文件 | face_recognition.h |
輸入?yún)?shù) | ctx:rknn_context句柄 |
path:算法模型的路徑 | |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
5.3 人臉識(shí)別運(yùn)行函數(shù)
設(shè)face_detect_run原型如下所示。
int face_recognition_run(rknn_context ctx, cv::Mat *face_image, float (*feature)[512])
具體介紹如下所示。
函數(shù)名: face_recognition_run () | |
頭文件 | face_recognition.h |
輸入?yún)?shù) |
ctx: rknn_context句柄 |
face_image:圖像數(shù)據(jù)輸入(cv::Mat是Opencv的類型) | |
feature:算法輸出的人臉特征碼 | |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
5.4 人臉識(shí)別特征比對(duì)函數(shù)
設(shè)face_detect_run原型如下所示。
float face_recognition_comparison(float *feature_1, float *feature_2, int output_len)
具體介紹如下所示。
函數(shù)名: face_recognition_comparison () | |
頭文件 | face_recognition.h |
輸入?yún)?shù) | feature_1: 人臉特征碼1 |
feature_2:人臉特征碼2 | |
返回值 | 成功返回:人臉識(shí)別相似度 |
注意事項(xiàng) | 一般相似度大于0.4可以似為同一個(gè)人 |
5.5 人臉識(shí)別釋放函數(shù)
人臉識(shí)別釋放函數(shù)原型如下所示。
int face_recognition_release(rknn_context ctx)
具體介紹如下所示。
函數(shù)名: face_recognition_release () | |
頭文件 | face_recognition.h |
輸入?yún)?shù) |
ctx: rknn_context句柄 |
返回值 | 成功返回:0 |
失敗返回:-1 | |
注意事項(xiàng) | 無(wú) |
6. 人臉識(shí)別算法例程
例程目錄為Toolkit-C-Demo/algorithm-face_recognition/test-face-recognition.cpp,操作流程如下。
參考例程如下所示。
#include #include #include #include #include #include #include "face_detect.h" #include "face_alignment.h" #include "face_recognition.h" using namespace cv; int main(int argc, char **argv) { rknn_context detect_ctx, recognition_ctx; std::vector result1, result2; int ret; struct timeval start; struct timeval end; float time_use=0; if( argc != 3) { printf("./face_recognition_demo xxx.jpg xxx.jpgn"); return -1; } cv::Mat src_1, src_2; src_1 = cv::imread(argv[1], 1); src_2 = cv::imread(argv[2], 1); /* 人臉檢測(cè)初始化 */ printf("face detect init!n"); ret = face_detect_init(&detect_ctx, "./face_detect.model"); if( ret < 0) { printf("face_detect_init fail! ret=%dn", ret); return -1; } /* 人臉識(shí)別初始化 */ printf("face recognition init!n"); ret = face_recognition_init(&recognition_ctx, "./face_recognition.model"); if( ret < 0) { printf("face_recognition fail! ret=%dn", ret); return -1; } /* 人臉檢測(cè)執(zhí)行 */ face_detect_run(detect_ctx, src_1, result1); face_detect_run(detect_ctx, src_2, result2); Point2f points1[5], points2[5]; for (int j = 0; j < (int)result1[0].landmarks.size(); ++j) { points1[j].x = (int)result1[0].landmarks[j].x; points1[j].y = (int)result1[0].landmarks[j].y; } for (int j = 0; j < (int)result2[0].landmarks.size(); ++j) { points2[j].x = (int)result2[0].landmarks[j].x; points2[j].y = (int)result2[0].landmarks[j].y; } Mat face_algin_1, face_algin_2; face_algin_1 = face_alignment(src_1, points1); face_algin_2 = face_alignment(src_2, points2); /* 人臉識(shí)別執(zhí)行 */ float feature_1[512], feature_2[512]; gettimeofday(&start,NULL); face_recognition_run(recognition_ctx, &face_algin_1, &feature_1); gettimeofday(&end,NULL); time_use=(end.tv_sec-start.tv_sec)*1000000+(end.tv_usec-start.tv_usec);//微秒 printf("time_use is %fn",time_use/1000); face_recognition_run(recognition_ctx, &face_algin_2, &feature_2); float similarity; similarity = face_recognition_comparison(feature_1, feature_2, 512); printf("similarity:%fn", similarity); /* 人臉檢測(cè)釋放 */ face_detect_release(detect_ctx); /* 人臉識(shí)別釋放 */ face_recognition_release(recognition_ctx); return 0; } 審核編輯 黃宇
-
人臉識(shí)別算法
+關(guān)注
關(guān)注
0文章
11瀏覽量
2801 -
rv1126
+關(guān)注
關(guān)注
0文章
106瀏覽量
3360
發(fā)布評(píng)論請(qǐng)先 登錄
基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉檢測(cè)方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)二維碼識(shí)別方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉檢測(cè)方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉識(shí)別方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)自學(xué)習(xí)圖像分類方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉識(shí)別方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉檢測(cè)方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)駕駛員行為檢測(cè)方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉識(shí)別方案

基于RV1126開(kāi)發(fā)板實(shí)現(xiàn)人臉檢測(cè)方案

RV1126 實(shí)現(xiàn)人臉檢測(cè)方案

評(píng)論