1. 方案簡介
自學習:在識別前對物體圖片進行模型學習,訓練完成后通過算法分類得出圖像的模型ID。
方案設計邏輯流程圖,方案代碼分為分為兩個業務流程,主體代碼負責抓取、合成圖像,算法代碼負責訓練和檢測功能。

2. 快速上手
2.1 開發環境準備
如果您初次閱讀此文檔,請閱讀《入門指南/開發環境準備/Easy-Eai編譯環境準備與更新》,并按照其相關的操作,進行編譯環境的部署。
在PC端Ubuntu系統中執行run腳本,進入EASY-EAI編譯環境,具體如下所示。
cd ~/develop_environment
./run.sh

2.2 源碼下載以及實例編譯
在EASY-EAI編譯環境下創建存放源碼倉庫的管理目錄:
cd /opt
mkdir EASY-EAI-Toolkit
cd EASY-EAI-Toolkit
通過git工具,在管理目錄內克隆遠程倉庫
git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注:
* 此處可能會因網絡原因造成卡頓,請耐心等待。
* 如果實在要在gitHub網頁上下載,也要把整個倉庫下載下來,不能單獨下載本實例對應的目錄
進入到對應的例程目錄執行編譯操作,具體命令如下所示:
cd EASY-EAI-Toolkit-C-Solution/solu-selfLearning/
./build.sh
注:
* 由于依賴庫部署在板卡上,因此交叉編譯過程中必須保持adb連接。

注:
* 若build.sh腳本不帶任何參數,則僅會拷貝solution編譯出來的可執行文件。
* 若build.sh腳本帶有cpres參數,則會把Release/目錄下的所有資源都拷貝到開發板上。
* 若build.sh腳本帶有clear參數,則會把build/目錄和Release/目錄刪除。
2.3 模型獲取
【百度網盤】
鏈接:https://pan.baidu.com/s/1mrhVHxHWJ8cY9Fl9k5KtYg
提取碼:0k7j

本方案用到模型:classify.model
直接把模型下載到本地Windows主機,復制。再進入PC端Ubuntu創建存放model目錄:
cd /opt
mkdir model

然后把模型從本地Windows主機粘貼到PC端Ubuntu中:


2.4 方案部署
使用下方命令再次回到開發實例目錄
cd /opt/EASY-EAI-Toolkit-C-Solution/solu-selfLearning/
然后,將EASY-EAI編譯環境的編譯結果部署到板卡中(有兩種方法)。
方法一:通過執行以下命令手動部署【推薦】
cp Release/solu-* /mnt/userdata/Solu
cp Release/simhei.ttf /mnt/userdata/Solu
方法二:在編譯時加上編譯參數自動部署
./build.sh cpres
最后,將準備好的模型部署到板卡中(注意:模型要放到編譯結果的同一目錄中),執行命令如下所示。
cp /opt/model/classify.model /mnt/userdata/Solu
2.5 示例方案運行
通過按鍵Ctrl+Shift+T創建一個新窗口,執行adb shell命令,進入板卡運行環境。
adb shell

進入板卡后,定位到例程部署的位置,如下所示:
cd /userdata/Solu
運行例程命令如下所示:
./solu-selfLearning
2.6 運行效果
運行打印如下:

用攝像頭對準訓練物體,雙擊屏幕進行訓練。一個模型訓練5張圖片,總共訓練3個模型:

訓練完成后進入識別模式:

2.7 開機啟動
首先進入板卡環境,執行以下命令,在板卡上創建一個給本例程使用的應用目錄:myapp
cd /userdata/apps/
mkdir myapp

然后回到開發環境中,通過使用“2.4方案部署”類似的操作方法,把本例程所需要的全部文件,包含:編譯結果,配置文件,模型等。部署到剛剛新建的myapp目錄中。
最后在板卡上創建一個run.sh腳本來管控用戶所有需要的應用即可,《入門指南/應用程序開機自啟動》會詳細描述run.sh腳本該如何編寫。
3. 代碼解析
方案主邏輯代碼位于:EASY-EAI-Toolkit-C-Solution/ solu-selfLearning/src/main.cpp。代碼實現主要通過調用我司的easyeai-api庫快速實現自學習圖像分類功能,代碼主體分為主線程,算法分析子線程和按鍵模型訓練回調。
3.1 組件庫組成
要實現自學習圖像分類功能,需要使用到easyeai-api庫的以下組件。
模組信息如下所示。
組件 | 頭文件以及庫路徑 | 描述 |
系統操作組件 | easyeai-api/common_api/system_opt | 提供線程操作函數 |
攝像頭組件 | easyeai-api/peripheral_api/camera | 提供攝像頭操作函數 |
顯示屏組件 | easyeai-api/peripheral_api/display | 提供顯示屏操作函數 |
自學習組件 | easyeai-api/algorithm_api/self_learning | 提供自學習操作函數 |
中文字庫組件 | easyeai-api/common_api/font_engine | 提供中文顯示操作函數 |
觸摸屏組件 | easyeai-api/peripheral_api/touchscreen | 提供觸摸屏操作函數 |
這些組件通過CMakeLists.txt編譯進工程,具體請看后續章節。
3.2 邏輯框圖
項目的整體邏輯框圖如下所示。

3.3 主線程
主線程處理的業務有:
- 初始化外設;
- 創建算法分析子線程;
- 創建觸摸屏回調函數
- 抓圖發送給到子線程;
- 抓圖、顯示;
本處附上主要的邏輯功能代碼,其他輔助的、校驗型的代碼先忽略。
組件初始化操作如下,本處調用RGB攝像頭。
// 1.打開攝像頭
ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90);
pbuf = NULL;
pbuf = (char *)malloc(IMAGE_SIZE);
創建線程互斥鎖以及線程,如下所示。
// 2.創建識別線程,以及圖像互斥鎖
pthread_mutex_init(&img_lock, NULL);
CreateNormalThread(detect_thread_entry, &result, &mTid);
初始化顯示屏,如下所示。
// 3.顯示初始化
ret = disp_init(SCREEN_WIDTH, SCREEN_HEIGHT);
抓取圖像,調用clone操作。
// 4.(取流 + 顯示)循環
pthread_mutex_lock(&img_lock);
ret = rgbcamera_getframe(pbuf);
algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);
調用顯示圖像,將分析的結果通過result標記出來。
// 寫入文字
char label_text[50];
char label_text2[50];
if(1 == train_flag){/*識別模式*/
memset(label_text, 0 , sizeof(label_text));
memset(label_text2, 0 , sizeof(label_text2));
sprintf(label_text, "訓練結束,開始識別");
sprintf(label_text2, "模型ID:%d",result);
}else{/*訓練模式*/
memset(label_text, 0 , sizeof(label_text));
memset(label_text2, 0 , sizeof(label_text2));
sprintf(label_text, "模型訓練中,雙擊屏幕開始訓練");
sprintf(label_text2, "模型ID:%d , 訓練次數:%d",mode_data , train_data_cnt);
}
putText(image.data, image.cols, image.rows, label_text, 30, 30, color);
putText(image.data, image.cols, image.rows, label_text2, 30, 1000, color);
IplImage tmp = IplImage(image);
CvArr* arr = (CvArr*)&tmp;
CvRect rect1 = cvRect(20,300,680,680);
drawDashRect(arr,1,2,&rect1,CV_RGB(253,255,85),2);
disp_commit(image.data, IMAGE_SIZE);
3.4 觸摸屏回調函數
觸摸屏回調函數,主要完成以下操作:
- 判斷有雙擊屏幕事件發生;
- 延時監測是否圖像緩沖區是否為空;
- 不為空時,證明主函數已發送圖像數據過來,執行圖像獲取操作;
- 雙擊屏幕時,將主線程圖像送入算法接口進行模型訓練;
3.5 算法分析子線程
算法分析子線程,主要完成以下操作:
- 延時監測是否圖像緩沖區是否為空;
- 不為空時,證明主函數已發送圖像數據過來,線程執行圖像獲取操作;
- 調用模型分類分析函數;
- 記錄模型ID,用于主線程圖像合成操作;
延時監測是否有圖像,操作如下所示。
if(algorithm_image.empty()) {
usleep(5);
continue;
}
獲取圖像操作如下所示。
pthread_mutex_lock(&img_lock);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);
調用模型分類函數,算法得到的目標結果記錄于*share_para內,如下所示。
// 算法分析
*share_para = self_learning_inference(classify_ctx, image, train_data, train_data_count, k_value);
4. 開發指南
4.1 示例文件&目錄結構
Solution git倉庫會隨著產品迭代更新,不斷新增解決方案代碼,當前截圖只作參考。
4.1.1 Solution git倉庫目錄介紹。
Solution工程構成如下所示,由功能組件easyeai-api和各個解決方案構成。

單個“solu-”開頭的目錄即為一個解決方案案例,代碼內調用“EASY EAI-API”來滿足某一實際應用場景的需求。
功能組件的描述如下所示,easyeai-api是經過高度封裝的易用性組件接口,便于用戶直接調用板卡資源。
功能 | 組件目錄 | 組件子目錄 | 描述 |
功能組件 | easyeai-api | algorithm_api | 算法組件 |
common_api | 通用組件 | ||
media_api | 多媒體組件 | ||
netProtocol_api | 網絡協議組件 | ||
peripheral_api | 外設硬件組件 |
4.1.2 解決方案最基本的目錄構成。
每個解決方案就是一個獨立的項目,項目內包含部分如下所示,項目使用cmake構建自動編譯部署。

具體介紹如下所示。
組成部分 | 描述 |
build.sh | 編譯腳本,用于管理生成可執行文件后的部署準備工作,用戶可自定義shell命令 |
CMakeLists.txt | 工程管理文件,用于組織整個工程結構,指導cmake生成Makefile |
include | 用于存放第三方應用庫、頭文件目錄等 |
src | 用于存放實現本方案需求的源代碼 |
- 增加已編譯的第三方庫,在include、libs目錄內添加頭文件和庫文件;
- 增加用戶自定義的功能模塊,推薦在src目錄內增加;
具體情況如下所示,第三方模塊相關的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

4.2 CMakeLists.txt文件解析
4.2.1 編譯環境配置部分:
第一部分為配置部分,配置部分如下所示。(獲取當前方案目錄、配置工具鏈、提取方案名稱):

配置信息如下所示。
配置項 | 描述 |
CMake要求版本 | cmake_minimum_required函數指定,要求的最低版本 |
CMAKE_SYSTEM_NAME | cmake的系統類型,交叉編譯必須 |
CMAKE_CROSSCOMPILING | cmake是否啟動交叉編譯 |
cross.camke | camke_host_system_information獲取平臺信息,發現不是armv7l就導入當前平臺的交叉編譯配置。 |
project項目名 | 由project函數指定 |
4.2.2 easyeai-api配置部分
第二部分是引入我司的功能組件庫(針對當前方案進行:配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數):

配置信息如下所示。
配置項 | 描述 |
api_inc | 最終通過target_include_directories函數指定目標包含的頭文件路徑 |
link_directories | 由link_directories函數指定easyeai-api庫所在路徑 |
LINK_LIBRARIES | 由LINK_LIBRARIES函數指定easyeai-api庫文件 |
4.2.3 第三方庫配置部分
第三部分配置第三方的庫(針對當前方案進行:配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數以及配置源碼目錄):

配置信息如下所示。
配置項 | 描述 |
custom_inc | 自定義變量custom_inc,最終通過target_include_directories函數指定目標包含的頭文件路徑,在源碼include目錄下 |
link_directories | 由link_directories函數指定第三方庫所在路徑 |
custom_libs | 自定義變量custom_libs,最終通過target_link_libraries函數指定目標引用的庫鏈接參數 |
aux_source_directory | 自定義變量dir_srcs,用于添加工程代碼以及自定義的個人代碼 |
例如添加個人庫的目錄組成方式如下所示。

aux_source_directory的修改方式為:
aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)
或
aux_source_directory(./src dir_srcs)
aux_source_directory(./src/mySrcCode dir_srcs)
aux_source_directory(./src/mySrcCode2 dir_srcs)
4.2.4 本方案配置部分
第四部分配置項目的編譯信息,內容如下所示:

配置項如下所示。
配置項 | 描述 |
add_executable |
編譯結果為${CURRENT_FOLDER}指定,即方案目錄名; 編譯的源文件為${dir_srcs}指定; |
target_include_directories | 指定頭文件的名字,由${api_inc}與${custom_inc}指定; |
target_link_libraries | 指定額外的庫,例如opencv的庫等 |
4.3 build.sh編譯腳本:
4.3.1 路徑定位部分
第一部分用于提取目錄用于編譯操作,內容如下所示:(進入build.sh腳本所在目錄,并且提取當前目錄絕對路徑,提取當前目錄名稱)

4.3.2 清除編譯部分
第二部分清除操作,清除目錄為build、Release,內容如下所示:(執行build.sh腳本時,帶入了參數“clear”,則清空編譯輸出)

4.3.3 編譯操作
第三部分,編譯直接調用cmake,內容如下所示:(重新編譯,成部署目錄,并把資源自動部署進板卡)


審核編輯 黃宇
-
算法
+關注
關注
23文章
4700瀏覽量
94789 -
開發板
+關注
關注
25文章
5538瀏覽量
102478 -
圖像分類
+關注
關注
0文章
96瀏覽量
12111 -
rv1126
+關注
關注
0文章
106瀏覽量
3361
發布評論請先 登錄
評論