項目簡介

本項目使用Edge Impulse進行模型的訓練。Edge Impulse是一個端到端的開發平臺，專為構建和部署嵌入式機器學習模型而設計。它使開發人員能夠使用傳感器數據來構建自定義的機器學習模型，并在邊緣設備上運行這些模型，而無需互聯網連接。Edge Impulse提供了一系列的工具和庫，使開發人員能夠快速有效地構建和部署自定義的嵌入式機器學習應用程序。

之所以使用鳥巢作為項目的識別對象，是因為鳥巢的特征繁多不容易提取，可以充分測試本設備的運算能力，為日后識別模型和設備的選型提供參考。

一、需要用到的工具和安裝包和源碼包

工程源碼:

https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board

RT-Thread env工具:

https://www.rt-thread.org/download.html

Renesas Flash Programmer燒錄工具:

https://www.renesas.com/us/en/software-tool/renesas-flash-programmer-programming-gui

openmv ide

https://openmv.io/pages/download

模型開發平臺：

https://edgeimpulse.com/

二、開發過程

1、openmv工程的下載與編譯

克隆sdk-bsp-ra8d1-vision-board源碼包，使用env工具切換至目錄$PRJ/sdk-bsp-ra8d1-vision-board/projects/vision_board_openmv

運行mklinks.bat生成兩個鏈接

運行env并切換至vision_board_openmv/, 使用scons命令進行編譯

編譯過程會報如下錯誤

參考https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board/pull/88，使用 arm-gnu-toolchain-13.2.rel1 版本工具鏈進行編譯。下載工具鏈，并在env中設置環境變量set RTT_EXEC_PATH=D:\your toolchain path\bin

2、模型訓練

進行模型開發平臺https://edgeimpulse.com/

按提示新建工程并設置工程配置項

選擇左欄進行原始數據上傳，配置如下，我選擇的是自動劃分訓練和測試項，自定義標簽

圖片上傳后，可以分別查看訓練集和測試集的內容

根據Labeling queue (0)進行圖片的標注

使用Impulse design-> Create impulse 進行模型配置

使用Impulse design-> image配置顏色深度為RGB，并生成特征。

使用Impulse design-> Object Detection 配置訓練參數并開始訓練

訓練結果

工程庫的生成Deployment-> build

生成文件

三、項目測試

將labels.txt和trained.tflite兩個文件復制到sd卡，并將卡插入開發板

燒錄vision_board_openmv/工程的hex文件到開發板

打開openmv ide并打開ei_object_detection.py

連接并運行腳本

可以看到訓練效果，已經能識別到鳥巢。