描述

作為我之前關(guān)于使用 Sipeed MaiX 板進行圖像識別的文章的延續(xù)，我決定寫另一個教程，重點是對象檢測。但請記住，我不是 Kendryte 或 Sipeed 開發(fā)團隊的成員，無法回答與他們的產(chǎn)品相關(guān)的所有問題。本質(zhì)上， aXeleRate是基于我用于訓練圖像識別/對象檢測模型的腳本集合 - 組合成一個框架并針對 Google Colab 上的工作流程進行了優(yōu)化。使用起來更方便，更新更及時。

2022 年 3 月 29 日更新。我盡我所能定期更新我的文章，并根據(jù)您在 YouTube/Hackster 評論部分的反饋。如果您想表達對這些努力的支持和贊賞，請考慮給我買杯咖啡（或披薩）:)。

對于舊版本的文章，你仍然可以在steemit.com 上看到。

第 1 步：對象檢測模型架構(gòu)說明

圖像識別（或圖像分類）模型將整個圖像作為輸入，并輸出我們試圖識別的每個類別的概率列表。如果我們感興趣的對象占據(jù)了圖像的大部分并且我們不太關(guān)心它的位置，這將非常有用。但是，如果我們的項目（比如人臉跟蹤相機）不僅需要了解圖像中對象的類型，還需要了解其坐標，該怎么辦。那么需要檢測多個對象（例如計數(shù)）的項目呢？

這是對象檢測模型派上用場的時候。在本文中，我們將使用 YOLO（你只看一次）架構(gòu)，并重點解釋這個特定架構(gòu)的內(nèi)部機制。

我們試圖確定圖片中存在哪些對象以及它們的坐標。由于機器學習不是魔術(shù)，也不是“思維機器”，而只是一種使用統(tǒng)計數(shù)據(jù)優(yōu)化功能（神經(jīng)網(wǎng)絡）以更好地解決特定問題的算法。我們需要對這個問題進行解釋，使其更“可優(yōu)化”。這里的一個天真的方法是讓算法最小化它的預測和對象的正確坐標之間的損失（差異）。只要我們在圖像中只有一個對象，這就會很好地工作。對于多個對象，我們采用不同的方法——我們添加網(wǎng)格并讓我們的網(wǎng)絡預測每個網(wǎng)格中對象的存在（或不存在）。好聽，但是仍然給網(wǎng)絡留下了太多的不確定性——如何輸出預測以及在一個網(wǎng)格單元內(nèi)有多個中心的對象時該怎么辦？我們需要再添加一個約束——所謂的錨。錨點是初始大小（寬度、高度），其中一些（最接近對象大小）將調(diào)整為對象大小 - 使用神經(jīng)網(wǎng)絡的一些輸出（最終特征圖）。

所以，這是一個關(guān)于 YOLO 架構(gòu)神經(jīng)網(wǎng)絡對圖像執(zhí)行對象檢測時發(fā)生了什么的頂級視圖。根據(jù)特征提取器網(wǎng)絡檢測到的特征，對每個網(wǎng)格單元進行一組預測，包括錨點偏移量、錨點概率和錨點類別。然后我們丟棄低概率的預測，瞧！

第 2 步：準備環(huán)境

aXeleRate 基于 penny4860 的精彩項目，SVHN yolo-v2 數(shù)字檢測器。 aXeleRate 將這種在 Keras 中的 YOLO 檢測器實現(xiàn)提升到一個新的水平，并使用其方便的配置系統(tǒng)來執(zhí)行圖像識別/對象檢測和具有各種后端的圖像分割網(wǎng)絡的訓練和轉(zhuǎn)換。

使用 aXeleRate 有兩種方法：在 Ubuntu 機器上本地運行或在 Google Colab 中運行。要在 Google Colab 中運行，請查看以下示例：

PASCAL-VOC 目標檢測 Colab Notebook

現(xiàn)在在本地訓練您的模型并將其導出以用于硬件加速也變得更加容易。我強烈建議您在 Anaconda 環(huán)境中安裝所有必要的依賴項，以使您的項目與其他項目分開并避免沖突。

在此處下載安裝程序。

安裝完成后，新建環(huán)境：

conda create -n yolo python=3.7

讓我們激活新環(huán)境

conda activate yolo

bash shell 前的前綴將與環(huán)境名稱一起出現(xiàn)，表明您現(xiàn)在在該環(huán)境中工作。

在本地機器上安裝 aXeleRate

pip install git+https://github.com/AIWintermuteAI/aXeleRate

然后運行它來下載訓練和推理所需的腳本：

git clone https://github.com/AIWintermuteAI/aXeleRate.git

您可以使用 aXeleRate 文件夾中的 tests_training.py 運行快速測試。它將為每種模型類型運行訓練和推理，保存和轉(zhuǎn)換訓練好的模型。由于它只訓練 5 個 epoch 并且數(shù)據(jù)集非常小，您將無法獲得有用的模型，但此腳本僅用于檢查是否存在錯誤。

第 3 步：使用 Keras 訓練對象檢測模型

現(xiàn)在我們可以使用配置文件運行訓練腳本。由于 YOLO 目標檢測器的 Keras 實現(xiàn)相當復雜，因此我將解釋如何配置訓練并描述相關(guān)模塊，而不是解釋每個相關(guān)的代碼，以防您想自己對它們進行一些更改。

讓我們從一個玩具示例開始，訓練一個浣熊探測器。/config 文件夾內(nèi)有一個配置文件 raccoon_detector.json。我們選擇 MobileNet7_5 作為架構(gòu)（其中 7_5 是原始 Mobilenet 實現(xiàn)的 alpha 參數(shù)，控制網(wǎng)絡的寬度）和 224x224 作為輸入大小。讓我們看一下配置中最重要的參數(shù)：

類型是模型前端 - 分類器、檢測器或 Segnet
架構(gòu)是模型后端（特征提取器）

- 全 Yolo - Tiny Yolo - MobileNet1_0 - MobileNet7_5 - MobileNet5_0 - MobileNet2_5 - SqueezeNet - VGG16 - ResNet50

有關(guān)錨點的更多信息，請在此處閱讀 https://github.com/pjreddie/darknet/issues/568

標簽是數(shù)據(jù)集中存在的標簽。重要提示：請列出數(shù)據(jù)集中存在的所有標簽。

object_scale確定對對象預測器置信度的錯誤預測懲罰多少

no_object_scale確定對非對象預測器的置信度的錯誤預測懲罰多少

coord_scale確定對錯誤位置和大小預測（x、y、w、h）的懲罰程度

class_scale決定對錯誤的類預測懲罰多少

增強- 圖像增強、調(diào)整大小、移動和模糊圖像，以防止過度擬合并在數(shù)據(jù)集中有更大的多樣性。

train_times, validation_times - 重復數(shù)據(jù)集的次數(shù)。如果您有增強功能，則很有用

啟用

first_trainable_layer - 如果您使用的是預訓練的特征網(wǎng)絡，則允許您凍結(jié)某些層

現(xiàn)在我們需要下載我在Google Drive上共享的數(shù)據(jù)集（原始數(shù)據(jù)集），這是一個浣熊檢測數(shù)據(jù)集，包含 150 張帶注釋的圖片。

確保相應地更改配置文件（train_image_folder、train_annot_folder）中的行，然后使用以下命令（來自 aXeleRate 文件夾）開始訓練：

python axelerate/train.py -c configs/raccoon_detector.json

train.py 從 .json 文件中讀取配置并使用 axelerate/networks/yolo/yolo_frontend.py 腳本訓練模型。yolo/backend/loss.py 是實現(xiàn)自定義損失函數(shù)的地方，yolo/backend/network.py 是創(chuàng)建模型的地方（輸入、特征提取器和檢測層放在一起）。axelerate/networks/common_utils/fit.py 是實現(xiàn)訓練過程的腳本，而 axelerate/networks/common_utils/feature.py 包含特征提取器。如果您打算使用帶有 K210 芯片和 Micropython 固件的訓練模型，由于內(nèi)存限制，您可以在 MobileNet（2_5、5_0 和 7_5）和 TinyYolo 之間進行選擇，但我發(fā)現(xiàn) MobileNet 提供了更好的檢測精度。

由于它是一個玩具示例并且僅包含 150 張浣熊的圖像，因此即使沒有 GPU，訓練過程也應該非常快，盡管準確度遠非一流。對于與工作相關(guān)的項目，我訓練了一個交通標志檢測器和一個數(shù)字檢測器，這兩個數(shù)據(jù)集都包含了數(shù)千個訓練示例。

第 4 步：將其轉(zhuǎn)換為 .kmodel 格式

使用aXeleRate，模型轉(zhuǎn)換是自動進行的——這可能是與舊版訓練腳本最大的不同！另外，您可以將模型文件和訓練圖整齊地保存在項目文件夾中。此外，我確實發(fā)現(xiàn)驗證準確度有時無法估計對象檢測的模型實際性能，這就是為什么我添加 mAP 作為對象檢測模型的驗證指標的原因。您可以在此處閱讀有關(guān) mAP 的更多信息。

如果 mAP、平均精度（我們的驗證指標）在 20 個 epoch 內(nèi)沒有提高，則訓練將提前停止。每次 mAP 改進時，模型都會保存在項目文件夾中。訓練結(jié)束后，aXeleRate 自動將最佳模型轉(zhuǎn)換為指定格式 - 您現(xiàn)在可以選擇“tflite”、“k210”或“edgetpu”。

現(xiàn)在到最后一步，在 Sipeed 硬件上實際運行我們的模型！

第 5 步：在 Micropython 固件上運行

可以使用 C 代碼使用我們的對象檢測模型運行推理，但為了方便起見，我們將使用 Micropython 固件和 MaixPy IDE 代替。

從這里下載MaixPy IDE和從這里下載 micropython 固件。您可以使用 python 腳本 kflash.py 燒錄固件或在此處下載單獨的 GUI flash 工具。

將 model.kmodel 復制到 SD 卡的根目錄，并將 SD 卡插入 Sipeed Maix Bit（或其他 K210 設備）。或者，您可以將 .kmodel 刻錄到設備的閃存中。我的示例腳本從閃存讀取 .kmodel。如果您使用的是 SD 卡，請更改此行

task = kpu.load(0x200000)

至

task = kpu.load("/sd/model.kmodel")

打開 MaixPy IDE 并按下連接按鈕。從 example_scripts/k210/detector 文件夾打開 raccoon_detector.py 腳本，然后按開始按鈕。您應該會看到來自攝像機的實時流，周圍有邊界框……好吧，浣熊。您可以通過提供更多訓練示例來提高模型的準確性，但請記住，它是精靈小模型（1.9 M），并且在檢測小物體時會遇到麻煩（由于分辨率低）。

我在上一篇關(guān)于圖像識別的文章的評論中收到的一個問題是如何通過 UART/I2C 將檢測結(jié)果發(fā)送到連接到 Sipeed 開發(fā)板的其他設備。在我的 github 存儲庫中，您將能夠找到另一個示例腳本 raccoon_detector_uart.py，它（您猜對了）檢測浣熊并通過 UART 發(fā)送邊界框的坐標。請記住，用于 UART 通信的引腳因不同的板而異，您需要在文檔中自行檢查。

第 6 步：總結(jié)

Kendryte K210 是用于計算機視覺的堅固芯片，靈活，但可用內(nèi)存有限。到目前為止，在我的教程中，我們已經(jīng)介紹了使用它來識別自定義對象、檢測自定義對象和運行一些基于 OpenMV 的計算機視覺任務。我知道它也適用于人臉識別，并且經(jīng)過一些修改，應該可以進行姿勢檢測和圖像分割（例如用于單目深度估計）。隨意 fork 我的 GitHub 存儲庫并自己做一些很棒的事情！

以下是我在編寫本教程時使用的一些文章，如果您想了解有關(guān)使用神經(jīng)網(wǎng)絡進行對象檢測的更多信息，請查看：

邊界框物體檢測器：了解 YOLO，你只看一次

了解 YOLO（更多數(shù)學）

關(guān)于 YOLO 對象本地化如何與 Keras 配合使用的溫和指南（第 2 部分）

使用 YOLO、YOLOv2 和現(xiàn)在的 YOLOv3 進行實時對象檢測

希望您可以利用您現(xiàn)在擁有的知識來構(gòu)建一些帶有機器視覺的很棒的項目！你可以在這里購買 Sipeed 板，它們是嵌入式系統(tǒng)上機器學習最便宜的選擇之一。

如果您有任何問題，請在LinkedIn上添加我，并訂閱我的 YouTube 頻道，以獲得有關(guān)機器學習和機器人技術(shù)的更多有趣項目的通知。