描述

概述

邊緣人工智能涉及將機(jī)器學(xué)習(xí)模型加載到微控制器上，使它們能夠?qū)Ω鼜V泛的數(shù)據(jù)做出比傳統(tǒng)編程設(shè)備更“智能”的決策。這個項目是關(guān)于如何使用 QuickLogic 的 QuickFeather 開發(fā)工具包和一套 SensiML 工具開始使用這項技術(shù)來收集數(shù)據(jù)、創(chuàng)建模型和部署它。對于科學(xué)家、工程師和業(yè)余愛好者等解決氣候變化等重大問題的人來說，這是一個非常有用的工具。如果您對此感興趣，請查看當(dāng)前的挑戰(zhàn)氣候變化競賽，鼓勵每個人使用帶有 SensiML 的 QuickFeather 來解決諸如減少能源消耗或早期野火警告等問題。

快羽

QuickFeather 開發(fā)套件是一款令人印象深刻的設(shè)備，它將大量功能集成到一個小尺寸中。以下是一些規(guī)格：

• QuickLogic EOS S3 處理器（Zephyr OS 全面支持的第一個支持 FPGA 的 Arm Cortex-M4F MCU）

?

外部連接：

• 16Mb 閃存
• mCube MC3635加速度計
• 英飛凌DPS310壓力傳感器
• 英飛凌 IM69D130 PDM 數(shù)字麥克風(fēng)

所有這些都具有標(biāo)準(zhǔn) Feather 規(guī)范的占地面積和布局。

設(shè)置硬件

在開始任何其他操作之前，您需要讓 QuickFeather 成為最新的二進(jìn)制文件，這只需幾個步驟即可完成。首先，從這里下載最新的.bin文件，并確保選擇用于簡單流收集的文件，而不是MQTT-SN 文件。然后使用下載 TinyFPGA 程序員應(yīng)用程序，然后安裝 Python 庫。它需要 Python 3.6 或更高版本，因此請記住這一點(diǎn)。git clonegit clone --recursive https://github.com/QuickLogic-Corp/TinyFPGA-Programmer-Application.gitpip3 install tinyfpgab

?

將.bin之前的文件放入您剛剛保存克隆的文件夾（它應(yīng)該包含tinyfpga-programmer-gui.py）后，通過 USB 插入設(shè)備并按下 QuickFeather 上的“重置”按鈕，然后在五秒鐘內(nèi)按下“用戶”按鈕。這會導(dǎo)致 LED 開始閃爍綠色，表示開發(fā)板處于上傳模式。運(yùn)行命令python tinyfpga-programmer-gui.py --port COMX --m4 quickfeather-simple-stream-data-collection.bin --mode m4通過 USB 閃存二進(jìn)制文件，其中COMXQuickFeather 的 COM 端口。程序上傳完成后，按“重置”按鈕加載新應(yīng)用程序。LED 應(yīng)閃爍藍(lán)色五秒鐘，完成后熄滅。

設(shè)置 SensiML 數(shù)據(jù)捕獲實驗室

SensiML Data Capture Lab (DCL) 可以從設(shè)備中捕獲數(shù)據(jù)并將其傳輸?shù)街鳈C(jī)，然后可以在主機(jī)上進(jìn)一步處理和導(dǎo)出數(shù)據(jù)。首先，創(chuàng)建一個新帳戶并下載 DCL 軟件，然后登錄。

?

?

?

?

1 / 2

?

Simple Streaming 捕獲模式需要使用 QuickFeather 上的 UART 引腳，因此將 USB 連接到 TTL 串行適配器，如下所示：

?

其中橙色突出顯示的引腳是適配器的 RXD 引腳，紫色的引腳是適配器的 TXD 引腳。它通過 . 的波特率進(jìn)行通信460800。

在 DCL 中，通過給它命名并將它保存在某處來創(chuàng)建一個新項目。

?

然后從“Label Explorer”模式切換到“Capture”模式。DCL 使用 SSF 文件形式的插件，告訴它如何與設(shè)備通信。在此處下載用于 QuickFeather 的文件（確保選擇用于簡單流式處理的文件）并使用編輯->導(dǎo)入設(shè)備插件并選擇剛剛下載的 SSF 文件來添加它。在右上角，你會看到傳感器配置是空的，所以點(diǎn)擊添加新傳感器按鈕，選擇 QuickFeather Simple Stream 插件，使用“Motion”捕獲源，采樣率為每秒 105 個樣本，然后確保選中“加速度計”。繼續(xù)并將其保存為“傳感器 1”。

?

?

?

?

1 / 3

?

一些有用的功能

Data Capture Lab 具有一些不錯的功能，使其用途極為廣泛。可能最重要的一個是能夠從幾乎任何連接了任何傳感器的板上捕獲數(shù)據(jù)的能力，而不必等待它獲得官方支持。這可以通過創(chuàng)建一個指定該板的功能和配置的自定義 SSF 文件來實現(xiàn)。您還可以選擇將元數(shù)據(jù)添加到您的捕獲中，它可以用作標(biāo)簽，例如根據(jù)更具體的參數(shù)拆分訓(xùn)練數(shù)據(jù)或區(qū)分訓(xùn)練和測試數(shù)據(jù)集。最后，可以通過多種不同的方式查看收集到的數(shù)據(jù)，例如將軸拆分為單獨(dú)的圖形，或?qū)⒉东@的數(shù)據(jù)拼接在一起。還有更多功能，因此要了解更多信息，請訪問此頁面。

示例項目

因為這個項目只是為了入門，所以我們不會涉及軟件中的一些更高級的功能，但我們將介紹最相關(guān)的功能。生成的數(shù)據(jù)集會很小，這對這個項目來說很好，因為我們只對確定是否有運(yùn)動或板是否靜止感興趣。

捕獲數(shù)據(jù)

設(shè)置電路板后，繼續(xù)并在找到正確的串行端口（用于 USB 到 TTL 串行轉(zhuǎn)換器的端口！）后單擊 DCL 中的“連接”和“掃描設(shè)備”按鈕。如果它最初不起作用，請嘗試拔下轉(zhuǎn)換器并重新插入，或者斷開連接并重新連接。

?

在該窗格下方有一個用于添加標(biāo)簽和元數(shù)據(jù)的部分。我添加了我的兩個標(biāo)簽：rest和movement。然后對于元數(shù)據(jù)，我添加了 aClass并選擇了兩個值：Train和Test，表示每次捕獲是用于訓(xùn)練還是用于測試。

?

?

?

?

1 / 2

?

轉(zhuǎn)換數(shù)據(jù)集

通過按下Record底部的按鈕捕獲我的數(shù)據(jù)后，我需要稍微清理一下并確保只有代表我試圖隔離的特征的數(shù)據(jù)才能進(jìn)入，即運(yùn)動中沒有“休息”數(shù)據(jù)。

?

這可以通過轉(zhuǎn)到左上角的 Project Explorer 選項卡并雙擊要修改的捕獲來完成。然后，您可以通過在要保留的區(qū)域上按住右鍵單擊的同時拖動鼠標(biāo)來添加段。執(zhí)行此操作的次數(shù)越多，添加的段就越多。

?

您可以在右上角區(qū)域看到它們。這還允許您通過為每個標(biāo)簽創(chuàng)建段并更改標(biāo)簽來在同一捕獲中捕獲不同的標(biāo)簽。

?

前往“文件”->“關(guān)閉文件”后，是時候使用 Analytics Studio 從捕獲的數(shù)據(jù)生成模型了。請記住，保存在 DCL 中的數(shù)據(jù)會自動上傳并存儲在云中，盡管它可能需要一些時間才能刷新和顯示。

訓(xùn)練模型

我們首先在 Web 瀏覽器中轉(zhuǎn)到Analytics Studio并選擇在 DCL 中創(chuàng)建的項目。

?

要訓(xùn)??練模型，我們必須首先以查詢的形式告訴 Analytics Studio 我們要使用哪些數(shù)據(jù)。這可以通過單擊Prepare Data選項卡并輸入名稱、會話、標(biāo)簽、相關(guān)元數(shù)據(jù)、傳感器以及繪制方式來完成。保存后數(shù)據(jù)集應(yīng)該出現(xiàn)在右側(cè)，我們可以看到每個標(biāo)簽中有多少段。

?

可以通過轉(zhuǎn)到Build Model選項卡并輸入名稱、剛剛創(chuàng)建的查詢、窗口大小（使其與傳感器的捕獲率大小相同）、優(yōu)化指標(biāo)（f1-score 是最平衡的）來構(gòu)建管道，和分類器大小，它限制了模型的大小，非常適合加載到 ROM 受限的芯片上。單擊Optimize將完成并構(gòu)建模型，根據(jù)數(shù)據(jù)集的大小，可能需要一段時間才能完成。

?

?

?

?

1 / 2

?

部署

此過程的最后一步是部署，它以知識包的形式出現(xiàn)。將它們視為容納您的模型及其相關(guān)數(shù)據(jù)的容器。它們分為三種類型：二進(jìn)制（預(yù)構(gòu)建，只需閃存到電路板并運(yùn)行）、庫（輕松將其添加到您的項目并與 API 接口）或源代碼。對于這個項目，我們將只構(gòu)建一個二進(jìn)制文件，因此在Download Model選項卡中選擇您剛剛優(yōu)化的管道，以及以下目標(biāo)設(shè)備設(shè)置：

• 硬件平臺：QuickFeather 1.5.0
• 目標(biāo)操作系統(tǒng)：FreeRTOS
• 格式：二進(jìn)制
• 數(shù)據(jù)源：傳感器 1（板載加速度計）
• 輸出：簡單流式傳輸（通過 UART 引腳）

?

還要注意類圖。在這個項目中，一個方法的結(jié)果，一個1方法movement的結(jié)果。下載 zip 文件并將二進(jìn)制文件解壓縮到包含先前用于刷新 Simple Stream 固件的 Python 文件的同一文件夾。在 QuickFeather 返回上傳模式后，運(yùn)行與之前相同的命令，只是這次替換為知識包二進(jìn)制文件的名稱。打開帶有波特率的串行監(jiān)視器將顯示模型的分類輸出，如下所示，它可以工作！2restquickfeather-simple-stream-data-collection.bin460800

?

?

?

?

1 / 2 ?休息時

?

下一步

如果您對在邊緣使用機(jī)器學(xué)習(xí)感興趣，請查看挑戰(zhàn)氣候變化競賽并索取免費(fèi)的 QuickFeather 板。然后查看一些文檔，看看您可以添加哪些傳感器和/或組件來幫助解決我們當(dāng)前面臨的最重要的問題之一。

?