開(kāi)發(fā)機(jī)器學(xué)習(xí) (ML) 應(yīng)用頗具挑戰(zhàn)，尤其是涉及專用硬件時(shí)。好消息是，Arm Corstone-320 固定虛擬平臺(tái) (Fixed Virtual Platform, FVP) 簡(jiǎn)化了這個(gè)過(guò)程，無(wú)需物理硬件即可開(kāi)發(fā)和測(cè)試 ML 應(yīng)用。

Corstone-320 FVP 仿真平臺(tái)為開(kāi)發(fā)先進(jìn)的 ML 應(yīng)用提供了強(qiáng)大基礎(chǔ)。訪問(wèn)以下鏈接，了解如何開(kāi)始使用 Corstone-320 FVP，并利用該網(wǎng)站上提供的 Arm ML 嵌入式評(píng)估套件 (MLEK)。

什么是固定虛擬平臺(tái)?

固定虛擬平臺(tái) (FVP)是成熟的硬件仿真模型，無(wú)需物理硬件即可進(jìn)行軟件開(kāi)發(fā)和測(cè)試。FVP 在開(kāi)發(fā)初期尤其有價(jià)值，開(kāi)發(fā)者無(wú)需等到硬件到位，可大幅提前啟動(dòng)軟件開(kāi)發(fā)工作。

FVP 能夠準(zhǔn)確呈現(xiàn)最終的硬件，確保在 FVP 上開(kāi)發(fā)和測(cè)試的軟件在部署到物理設(shè)備上后，能夠按預(yù)期運(yùn)行。由此大大加快了開(kāi)發(fā)周期，降低了成本，并減輕了因依賴硬件而產(chǎn)生的風(fēng)險(xiǎn)。

Arm Corstone-320 介紹

ArmCorstone-320 是一個(gè)預(yù)先集成的系統(tǒng) IP，其中結(jié)合了 Arm Ethos-U85 NPU 和 Arm Cortex-M85 處理器。Ethos-U85 NPU 是一款專用 ML 處理器，旨在加速嵌入式和物聯(lián)網(wǎng)設(shè)備中的 ML 計(jì)算，是高效處理 ML 工作負(fù)載的理想選擇。

開(kāi)發(fā)者需要平臺(tái)軟件來(lái)充分發(fā)揮硬件的潛能。Arm 提供了大量可與 Corstone-320 配合使用的軟件組件和工具，其中包括：

以 CMSIS Core 和 CMSIS-Driver 庫(kù)的形式提供的基本設(shè)備驅(qū)動(dòng)程序和硬件抽象層。

與 FreeRTOS 和 Zephyr 等熱門實(shí)時(shí)操作系統(tǒng) (RTOS) 的集成。

諸如 Mbed TLS 和 Trusted Firmware-M 之類的安全軟件，提供強(qiáng)大的加密、安全存儲(chǔ)和安全的固件更新。

面向?qū)I(yè)開(kāi)發(fā)者的工具，包括 Keil MDK。

用于在 Ethos-U85 NPU 上運(yùn)行終端人工智能 (AI) 應(yīng)用的驅(qū)動(dòng)程序和庫(kù)。

Arm 的免費(fèi)開(kāi)源軟件讓開(kāi)發(fā)者可以在 Corstone-320 上構(gòu)建和運(yùn)行終端 AI 應(yīng)用。

Arm ML 嵌入式評(píng)估套件概覽及用例

開(kāi)源項(xiàng)目 Arm ML 嵌入式評(píng)估套件提供了一套即用型 ML 應(yīng)用，使用戶能夠開(kāi)發(fā)和評(píng)估在 Ethos-U NPU 和 Cortex-M CPU 上運(yùn)行的 ML 工作負(fù)載。該套件包括用于測(cè)量性能指標(biāo)（推理周期數(shù)等）的用例和工具。

MLEK 提供端到端軟件用例，展示了 Ethos-U NPU 和 Cortex-M CPU 的功能。以下列出了其中包含的 ML 應(yīng)用：

圖像分類：使用 Mobilenet V2 神經(jīng)網(wǎng)絡(luò)模型識(shí)別每個(gè)圖像中存在的物體。

關(guān)鍵詞檢測(cè) (KWS)：使用 MicroNet 模型識(shí)別語(yǔ)音中的關(guān)鍵詞。

自動(dòng)語(yǔ)音識(shí)別 (ASR)：使用 Wav2Letter 模型從語(yǔ)音中轉(zhuǎn)錄單詞。

KWS 和 ASR：使用 MicroNet 和 Wav2Letter 模型，在檢測(cè)到關(guān)鍵詞后，利用 Cortex-M 和 Ethos-U 進(jìn)行轉(zhuǎn)錄。

異常檢測(cè)：使用 MicroNet 模型檢測(cè)機(jī)器錄音中的異常行為。

視覺(jué)喚醒詞：使用 MicroNet 模型識(shí)別圖像中是否有人。

降噪：使用 RNNoise 模型在保留語(yǔ)音的同時(shí)，去除音頻中的噪聲。

物體檢測(cè)：使用 Yolo Fastest 模型檢測(cè)圖像中的人臉并在周圍繪制邊界框。

通用推理運(yùn)行器：使用你自己的模型為 Ethos-U NPU 開(kāi)發(fā)自定義用例。

開(kāi)始使用 Corstone-320 FVP

第一步

安裝 FVP

首先，安裝面向 Arm Corstone-320 的 FVP。按照 Arm ML 嵌入式評(píng)估套件項(xiàng)目安裝指南設(shè)置虛擬環(huán)境。

第二步

設(shè)置環(huán)境

接著，設(shè)置你的開(kāi)發(fā)環(huán)境。克隆 Arm ML 嵌入式評(píng)估套件存儲(chǔ)庫(kù)并按照提供的設(shè)置說(shuō)明進(jìn)行操作。確保已安裝所有必要的依賴項(xiàng)。另請(qǐng)參閱 Arm ML 嵌入式評(píng)估套件的完整文檔。

第三步

探索示例應(yīng)用

Arm ML 嵌入式評(píng)估套件項(xiàng)目提供了一系列 ML 應(yīng)用示例。首先，通過(guò)探索這些示例來(lái)了解 Ethos-U NPU 和 Cortex-M CPU 的使用方法。運(yùn)行提供的示例，以查看推理周期數(shù)和性能指標(biāo)。

第四步

在 FVP 上部署和運(yùn)行

選擇或開(kāi)發(fā) ML 應(yīng)用后，在 Corstone-320 FVP上進(jìn)行部署和運(yùn)行。首先，編譯你的應(yīng)用代碼并確保其與 FVP 環(huán)境兼容。將編譯后的二進(jìn)制文件移動(dòng)到虛擬環(huán)境并參考提供的指南。確保根據(jù)你的配置遵循相應(yīng)的部署說(shuō)明。

部署后，在 FVP 上開(kāi)始運(yùn)行應(yīng)用。監(jiān)控輸出日志并使用調(diào)試工具來(lái)跟蹤模型的性能和功能。利用收集到的性能指標(biāo)進(jìn)一步微調(diào)和優(yōu)化你的 ML 應(yīng)用。

修改現(xiàn)有的 Arm ML 嵌入式評(píng)估套件模型或集成你自己的自定義模型，以查看它們?cè)?Corstone-320 FVP 上的表現(xiàn)。通過(guò)嘗試不同的場(chǎng)景來(lái)優(yōu)化性能。

增強(qiáng)開(kāi)發(fā)工作流

為了進(jìn)一步增進(jìn)你的開(kāi)發(fā)能力，請(qǐng)?zhí)剿髦荚诤?jiǎn)化工作流的 Arm 項(xiàng)目和工具。

使用 Arm Keil MDK v6 工具

Keil MDK v6 是 Arm 提供的全面軟件開(kāi)發(fā)解決方案，適用于基于 Cortex-M 的微控制器和基于 Ethos 的 NPU。它提供了無(wú)縫創(chuàng)建、構(gòu)建和調(diào)試應(yīng)用所需的一切基本組件。

Keil MDK v6 利用 CMSIS-Pack 提供設(shè)備和電路板支持，并提供項(xiàng)目所需的軟件組件。新的 Keil Studio IDE 由一組 VS Code 擴(kuò)展組成，全面支持 CMSIS 工作流并提供集成調(diào)試器來(lái)實(shí)現(xiàn)高效的開(kāi)發(fā)體驗(yàn)。

首先，安裝 Keil Studio Pack。對(duì) CMSIS-Pack 的支持有助于加快開(kāi)發(fā)和部署速度。在 Visual Studio Code 中安裝 Keil MDK v6 擴(kuò)展時(shí)，會(huì)自動(dòng)配置所有必要的工具，并自動(dòng)安裝 Corstone FVP，以提高便利性。

在 GitHub 上，基于 CMSIS Pack 的 ML 示例可幫助你探索 Arm Keil MDK v6 工具。這些 ML 示例使用了 Keil MDK v6 和 MLEK中的 CMSIS-Pack。

探索其他項(xiàng)目和工具

除了上述步驟之外，還有其他一些重要資源可以提升你在使用 Corstone-320 FVP 時(shí)的開(kāi)發(fā)體驗(yàn)。

如果你想構(gòu)建一個(gè)連接到云服務(wù)并內(nèi)置安全功能的應(yīng)用，那么 Arm Corstone FreeRTOS 參考集成是一個(gè)很好的起點(diǎn)。其中提供了一個(gè)包含 FreeRTOS 內(nèi)核和庫(kù)的完全集成的堆棧，以及與 Trusted Firmware-M 安全庫(kù)集成的亞馬遜云科技 (AWS) 設(shè)備管理服務(wù)。

這符合嚴(yán)格的 PSA Certified 安全要求，并提供與 AWS 托管應(yīng)用的加密通信、安全的端側(cè)存儲(chǔ)和設(shè)備認(rèn)證等功能。此外也可以通過(guò) PSA 固件更新機(jī)制安全地更新設(shè)備固件。

另一個(gè)用于仿真的資源是 Arm 虛擬硬件 (Arm Virtual Hardware) 平臺(tái)，你可以在云端模擬硬件，用于開(kāi)發(fā)和測(cè)試目的。利用這個(gè)平臺(tái)，你可以在將應(yīng)用部署到實(shí)際硬件上之前，在虛擬環(huán)境中進(jìn)行測(cè)試，從而加快開(kāi)發(fā)周期。

結(jié)論

隨著 Arm Corstone-320 硬件和軟件的推出，開(kāi)發(fā)者可以更輕松地開(kāi)始構(gòu)建引人注目、功能豐富的端點(diǎn) AI 應(yīng)用。Arm 提供了一系列全面且易于使用的項(xiàng)目和教程，幫助你充分利用 Arm IP。在上述示例中，Corstone-320 FVP 與 Arm ML 嵌入式評(píng)估套件相結(jié)合，為在嵌入式和物聯(lián)網(wǎng)設(shè)備上開(kāi)發(fā)和評(píng)估 ML 應(yīng)用提供了一個(gè)強(qiáng)大的平臺(tái)。通過(guò)本指南，即可利用預(yù)先集成的系統(tǒng) IP 和 Arm 提供的各種工具來(lái)高效地創(chuàng)建和優(yōu)化 ML 工作負(fù)載。

此外，Arm Developer Community 提供了豐富的教程、文檔，并設(shè)有論壇，你可以在其中找到問(wèn)題的答案并與其他開(kāi)發(fā)者分享見(jiàn)解。這些資源將幫助您充分利用 Corstone-320 FVP 并增強(qiáng) ML 應(yīng)用開(kāi)發(fā)能力。