作者：Poornima Apte

投稿人：DigiKey 北美編輯

在過去的幾年里，邊緣 AI 越來越受歡迎。預(yù)計(jì)到 2035 年前，相關(guān)全球市場將以 27.8% 的復(fù)合年增長率增長，凈值增至 3568.4 億美元。

這種需求是多種因素推動的結(jié)果。公司普遍對將敏感或?qū)Ｓ行畔魉偷皆贫舜嬖诎踩檻]，而在邊緣處理數(shù)則可消除這種顧慮。邊緣處理還能減少延遲，這在需要瞬間做出決策的實(shí)時(shí)應(yīng)用中可能非常重要。工業(yè)物聯(lián)網(wǎng) (IIoT) 設(shè)備提供數(shù)據(jù)驅(qū)動的操作，這反過來又增加了邊緣 AI 的用例。從便攜式醫(yī)療設(shè)備到可穿戴設(shè)備和 IIoT，快速擴(kuò)展的應(yīng)用正在推動邊緣 AI 市場的蓬勃發(fā)展。

隨著這項(xiàng)技術(shù)日漸普及，對于能夠滿足嵌入式系統(tǒng)數(shù)據(jù)處理需求的組件，市場需求也在同步攀升。

計(jì)算處理的選擇：單片機(jī)還是微處理器

目前，在工業(yè)和其他嵌入式設(shè)備中部署的絕大多數(shù)物聯(lián)網(wǎng)設(shè)備都是內(nèi)存非常小的低功耗設(shè)備。設(shè)備的處理能力來自小型嵌入式單片機(jī) (MCU)。這些 MCU 采用低功耗架構(gòu)，相較于采用微處理器的系統(tǒng)，能讓嵌入式系統(tǒng)在成本效益方面更具優(yōu)勢。

在邊緣 AI 出現(xiàn)之前，MCU 一直能很好地滿足物聯(lián)網(wǎng)設(shè)備的處理需求。但傳統(tǒng)的 MCU 通常無法提供更復(fù)雜的機(jī)器學(xué)習(xí)算法所需的計(jì)算能力，而這些算法是邊緣 AI 應(yīng)用的標(biāo)志。此類算法通常在具有更多計(jì)算能力的圖形處理單元 (GPU) 和微處理器上運(yùn)行。然而，使用這些元器件也存在一些固有弊端，其中就包括耗電量較大這一問題。微處理器或 GPU 并不是能效最高的解決方案。因此，微處理器驅(qū)動的邊緣計(jì)算可能并不是所有邊緣 AI 應(yīng)用的最佳選擇，而供應(yīng)商選擇依賴 MCU。

獨(dú)立 MCU 比 GPU 和微處理器更便宜。為了擴(kuò)展邊緣 AI 應(yīng)用，越來越需要在發(fā)揮 MCU 低成本、低功耗優(yōu)勢的同時(shí)，提升其計(jì)算性能。

事實(shí)上，多年來，一些因素已經(jīng)融合在一起，推動著邊緣 MCU 的功能持續(xù)提升。

有助于在邊緣使用 MCU 的因素

盡管人們普遍認(rèn)為傳統(tǒng) MCU 對于 AI 相關(guān)的數(shù)據(jù)處理來說過于輕量級，但 MCU 設(shè)計(jì)的優(yōu)化，加上更為廣泛的技術(shù)生態(tài)系統(tǒng)的變革，正在推動著 MCU 在邊緣 AI 用例中的應(yīng)用。

這些因素包括：

• 在 MCU 中集成 AI 加速器：當(dāng)單靠 MCU 無法滿足邊緣計(jì)算需求時(shí)，將其與神經(jīng)處理單元 (NPU) 或數(shù)字信號處理器 (DSP) 等 AI/ML 加速器集成可以提高性能。
  例如，[STMicroelectronics] 的 [STM32N6 系列 CPU]（圖 1）基于運(yùn)行頻率為 800 MHz 的 [Arm] Cortex-M55。Arm Helium 矢量處理技術(shù)為標(biāo)準(zhǔn) CPU 帶來了 DSP 處理功能。STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內(nèi)部開發(fā)的 NPU，專為強(qiáng)大的邊緣 AI 應(yīng)用而設(shè)計(jì)。

圖 1：STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內(nèi)部開發(fā)的神經(jīng)處理單元 (NPU)，專為高能效邊緣 AI 應(yīng)用而設(shè)計(jì)。（圖片來源：STMicroelectronics）

• 針對邊緣優(yōu)化的 AI 模型：復(fù)雜繁重的 AI 和機(jī)器學(xué)習(xí)算法不能簡單地轉(zhuǎn)移到 MCU。它們需要針對有限的計(jì)算資源進(jìn)行優(yōu)化。TinyML 和 MobileNet 等緊湊型 AI 架構(gòu)與優(yōu)化技術(shù)相結(jié)合，實(shí)現(xiàn)了這一點(diǎn)，甚至使邊緣的 MCU 能夠執(zhí)行 AI 算法。STMicroelectronics 推出了 STM32Cube.AI，這是一款軟件解決方案，能夠把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為針對 STM32 MCU 進(jìn)行優(yōu)化的 C 代碼。即便存在處理能力與內(nèi)存方面的限制，將該解決方案與 STM32N6 搭配使用，也有助于確保達(dá)成邊緣 AI 應(yīng)用所需的性能。
• AI 生態(tài)系統(tǒng)的興起：僅僅擁有能夠在邊緣進(jìn)行 AI 相關(guān)處理的硬件組件遠(yuǎn)遠(yuǎn)不夠。在邊緣執(zhí)行 AI 算法需要對開發(fā)人員友好的生態(tài)系統(tǒng)，以幫助簡化 AI 的部署。TensorFlow Lite for Microcontrollers 等特定工具有助于提供此類解決方案。Hugging Face 等開源社區(qū)和其他平臺提供了預(yù)先訓(xùn)練的模型和代碼庫，開發(fā)人員可以根據(jù)特定用例對其進(jìn)行測試和定制。這樣的 AI 生態(tài)系統(tǒng)極大地降低了技術(shù)應(yīng)用的門檻，推動了 AI 技術(shù)的普及化進(jìn)程，即便對于那些資源有限、無法獨(dú)立從零開始開發(fā)專有 AI 模型的企業(yè)而言，也能夠順利接入并利用 AI 技術(shù)。
  STMicroelectronics 有專門定制的硬件和軟件生態(tài)系統(tǒng) ST Edge AI Suite，用于優(yōu)化邊緣 AI 解決方案。該套件整合了 ST 的許多 AI 庫和工具，使開發(fā)人員更容易找到可以為單片機(jī)生成代碼的模型、數(shù)據(jù)源、工具和編譯器。
  模型庫中的預(yù)訓(xùn)練模型為開發(fā)人員提供了起點(diǎn)。這些模型使用開放神經(jīng)網(wǎng)絡(luò)交換 (ONNX) 格式，這是一種開放標(biāo)準(zhǔn)，用于表示計(jì)算機(jī)視覺 (CV)、自然語言處理 (NLP)、生成式人工智能 (GenAI) 和圖形機(jī)器學(xué)習(xí)等領(lǐng)域的機(jī)器學(xué)習(xí)模型。
• 標(biāo)準(zhǔn)化和互操作性代碼：AI 生態(tài)系統(tǒng)幫助企業(yè)測試了邊緣 AI 用例，而開放和標(biāo)準(zhǔn)化的模型格式則助力實(shí)現(xiàn)了跨硬件系統(tǒng)的無縫集成。跨軟件工具和 MCU 的兼容性有助于減少邊緣 AI 的實(shí)施障礙。
• 關(guān)注邊緣安全：雖然 MCU 消除或至少減少了對數(shù)據(jù)云處理的需求，但硬件組件提供了額外的安全層。它們通常包括硬件加密和安全啟動等功能，能夠有效保護(hù)數(shù)據(jù)和 AI 模型，使其免受惡意攻擊者的破壞。

STM32N6 硬件的特色功能

STM32N6 系列包括帶有 NPU 的高性能 MCU、攝像頭模塊捆綁包和談探索套件。該系列采用典型的 ARM Cortex-M 架構(gòu)，并具有多項(xiàng)關(guān)鍵特性，使這些設(shè)備適用于邊緣 AI。其中包括：

• Neural ART 加速器，可以運(yùn)行神經(jīng)網(wǎng)絡(luò)模型。該加速器針對密集型 AI 算法進(jìn)行了優(yōu)化，時(shí)鐘頻率為 1 GHz，以平均 3 TOPS/W 的能效提供 600 GOPS。
• 支持“Helium”M 型矢量擴(kuò)展 (MPVE) 指令，這是一組可實(shí)現(xiàn)強(qiáng)大的神經(jīng)網(wǎng)絡(luò)和 DSP 功能的 ARM 指令。例如，這些指令被設(shè)計(jì)用于處理 16 位和 32 位浮點(diǎn)數(shù)，這使它們能夠有效地處理低精度數(shù)字。而這些對于處理 ML 模型非常重要。
• ST Edge AI Suite 是一個(gè)免費(fèi)軟件工具、用例和文檔的存儲庫，可幫助各種經(jīng)驗(yàn)水平的開發(fā)人員為智能邊緣創(chuàng)建 AI。該套件還包括 ST Edge AI Developer Cloud 等工具，其中包含 STM32 模型庫中的專用神經(jīng)網(wǎng)絡(luò)、用于真實(shí)世界基準(zhǔn)測試的板卡集群 (Board Farm) 等。
• 近 300 個(gè)可配置的乘法累加單元和兩條 64 位 AXI 內(nèi)存總線，吞吐量高達(dá) 600 GOPS。
• 內(nèi)置專用圖像信號處理器 (ISP)，可直接連接多臺 500 萬像素?cái)z像頭。要構(gòu)建包含攝像頭的系統(tǒng)，開發(fā)人員必須針對特定的 CMOS 攝像頭傳感器及其鏡頭微調(diào) ISP。這種微調(diào)通常需要專業(yè)知識或第三方的幫助。為此，ST 為開發(fā)人員提供了一款名為 iQTune 的專用桌面軟件。該軟件運(yùn)行在 Linux 工作站上，與 STM32 上的嵌入式代碼通信，分析色彩精度、圖像質(zhì)量和統(tǒng)計(jì)數(shù)據(jù)，并適當(dāng)配置 ISP 的寄存器。
• 支持 MIPI CSI-2（移動應(yīng)用中最流行的攝像頭接口），無需與此特定攝像頭串行接口兼容的外部 ISP。
• 單個(gè)器件集成了豐富的附加功能，這意味著開發(fā)人員現(xiàn)在無需部署多個(gè) MCU，便能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)與 GUI 的同步運(yùn)行。
• 強(qiáng)大的安全性，包括 Target SESIP 3 級和 PSA 3 級認(rèn)證。

總結(jié)

過去，若要在邊緣運(yùn)行機(jī)器學(xué)習(xí)應(yīng)用，嵌入式系統(tǒng)必須借助高性能的微處理器，才能承擔(dān)起執(zhí)行復(fù)雜算法的繁重任務(wù)。得益于 STMicroelectronics 推出的 STM33N6 系列 CPU 這類功能強(qiáng)勁的 MCU，如今企業(yè)能夠在邊緣實(shí)現(xiàn) AI 的普及化。STMicroelectronics 為邊緣 AI 部署提供了完整的生態(tài)系統(tǒng)，包括用于推理的軟件和硬件組件。

審核編輯 黃宇