概述

隨著智能手機、可穿戴設備和傳感器等各類端側設備不斷產生更多的數據，邊緣計算也變得日益重要。在邊緣側執行人工智能 (AI) 推理可減少延遲、提高隱私性并降低帶寬需求，但邊緣設備往往受到嚴格的功耗限制。

奇景光電為此開發了一款超低功耗 AI 處理器 WiseEye 2 (WE2)，可用于在功耗受限的設備中實現邊緣 AI 推理。

邊緣 AI 所面臨的挑戰

由于可用的內存、計算和功率有限，在端側設備上執行 AI 推理并非易事。大多數 AI 加速器芯片都依賴于外部的動態隨機訪問內存 (DRAM)，這無疑增加了成本和功耗。而 WE2 采用了創新架構，突破了這些限制。

WE2 AI 處理器的主要特性

WE2 AI 處理器的性能可達 50 GOPS，同時在 1mm2 晶粒面積中僅消耗 1-10mW 能耗。其主要特性包括：

雙核 Arm Cortex-M55 處理器

Arm Ethos-U55，用于 AI 加速

無需外部 DRAM

集成 DC-DC 轉換器，用于提高能效

具備安全啟動等硬件安全功能

支持 TensorFlow Lite Micro 和 TVM

開源工具鏈

善用 Arm 資源

WE2 AI 處理器基于 Arm 架構并善用 Arm 提供的豐富資源，其中包括：

性能：搭載的 Arm Cortex-M55 處理器可實現高速視覺處理，“大”核的運行速度最高達 400MHz，可有效處理機器學習 (ML) 工作負載。與僅使用微控制器相比，可顯著加快推理速度。該芯片在 AI 推理前通過 Arm Helium 指令進行圖像處理、圖像裁剪、調整大小和顏色等。

能效：“小核 Cortex-M55”的運行頻率為 150MHz，能夠以超低功耗執行始終在線的任務。

可擴展性：Cortex-M55 與 Arm 的 ML 框架（例如 CMSIS-NN）兼容，有助于實現靈活的軟件開發。例如，可以在 Cortex-M55 或其他 Arm 核心上運行相同的代碼。

硬件集成：將處理器與 Arm Ethos-U55 加速器和視覺 IP 相集成，有助于CPU、硬件加速器和外設之間的緊耦合處理。

生態系統支持：搭載 Cortex-M55 時，開發者可充分利用 Arm 廣泛生態系統所提供的工具、軟件和技術支持等豐富資源。這正是奇景光電選擇 Arm 處理器的關鍵因素之一。

針對視覺應用進行優化

WE2 針對在邊緣側運行的視覺 AI 模型進行了相應的優化。該芯片運行速度最高可達 400MHz，可高效執行視覺處理任務。其支持運行的模型可廣泛用于：

人臉關鍵點檢測：除了基本的人臉檢測功能外，還能執行人臉關鍵點檢測，識別眼睛、鼻子和嘴巴等關鍵的面部結構。

人體姿勢估計：WE2 可以通過檢測關鍵關節和四肢來判斷人體姿勢，比如通過識別手臂、腿、軀干和頭部等身體部位，確定身體的整體位置和動作。這已經在健身追蹤、姿勢控制和動作識別等領域被應用。

目標檢測：目標檢測 Yolo v8n 模型可以在 WE2 上運行，能夠檢測場景中的多個物體目標并進行分類。該模型可以識別多達 80 種以上的常見物體，例如人、汽車、車牌、動物、家居用品和放在門口的包裹等。

專為靈活性而設計

WE2 支持外部閃存，因此可以將大型 AI 模型存儲在片外。WE2 芯片可通過數字視頻端口 (DVP) 與圖像傳感器對接。通過 Arm 生態系統的賦能，奇景光電實現了軟件兼容性。

利用 Keil MDK、VS Code、TensorFlow MOT、Pytorch 和 TinyNeuralNetwork 等開源工具，奇景光電可支持用戶開發定制化 AI 應用，并針對低功耗進行優化。此外，奇景光電還提供了參考模型來協助進行引導程序的開發。

早期客戶采用

目前， WE2 AI 處理器已被客戶采用于各種用例中。例如，有客戶將 WE2 芯片與筆記本電腦攝像頭集成，以便在待機模式下進行人物動態檢測，確保在檢測到用戶時，能即刻喚醒系統。

由于 WE2 具備較高能效，因此非常適合用于電池供電和主流的邊緣側產品。奇景光電計劃在未來幾代產品中增加集成圖像信號處理 (ISP) 功能，以進一步提升視覺功能。總而言之，奇景光電 WE2 可以在資源受限的邊緣側設備上進行 AI 推理。憑借專為計算機視覺優化而打造的創新架構，WE2 成功地將 AI 和 ML 引入了新一代端側和物聯網產品中。

審核編輯：劉清