在AI芯片或神經加速處理器(Neural Network Processing Unit, NPU或Deep Learning Accelerator, DLA)領域中，大家也都說自家的芯片世界最棒，對手看不到車尾燈，難道沒有一個較為公正衡量芯片運行（推論）效能，就像手機跑分軟件一樣，讓大家比較信服的基準嗎？

其實在AI芯片領域中所謂的「效能」，可能因關心的重點不同而會有不同定義和解讀。分別可從硬件每秒可執行乘加的次數(又可細分FP32,FP16及INT8等)、對于特定模型在指定推論精度下每秒可執行次數或推論一次所需時間（包含有無模型優化處理）、特定模型推論功耗（推論一次耗費焦耳數）、每瓦特可執行乘加指令次數及其它特定規范時的表現，甚至有用每塊美金獲得算力來當成基準。所以常會遇到誰也不服誰，老王賣瓜自賣自夸的現象。

目前較被大家接受的就是ML Commons所提出的MLPerf規范，其中包含訓練及推論兩大項，而推論部份又可細分為數據中心(Datacenter)、邊緣(Edge)、行動(Mobile)及微型(Tiny,大多為MCU)。前不久(2023/6/27)才剛公布了Tiny v1.1測試結果報告，接下來就幫大家解讀一下這份報告，讓大家能更了解未來單芯片運行AI的方向及可行性。

評測場景及項目

目前ML Commons在Tiny部份先前已經過三輪(v0.5, v0.7, v1.0)測試，此次公布的是v1.1結果。測試時分為封閉(Closed)及開放(Open)型式，前者依官方規范測，而后者廠商可提出依自己規范測試更優的結果，不過不是每輪評測都會有開放型式。

目前主要評測項目如Fig.1 所示，共有四個項目，包含關鍵詞偵測(Keyword Spoting, KS)、視覺喚醒字(Visual Wake Words, VW)、影像分類(Image Classification, IC)及異常偵測(Anomaly Detection, AD)。而每個項目都是采單串流數據(Single Stream)方式進行，即推論完一筆再取下一筆進行推論。依照不同項目，分別使用對應的數據集和模型，并在指定的推論質量下進行評量。

Fig.1 MLPerf v1.1 工作場景及效能評量項目

參與評測公司、硬件及軟件

本次參與評測的項目共有32項，以下依不同項目分別介紹。

參與評測公司：共有10家，Krai, Nuvoton(新唐科技), STMicroelectronics(簡稱STM), Skymizer(臺灣發展軟件科技), cTuning, fpgaconvnet, Plumerai, Syntiant, Robert Bosh GmbH, kai-jiang（個人）。

參與評測開發板：共有14種，規格下如下所示。

STM NUCLEO-H7A3ZI-Q, Arm Cortex-M7(DSP+FPU) @280MHz

STM NUCLEO-L4R5ZI, Arm Cortex-M4(DSP+FPU) @120MHz

STM NUCLEO-U575ZI-Q, Arm Cortex-M33(DSP+FPU) @160MHz

STM NUCLEO-G0B1RE, Arm Cortex-M0+ @64MHz

STM DISCO-F746NG, Arm Cortex-M7(DSP+FPU) @216MHz

Nordic nRF5340 DK, Arm Cortex-M33(DSP+FPU) @128MHz

Nuvoton NUMAKER-M467HJ, Arm Cortex-M4F @200MHz

DIGILENT Cora Z7, Arm Cortex-A9 @667MHz

DIGILENT ZC706, Arm Cortex-A9 @650MHz

DIGILENT ZedBoard, Arm Cortex-A9 @650MHz

DIGILENT ZyBo, Arm Cortex-A9 @650MHz

Infineon CY8CPROTO-062-4343W, Arm Cortex-M4 (DSP + FPU) @150MHz

Syntiant NDP9120, HiFi3+M0 @30.7MHz/98.7MHz

ZCU106, RISC-V @20MHz

主要CPU規格：共有7大類。只有1項使用RISC-V，1項為MCU+NPU，其余皆是Arm Based。Cortex-M為單芯片（MCU）等級，Cortex-A為微處理器（MPU）等級芯片，用于手機或單板微電腦。

Arm Cortex-M0+ (1項)

Arm Cortex-M33 (4項)

Arm Cortex-M4/M4F (13項)

Arm Cortex-M7 (7項)

Arm Cortex-A9 (4項)

Syntiant HiFi3+M0 (2項)

RISC-V (1項)

主要軟件及函式庫：共有9種。

Skymizer ONNC

MicroTVM

Plumerai Inference Engine

Syntiant TDK+SDK

Bosch Hardware-Aware Lowering Engine(HALE)

STM X-CUBE-AI

fpgaConvNet(Model+Optimiser)

Arm CMSIS-5

TVM

評測結果：

由于芯片等級落差頗大，單從推論時間(毫秒ms)及能耗(微焦耳uJ 比較可能會有點不公平，所以這里依CPU等級及工作頻率來分會更清楚些。Fig. 2分別列出各等級中推論速度表現最好的。

Fig.2 MLPerf Tiny v1.1各等級CPU及不同應用表現最佳清單。

另外從此次提交的項目亦可看出Arm Cortex-M4已成為TinyML的主流，若推論仍不夠快時，則可再提升到Cortex-M7。而新上市的Cortex-M33效能已高過Cortex-M4，略低于Cortex-M7，讓使用者有多一點性價比的選擇空間。

小結

在邊緣智能(Edge AI)裝置及智能物聯網(AIoT)應用中使用單芯片（MCU）來運行AI（TinyML)已是現在進行式，透過此次的評比結果，可讓大家更了解各家芯片性能及模型優化工具的進展，未來隨著MCU+NPU的普及，相信下一次的評比結果可能就有更大躍升，就讓大家一起期待吧！



審核編輯：劉清