阿里近日正式開源了輕量級深度學習端側推理引擎“MNN”。與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比，MNN 更注重在推理時的加速和優化，在大規模機器學習應用中具有優勢。本文詳細闡述了MNN背后的技術框架和規劃。

近日，阿里正式開源輕量級深度學習端側推理引擎“MNN”。

AI科學家賈揚清如此評價道：

“與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比，MNN 更注重在推理時的加速和優化，解決在模型部署的階段的效率問題，從而在移動端更高效地實現模型背后的業務。這和服務器端 TensorRT 等推理引擎的想法不謀而合。

在大規模機器學習應用中，考慮到大規模的模型部署，機器學習的推理側計算量往往是訓練側計算量的十倍以上，所以推理側的優化尤其重要?！?/p>

MNN背后的技術框架如何設計？未來有哪些規劃？今天一起來深入了解。

開源地址

https://github.com/alibaba/MNN

1、MNN 是什么？

MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網絡模型在端側推理運行問題，涵蓋深度神經網絡模型的優化、轉換和推理。目前，MNN 已經在手淘、手貓、優酷、聚劃算、UC、飛豬、千牛等 20 多個 App 中使用，覆蓋直播、短視頻、搜索推薦、商品圖像搜索、互動營銷、權益發放、安全風控等場景，每天穩定運行上億次。此外，菜鳥自提柜等 IoT 設備中也有應用。在2018 年雙十一購物節中，MNN 在天貓晚會笑臉紅包、掃一掃明星猜拳大戰等場景中使用。

2、MNN 的優勢

MNN 負責加載網絡模型，推理預測返回相關結果，整個推理過程可以分為模型的加載解析、計算圖的調度、在異構后端上高效運行。MNN 具有通用性、輕量性、高性能、易用性的特征：

通用性：

支持 Tensorflow、Caffe、ONNX 等主流模型格式，支持 CNN、RNN、GAN 等常用網絡；

支持 86 個 TensorflowOp、34 個 CaffeOp ；各計算設備支持的 MNN Op 數：CPU 71 個，Metal 55 個，OpenCL 40 個，Vulkan 35 個；

支持 iOS 8.0+、Android 4.3+ 和具有 POSIX 接口的嵌入式設備；

支持異構設備混合計算，目前支持 CPU 和 GPU，可以動態導入 GPU Op 插件，替代 CPU Op 的實現；

輕量性：

針對端側設備特點深度定制和裁剪，無任何依賴，可以方便地部署到移動設備和各種嵌入式設備中；

iOS 平臺上，armv7+arm64 靜態庫大小 5MB 左右，鏈接生成可執行文件增加大小 620KB 左右，metallib 文件 600KB 左右；

Android 平臺上，so 大小 400KB 左右，OpenCL 庫 400KB 左右，Vulkan 庫 400KB 左右；

高性能：

不依賴任何第三方計算庫，依靠大量手寫匯編實現核心運算，充分發揮 ARM CPU 的算力；

iOS 設備上可以開啟 GPU 加速（Metal），支持 iOS 8.0 以上版本，常用模型上快于蘋果原生的 CoreML；

Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，盡可能多地滿足設備需求，針對主流 GPU（Adreno 和 Mali）做了深度調優；

卷積、轉置卷積算法高效穩定，對于任意形狀的卷積均能高效運行，廣泛運用了 Winograd 卷積算法，對 3x3 -> 7x7 之類的對稱卷積有高效的實現；

針對 ARM v8.2 的新架構額外作了優化，新設備可利用半精度計算的特性進一步提速；

易用性：

完善的文檔和實例；

有高效的圖像處理模塊，覆蓋常見的形變、轉換等需求，一般情況下，無需額外引入 libyuv 或 opencv 庫處理圖像；

支持回調機制，方便提取數據或者控制運行走向；

支持運行網絡模型中的部分路徑，或者指定 CPU 和 GPU 間并行運行；

3、MNN 核心介紹

3.1 模塊設計

如上圖所示，MNN 可以分為Converter和Interpreter兩部分。

Converter由Frontends和Graph Optimize構成。前者負責支持不同的訓練框架，MNN 當前支持 Tensorflow (Lite)、Caffe 和 ONNX；后者通過算子融合、算子替代、布局調整等方式優化圖。

Interpreter由Engine和Backends構成。前者負責模型的加載、計算圖的調度；后者包含各計算設備下的內存分配、Op 實現。在Engine和Backends中，MNN 應用了多種優化方案，包括在卷積和反卷積中應用 Winograd 算法、在矩陣乘法中應用 Strassen 算法、低精度計算、Neon 優化、手寫匯編、多線程優化、內存復用、異構計算等。

3.2 性能比較

采用業務常用的 MobileNet、SqueezeNet 和主流開源框架進行比較，結果如下圖：

MNN 相比于 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的優勢。我們其實更加聚焦在內部使用的業務模型優化上，針對人臉檢測等模型進行深入優化，iPhone6 可以達到單幀檢測 5ms 左右。

注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 代碼倉庫的 master 分支；NCNN 由于編譯問題采用20181228 Release 預編譯庫。

4、MNN 的開源歷史

4.1 我們為什么要做端側推理

隨著手機算力的不斷提升，以及深度學習的快速發展，特別是小網絡模型不斷成熟，原本在云端執行的推理預測就可以轉移到端上來做。端智能即在端側部署運行 AI 算法，相比服務端智能，端智能具有低延時、兼顧數據隱私、節省云端資源等優勢。目前端智能正逐漸變為趨勢，從業界來看，它已經在 AI 攝像、視覺特效等場景發揮了巨大價值。

手淘作為電商的超級 App ，業務形態豐富，拍立淘、直播短視頻、互動營銷、試妝、個性化推薦搜索等業務場景都有端智能訴求，結合端智能能力，可以給用戶帶來新的交互體驗，助力業務創新突破。

一般來說，端側深度學習的應用可以分成如下幾個階段：

模型訓練階段，主要解決模型訓練，利用標注數據訓練出對應的模型文件。面向端側設計模型時，需要考慮模型大小和計算量；

模型壓縮階段，主要優化模型大小，可以通過剪枝、量化等手段降低模型大小，以便在端上使用；

模型部署階段，主要實現模型部署，包括模型管理和部署、運維監控等；

端側推理階段，主要完成模型推理，即加載模型，完成推理相關的所有計算；

由上可知，端側推理引擎是端智能應用的核心模塊，需要在有限算力、有限內存等限制下，高效地利用資源，快速完成推理?？梢哉f，端側推理引擎實現的優劣，直接決定了算法模型能否在端側運行，決定了業務能否上線。因此，我們需要一個端側推理引擎，一個優秀的端側推理引擎。

4.2 我們為什么要開源 MNN

在 2017 年初，我們在開始引擎研發之前，重點調研了系統方案和開源方案，從通用性、輕量性、高性能、安全性等方面深入分。CoreML 是 Apple 的系統框架，MLKit 和 NNAPI 是 Android 的系統框架，系統框架最大的優勢是輕量性 —— 在包大小方面相對寬裕。而最大的劣勢是通用性，CoreML 需要 iOS 11+，MLKit 和 NNAPI 需要 Android 8.1+，可以覆蓋的機型非常有限，同時難以支持嵌入式設備的使用場景。此外，系統框架支持的網絡類型、Op 類型都較少，可拓展性又較差，還未能充分利用設備的算力，加之存在模型安全方面的問題。綜上種種，系統框架不是一個很好的選擇。開源方案中 Tensorflow Lite 宣而未發，Caffe 較成熟但不是面向端側場景設計和開發的，NCNN 則剛剛發布還不夠成熟?？偟膩碚f，我們找不到一套面向不同訓練框架，不同部署環境，簡單高效安全的端側推理引擎。

因此，我們希望提供面向不同業務算法場景，不同訓練框架，不同部署環境的簡單、高效、安全的端側推理引擎 MNN 。能夠抹平 Android 和 iOS 的差異，碎片設備之間的差異，不同訓練框架的差異，實現快速的在端側部署運行，并且能夠根據業務模型進行 OP 靈活添加和 CPU/GPU 等異構設備深入性能優化。

隨著時間推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐步升級和開源，給與我們很好的輸入和借鑒。我們隨著業務需求也在不斷迭代和優化，并且經歷了雙十一考驗，已經相對成熟和完善，所以開源給社區，希望給應用和 IoT 開發者貢獻我們的力量。

5、應用場景

目前，MNN 已經在手淘、貓客、優酷、聚劃算、UC、飛豬、千牛等 20 + 集團 App 中集成，在拍立淘、直播短視頻、互動營銷、實人認證、試妝、搜索推薦等場景使用，每天穩定運行上億次。2018 年雙十一購物節中，MNN 也在貓晚笑臉紅包、掃一掃明星猜拳大戰等場景中使用。

拍立淘是在手淘里面的一個圖像搜索和識別產品，從 14 年首次上線經過不斷迭代發展目前已經成長為 UV 超過千萬的應用。其中的技術也在不斷迭代更新，從最早的拍照上傳圖片云端識別，演進到目前在端上做物體識別和摳圖再上傳云端識別，有效的提升了用戶體驗同時節省了服務端計算成本。針對一些簡單的物體分類萬物識別和 logo 識別，目前也已經支持直接通過端上的模型進行實時識別。

笑臉紅包是 18 年雙十一貓晚開場的第一個節目，這個玩法是基于實時人臉檢測和表情識別能力做的，相比之前各種通過屏幕觸控的交互玩法，這個活動通過攝像頭實時人臉檢測算法實現從傳統觸控交互玩法到自然交互玩法的跨越，給用戶帶來新的用戶體驗。

集五福是 19 年春節的活動，也是手淘第一次通過掃年貨的方式加入到這個活動中來。通過掃一掃商品識別能力，識別紅色年貨，除了?？ㄖ?，還能得到羽絨被、五糧液、茅臺、帝王蟹等實物大獎和貓超、天貓精靈等無門檻優惠券，讓家里的年貨變成下金蛋的 “母雞”。

6、Roadmap

我們計劃每兩個月 Release 一個穩定版本。當前規劃如下：

模型優化方面

完善 Converter 圖優化

完善對量化的支持，增加對稀疏的支持

調度優化方面

增加模型 flops 統計

針對設備硬件特性動態調度運行策略

計算優化

現有 Backend 持續優化（CPU/OpenGL/OpenCL/Vulkan/Metal）

優化 Arm v8.2 Backend，支持量化模型

使用 NNAPI，增加 NPU Backend

應用快速矩陣乘法、Winograd 算法優化性能

其他

文檔和示例

完善 test、benchmark 相關工具

支持更多 Op