1.NCNN介紹

本文檔說(shuō)明基于EASY EAI Nano移植NCNN部署庫(kù)的方法與基于NCNN成功運(yùn)行yolov4的Demo。

NCNN是騰訊優(yōu)圖實(shí)驗(yàn)室首個(gè)開(kāi)源項(xiàng)目，是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架。并在2017年7月正式開(kāi)源。NCNN做為騰訊優(yōu)圖最“火”的開(kāi)源項(xiàng)目之一，是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，在設(shè)計(jì)之初便將手機(jī)端的特殊場(chǎng)景融入核心理念，是業(yè)界首個(gè)為移動(dòng)端優(yōu)化的開(kāi)源神經(jīng)網(wǎng)絡(luò)推斷庫(kù)。能實(shí)現(xiàn)無(wú)第三方依賴(lài)，跨平臺(tái)操作，在手機(jī)端CPU運(yùn)算速度在開(kāi)源框架中處于領(lǐng)先水平。基于該平臺(tái)，開(kāi)發(fā)者能夠輕松將深度學(xué)習(xí)算法移植到手機(jī)端，輸出高效的執(zhí)行，進(jìn)而產(chǎn)出人工智能APP，將AI技術(shù)帶到用戶(hù)指尖。

支持卷積神經(jīng)網(wǎng)絡(luò)，支持多輸入和多分支結(jié)構(gòu)，可計(jì)算部分分支

無(wú)任何第三方庫(kù)依賴(lài)，不依賴(lài) BLAS/NNPACK 等計(jì)算框架

純 C++ 實(shí)現(xiàn)，跨平臺(tái)，支持 android ios 等

ARM NEON 匯編級(jí)良心優(yōu)化，計(jì)算速度極快

精細(xì)的內(nèi)存管理和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，內(nèi)存占用極低

支持多核并行計(jì)算加速，ARM big.LITTLE cpu 調(diào)度優(yōu)化

支持基于全新低消耗的 vulkan api GPU 加速

可擴(kuò)展的模型設(shè)計(jì)，支持 8bit量化和半精度浮點(diǎn)存儲(chǔ)，可導(dǎo)入 caffe/pytorch/mxnet/onnx/darknet/keras/tensorflow(mlir) 模型

支持直接內(nèi)存零拷貝引用加載網(wǎng)絡(luò)模型

可注冊(cè)自定義層實(shí)現(xiàn)并擴(kuò)展

詳情可以參考官方Github：https://github.com/Tencent/ncnn

2. 源碼包下載與編譯

2.1 源碼下載放置到ubuntu

NCNN相關(guān)源碼可以通過(guò)我們的百度網(wǎng)盤(pán)進(jìn)行下載(已經(jīng)配置好編譯腳本)，下載鏈接為:

鏈接：https://pan.baidu.com/s/1x_27sNJbjCujJZozBajq4g 提取碼：dfji

下載ncnn-master.tar.bz2源碼包并移植到虛擬機(jī)里面,執(zhí)行以下指令解壓源碼包：

tar xvf ncnn-master.tar.bz2

得到如下圖所示:

2.2 NCNN編譯

執(zhí)行以下指令編譯：

cd ncnn-master/
./build-easyeai-nano.sh

編譯完成如下圖所示:

ncnn庫(kù)編譯完成，生成如下圖所示:

3. Yolov4基于NCNN運(yùn)行

3.1 例程下載放置到ubuntu

Yolov4基于NCNN運(yùn)行相關(guān)運(yùn)行Demo可以通過(guò)我們的百度網(wǎng)盤(pán)進(jìn)行下載(已經(jīng)配置好編譯腳本)，下載鏈接為:

鏈接：https://pan.baidu.com/s/1x_27sNJbjCujJZozBajq4g 提取碼：dfji

下載test_demo.tar.bz2源碼包并移植到虛擬機(jī)里面,執(zhí)行以下指令解壓源碼包：

tar xvf test_demo.tar.bz2

得到如下圖所示:

3.2 編譯例程

執(zhí)行以下指令編譯例程：

cd test_demo/
./build.sh

編譯成功后結(jié)果如下所示:

3.3 在EASY EAI Nano執(zhí)行例程

在ubuntu推送可執(zhí)行程序文件到板卡的/userdata目錄：

adb push test-ncnn-demo-release/ /userdata

在EASY EAI Nano板卡執(zhí)行程序:

sudo cd /userdata/test-ncnn-demo-release/
sudo ./test-ncnn-demo test_img/test1.jpg

執(zhí)行結(jié)果如下圖所示:

在ubuntu執(zhí)行以下指令獲取識(shí)別成功的圖片:

adb pull /userdata/test-ncnn-demo-release/result.jpg .

結(jié)果圖片如下所示:

審核編輯 黃宇