1. rknn-toolkit-lite介紹

rknn-toolkit-lite是用于python算法的推理的組件，當前已經在EASY-EAI-Nano完成適配，用戶可以用它進行深度學習算法的純python開發。而且同時支持已經進行了預編譯的模型，短短幾行代碼即可完成算法的推理，大幅降低開發成本。同時很多不熟悉C/C++的算法開發人員有效降低開發門檻。本地文檔是根據已經完成rknn模型轉換的模型進行板卡上的推理，關于rknn模型轉換請閱讀請閱讀《在EASY EAI Nano運行自定義的AI算法》。

2. 固件燒錄

當前我們通過系統預裝的方式支持rknn-toolkit-lite，燒錄固件方式請閱讀《固件燒錄與更新》。

固件下載鏈接:https://pan.baidu.com/s/1sWFoPf6oJtZsUPp-_do7AQ

提取碼：1234

固件包如下所示:

3. 在板卡測試demo

下載百度網盤：https://pan.baidu.com/s/1yoof_SyY1ty93dIRe1dZgA （提取碼：1234 ）

“測試程序/inference_with_lite.tar.bz2”，把文件傳到EASY-EAI-Nano板卡目錄上。

執行以下指令進行解壓:

tar xvf inference_with_lite.tar.bz2

執行以下指令切換目錄并執行測試程序:

cd /userdata/inference_with_lite/
python3 test.py

結果如下所示:

4. rknn-toolkit-lite流程說明

4.1 使用流程圖

RKNN Tookit Lite使用流程如下:

4.2 例程

第三小節的例程如下所示:

import platform
import cv2
import numpy as np
from rknnlite.api import RKNNLite

RKNN_MODEL = '10class_ResNet50_pre.rknn'
IMG_PATH = './test-1.jpg'
INPUT_SIZE = 224

BOX_THRESH = 0.25
NMS_THRESH = 0.6

CLASSES = ("SUV", "bus", "family sedan", "fire engine", "heavy truck", "jeep", "minibus", "racing car", "taxi", "truck")

def show_outputs(output):

	print("softmax output:", output)

	max_confidence = np.max(output)
	index = np.where(output == max_confidence)
	print("max confidence:", max_confidence)
	print("max confidence index:", index[0][0])
	print("CLASSES predict: ", CLASSES[index[0][0]])

def softmax(x):
	return np.exp(x)/sum(np.exp(x))


if __name__ == '__main__':
	rknn_lite = RKNNLite()

	# load RKNN model
	print('--> Load RKNN model')
	ret = rknn_lite.load_rknn(RKNN_MODEL)
	if ret != 0:
		print('Load RKNN model failed')
		exit(ret)
	print('done')

	# Set inputs
	img = cv2.imread(IMG_PATH)
	img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
	resize_img = cv2.resize(img,(224,224))

	# init runtime environment
	print('--> Init runtime environment')

	ret = rknn_lite.init_runtime(target=None)
	if ret != 0:
		print('Init runtime environment failed')
		exit(ret)
	print('done')

	# Inference
	print('--> Running model')
	outputs = rknn_lite.inference(inputs=[resize_img])

	print("outputs[0]:", outputs[0])
	print("outputs[0].shape:", outputs[0].shape)
	show_outputs(softmax(np.array(outputs[0][0])))
	rknn_lite.release()

5. API詳細說明

5.1 RKNNLite初始化及對象釋放

在使用RKNN Toolkit Lite時，都需要先調用RKNNLite()方法初始化一個RKNNLite對象，并在用完后調用該對象的release()方法將資源釋放掉。

初始化RKNNLite對象時，可以設置verbose和verbose_file參數，以打印詳細的日志信息。其中verbose參數指定是否要在屏幕上打印詳細日志信息；如果設置了verbose_file參數，且verbose參數值為True，日志信息還將寫到這個參數指定的文件中。

舉例如下：

# 將詳細的日志信息輸出到屏幕，并寫到inference.log文件中 
rknn_lite = RKNNLite(verbose=True, verbose_file='./inference.log') # 只在屏幕打印詳細的日志信息 
rknn_lite = RKNNLite(verbose=True) 
… 
rknn_lite.release() 

5.2 加載RKNN模型

舉例如下：

# 從當前目錄加載 ResNet50模型
ret = rknn_lite.load_rknn('10class_ResNet50_pre.rknn')

5.3 初始化運行時環境

在模型推理之前，必須先初始化運行時環境，確定模型在哪一個芯片平臺上運行。

舉例如下:

	# init runtime environment
	print('--> Init runtime environment')
	ret = rknn_lite.init_runtime(target=None)
	if ret != 0:
		print('Init runtime environment failed')
		exit(ret)
	print('done')

5.4 模型推理

舉例如下:

以分類模型為例，如 resnet50，代碼如下（完整代碼參考第三小節)：

	# Inference
	print('--> Running model')
	outputs = rknn_lite.inference(inputs=[resize_img])

	print("outputs[0]:", outputs[0])
	print("outputs[0].shape:", outputs[0].shape)
	show_outputs(softmax(np.array(outputs[0][0])))

5.5 查詢 SDK 版本

舉例說明:

# 獲取 SDK 版本信息 
…… 
sdk_version = rknn_lite.get_sdk_version() 
……

返回的 SDK 信息如下：

審核編輯 黃宇