本文將介紹如何使用Vitis-AI加速YOLOX模型實(shí)現(xiàn)視頻中的目標(biāo)檢測(cè)，并對(duì)相關(guān)源碼進(jìn)行解讀。由于演示的示例程序源碼是Vitis-AI開(kāi)源項(xiàng)目提供的，本文演示之前會(huì)介紹所需要的準(zhǔn)備工作。演示之后會(huì)對(duì)關(guān)鍵源碼進(jìn)行解析。

一、Vitis AI Library簡(jiǎn)介

上一篇帖子中，我們了解了Vitis統(tǒng)一軟件平臺(tái)和Vitis AI，并體驗(yàn)了Vitis AI Runtime的Resnet50圖像分類(lèi)示例程序。本篇文章我們將會(huì)介紹Vitis AI Library，并體驗(yàn)基于Vitis AI Library的YOLOX視頻目標(biāo)檢測(cè)示例程序。

Vitis AI User Guide中的一張圖可以很好的理解Vitis AI Library和Vitis AI Runtime的關(guān)系：

簡(jiǎn)單來(lái)說(shuō)，Vitis AI Library是在Vitis AI Runtime之上構(gòu)建出來(lái)的。

二、YOLOX視頻目標(biāo)檢測(cè)示例體驗(yàn)

參考此前的帖子：【KV260視覺(jué)入門(mén)套件試用體驗(yàn)】部署DPU鏡像并運(yùn)行Vitis AI圖像分類(lèi)示例程序

首先需要部署DPU鏡像，DPU鏡像系統(tǒng)啟動(dòng)過(guò)程中會(huì)加載DPU IP到FPGA側(cè)，并且系統(tǒng)本身已經(jīng)集成了Vitis AI所需的各種庫(kù)文件。

2.1 準(zhǔn)備測(cè)試所需視頻文件

賽靈思官方文檔里面提供了測(cè)試視頻資源

在開(kāi)發(fā)板上下載、解壓的命令為：

# 跳轉(zhuǎn)到HOME目錄
cd ~


# 下載 tar.gz 文件
TGZ=[vitis_ai_library_r3.0.0_video.tar.gz](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)
wget -O $TGZ "[https://china.xilinx.com/bin/public/openDownload?filename=](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)$TGZ"


# 解壓 tar.gz 文件
DIR=[vitis_ai_library_r3.0.0_video](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)
mkdir $DIR
tar -C $DIR -xvf $TGZ

（左右移動(dòng)查看全部?jī)?nèi)容）

2.2 準(zhǔn)備KV260套件和DPU鏡像SD卡

和上一篇帖子一樣，使用Vitis-AI之前需要先準(zhǔn)備好KV260套件和寫(xiě)入DPU鏡像的SD卡，具體可以參考上一篇帖子中的第二章“部署DPU鏡像到KV260”：【KV260視覺(jué)入門(mén)套件試用體驗(yàn)】部署DPU鏡像并運(yùn)行Vitis AI圖像分類(lèi)示例程序

2.3 編譯YOLOX視頻目標(biāo)檢測(cè)示例程序

KV260使用DPU鏡像的SD卡啟動(dòng)后，跳轉(zhuǎn)到Vitis-AI/目錄下，可以看到如下文件及目錄：

其中，藍(lán)色的為目錄，綠色的為可執(zhí)行文件，白色的為沒(méi)有執(zhí)行權(quán)限的文件。

執(zhí)行build.sh腳本，可以重新編譯文件（可以嘗試將可執(zhí)行文件刪除掉再重新執(zhí)行build.sh腳本）。

該腳本文件內(nèi)的代碼為：

重新編譯后，可以看到時(shí)間戳全部更新了：

2.4 運(yùn)行YOLOX視頻目標(biāo)檢測(cè)示例程序

接下來(lái)，運(yùn)行YOLOX視頻目標(biāo)檢測(cè)程序——test_video_yolox，命令為：

VIDEO_PATH=~/vitis_ai_library_r3.0.0_video/apps/seg_and_pose_detect/seg_960_540.avi
MODEL_NAME=yolox_nano_pt
./test_video_yolovx $MODEL_NAME $VIDEO_PATH

（左右移動(dòng)查看全部?jī)?nèi)容）

可以看到，畫(huà)面中的目標(biāo)被框起來(lái)了。

三、YOLOX視頻目標(biāo)檢測(cè)原理解析

YOLOX視頻目標(biāo)檢測(cè)示例程序源碼非常簡(jiǎn)短（test_video_yolovx.cpp文件）：

這段代碼中：

model是模型名稱(chēng)；

vitis::create(model) 用于創(chuàng)建模型；

3.1 main_for_video_demo 源碼分析

main_for_video_demo 核心代碼如下：

其中，關(guān)鍵代碼行如下：

parse_opt 用于解析命令行參數(shù)，包括線程數(shù)（例如-t 4指定4個(gè)線程）和視頻文件名

decode_queue 是解碼隊(duì)列，用于傳遞已經(jīng)解碼的圖像；

decode_thread 是解碼任務(wù)線程，讀取視頻文件，并解碼每一幀畫(huà)面，放入解碼隊(duì)列；

dpu_thread 是DPU任務(wù)線程，從解碼隊(duì)列取出圖像，如果-t 參數(shù)指定的大于1，會(huì)創(chuàng)建多個(gè)DPU線程（不指定-t參數(shù)，默認(rèn)為1個(gè)DPU線程）；

gui_thread 是圖形用戶界面（GUI）線程，調(diào)用cv::imshow顯示每一幀結(jié)果畫(huà)面；

gui_queue 是結(jié)果圖像隊(duì)列，GUI線程會(huì)從這個(gè)隊(duì)列取出圖像再顯示出來(lái)；

sorting_thread 是排序線程，用于確保傳遞給gui_queue的圖像和視頻中出現(xiàn)的順序一致，從而保證視頻顯示的畫(huà)面正常。

這段代碼搭建了一個(gè)多線程的視頻處理流水線，流水線結(jié)構(gòu)如下圖所示：

3.2 DecodeThread 源碼分析

DecodeThread的構(gòu)造函數(shù)：

構(gòu)造函數(shù)中調(diào)用open_stream，open_stream創(chuàng)建了OpenCV的VideoCapture對(duì)象指針，用于后續(xù)視頻文件讀取操作。

DecodeThread::run函數(shù)：

DecodeThread::run函數(shù)的關(guān)鍵代碼為：

cap >> image 實(shí)現(xiàn)了從視頻讀取畫(huà)面，

queue_->push(…) 實(shí)現(xiàn)了給幀畫(huà)面編號(hào)，并將其放入隊(duì)列。

3.3 SortingThread 源碼分析

SortingThread::run函數(shù)關(guān)鍵代碼如下：

SortingThread::run中的關(guān)鍵代碼為：

queue_in_->pop(…) 等待特定frame_id的圖像到來(lái)；

queue_out_->push(…) 再將其放入輸出隊(duì)列（gui_queue）。

3.4 GuiThread 源碼分析

GuiThread::run函數(shù)源碼：

其中關(guān)鍵的代碼為：

調(diào)用queue_->pop()從隊(duì)列取出一幀畫(huà)面；

調(diào)用cv::imshow顯示圖像畫(huà)面。

3.5 DpuThread 源碼解析

DpuThread::run函數(shù)源碼：

其中關(guān)鍵代碼為：

調(diào)用queue_in_->pop(frame)取出畫(huà)面；

調(diào)用filter_->run(frame.mat)處理畫(huà)面；

調(diào)用queue_out_->push(frame)傳出畫(huà)面；

要解讀filter到底是什么，還需要看DpuThread構(gòu)造函數(shù)的聲明：

以及DpuThread類(lèi)型實(shí)例化的代碼：

以及main函數(shù)：

這里可以看到：

factory_method是一個(gè)C++11的lamba表達(dá)式，

其中調(diào)用了vitis::create(model)；

vitis::create的具體實(shí)現(xiàn)代碼較多，感興趣的可以自行查閱Vitis-AI源碼，它主要實(shí)現(xiàn)了模型加載，以及調(diào)用Vitis-AI-Runtime接口執(zhí)行推理，這里不再解讀。

process_result函數(shù)定義：

可以看到，process_result的作用主要是畫(huà)出方框，以及打印日志。

審核編輯：湯梓紅