Vitis 視頻分析 SDK構建自己的智能視頻分析解決方案

Vitis 視頻分析 SDK 旨在 Xilinx 目標平臺或您自己的平臺上構建和部署支持人工智能功能的智能視頻分析解決方案的完整軟件堆棧。它從 USB/MIPI 攝像頭輸入，通過 RTSP 從文件或數據流獲取視頻，并使用 Vitis AI 從像素點為各種使用案例生成深度洞察，比如了解智慧城市的交通和行人、醫院的健康與安全監控、自助結賬以及零售分析等，從而可檢查生產設施等的組件缺陷。

核心 SDK 包含多個硬件加速器插件，該插件使用各種加速器，如視頻編碼器、解碼器、多尺度器（用于調整大小和色彩空間轉換）以及用于人工智能推斷的深度學習處理單元 （DPU） 等。通過在專用加速器中執行所有計算量大的操作，它可實現視頻分析應用的最高性能。

對于開發者社區，Vitis 視頻還提供一個通用基礎架構插件形式的框架、軟件加速庫和一個簡化的接口，可供用戶開發自己的加速庫，控制自定義的硬件加速器。使用這個框架，用戶可輕松將其自定義加速器/內核集成在 Vitis 視頻分析 SDK 中。它建立在 Xilinx 運行時 （XRT）、Vitis 和 Vitis AI 基礎之上，并抽象了這些復雜的接口，有助于開發人員更輕松地構建視頻分析應用。

采用 Vitis 視頻分析 SDK，應用可部署在基于 Zynq UltraScale+ MPSoC 的嵌入式平臺上，如 kira SoM 和 ZCU104 或 PCIe 加速平臺，其中包括 Alveo U30、U50 和 VCK 5000 等。

Vitis 視頻分析 SDK 圖形架構

Vitis 視頻分析 SDK 是一種使用開源 GStreamer 框架構建的優化圖形架構，下圖是一個從輸入視頻到輸出元數據的典型視頻分析應用，所有單獨的模塊都是所用的各種插件，所有單獨的模塊都是所用的各種插件，底部是在整個應用中使用的不同硬件引擎，插件之間無內存拷貝的最佳內存管理和各種加速器的使用，可確保最高性能。

Vitis 視頻分析 SDK 核心組件

定制插件

高度優化的 GStreamer 插件旨在使用 Xilinx 平臺上的優化內核和 IP 提供非常具體的功能。

基礎架構插件

這些是正在開發的通用基礎架構 GStreamer 插件，可幫助用戶將其內核集成在 GStreamer 框架中。

加速軟件庫

這些是為管理加速內核 /IP 的狀態機而開發的優化加速軟件庫，可公開界面，以便將這些加速軟件庫連接到 VVAS 通用基礎架構插件中。這些可用作開發基于 VVAS 框架的加速庫的參考。

加速硬件（內核/ IP）

這些都是 Xilinx 開發的高度優化的內核。

參考平臺與應用

VVAS 提供多種參考平臺，以滿足不同應用/解決方案的需求。

完整的軟件堆棧

性能與可擴展性

在邊緣、本地和云端間提供業界一流的端到端性能

靈活應變性與靈活性

不僅提供高度靈活的分析工作流程，而且還提供廣泛的 AI 模型，可充分滿足您的需求

生產力 & TCO

從快速原型設計到全面投產，開發工作更少，部署成本更低

最佳性能展示

來源：WP529，通過 Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 應用進行了基準測試

AI 模型：Yolov3（416x416） + 3 * Resnet18（224x224），使用 Vitis VAS 和 Deepstream 5.0 進行了基準測試

責任編輯：haq