借助物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)和人工智能等新時代技術(shù)，公司正在通過以創(chuàng)新方式融合物理現(xiàn)實(shí)和數(shù)字信息來重新構(gòu)想和創(chuàng)建智能多媒體應(yīng)用程序。多媒體解決方案涉及音頻/視頻編解碼器、圖像/音頻/視頻處理、邊緣/云應(yīng)用，在少數(shù)情況下還包括 AR/VR。本博客將討論任何多媒體解決方案中嵌入式視頻處理器內(nèi)核所涉及的軟件基礎(chǔ)架構(gòu)。

　　視頻處理器是基于 RTL 的硬化 IP 塊，可用于領(lǐng)先的 FPGA 板。借助這個嵌入式內(nèi)核，用戶可以原生支持視頻會議、視頻流以及基于 ML 的圖像識別和面部識別應(yīng)用，具有低延遲和高資源效率。但是，在部署視頻處理器之前可能會出現(xiàn)與操作系統(tǒng)支持、H.264/265 處理、驅(qū)動程序開發(fā)等相關(guān)的軟件級別問題。

　　讓我們從視頻處理器的概述開始，看看如何為半導(dǎo)體公司解決這些問題，使最終用戶能夠獲得其產(chǎn)品優(yōu)勢。

　　嵌入式視頻處理器內(nèi)核

　　視頻處理器是一個多組件解決方案，由視頻處理引擎本身、DDR4 塊和同步塊組成。這些組件一起專用于支持分辨率高達(dá) 4k UHD （3840x2160p60） 的 H.264/.265 編碼和解碼，對于該 FPGA 器件系列的最高速度等級，最高可達(dá) 4096x2160p60。支持的級別和配置文件包括用于 HEVC 的最高 L5.1 高級層和用于 AVC 的 L5.2。這三款產(chǎn)品都是基于 RTL 的嵌入式 IP 產(chǎn)品，它們部署在目標(biāo) FPGA 器件系列的可編程邏輯結(jié)構(gòu)中，并經(jīng)過優(yōu)化/“強(qiáng)化”以實(shí)現(xiàn)最大的資源效率和性能。

　　視頻處理器引擎能夠同時編碼和解碼多達(dá) 32 個視頻流。這是通過將 2160p60 帶寬拆分到所有預(yù)期通道來實(shí)現(xiàn)的，支持 480p30 分辨率的視頻流。H.264 解碼支持在 L5.2 2160p60 高 4:2：2 配置文件 （CAVLC） 上高達(dá) 960Mb/s 的比特流和高達(dá) 533Mb/s L5.1 2160p60 Main 4:2：2 比特流的 H.265 解碼10b 內(nèi)部配置文件 （CABAC.）

　　視頻處理器引擎還內(nèi)置了顯著的多功能性。速率控制選項包括 CBR、VBR 和恒定 QP。在較低幀速率下支持比 2160p60 更高的分辨率。該引擎可以處理 8b 和 10b 色深以及 4:0：0、4:2：0 和 4:2：2 的 YCbCr 色度格式。

　　微架構(gòu)包括獨(dú)立的編碼器和解碼器部分，每個部分由嵌入式 32b 可合成 MCU 通過單個 32b AXI-4 Lite I/F 從屬主機(jī) APU 管理。每個 MCU 都有由專用 32b AXI-4 主控器支持的 L1 指令和數(shù)據(jù)緩存。系統(tǒng)內(nèi)存的數(shù)據(jù)傳輸通過一個 4 通道 128b AXI-4 主 I/F 進(jìn)行，該 I/F 在編碼器和解碼器之間分離。還有一個嵌入式 AXI 性能監(jiān)視器，可直接測量總線事務(wù)和延遲，無需為每個 MCU 鎖定固件以外的其他軟件開銷。

　　DDR4 塊是一個組合的內(nèi)存控制器和 PHY。控制器部分通過 SDRAM 優(yōu)化 R/W 事務(wù)，而 PHY 執(zhí)行 SerDes 和時鐘管理任務(wù)。還有一些額外的支持模塊提供系統(tǒng)內(nèi)存的初始化和校準(zhǔn)。五個 AXI 端口和一個 64b SODIMM 端口提供高達(dá) 2677 MT/s 的性能。

　　第三個塊同步視頻處理器引擎編碼器和 DMA 之間的數(shù)據(jù)事務(wù)。它可以緩沖多達(dá) 256 個 AXI 事務(wù)并確保低延遲性能。

　　該公司的集成開發(fā)環(huán)境 （IDE） 用于根據(jù)比特流數(shù)量、所選編解碼器和所需配置文件來確定給定應(yīng)用所需的視頻處理器內(nèi)核數(shù)量以及用于編碼或解碼的緩沖區(qū)配置。通過工具鏈，用戶可以選擇 AVC 或 HEVC 編解碼器、I/B/P 幀編碼、分辨率和級別、每秒幀數(shù)顏色格式和深度、內(nèi)存使用以及壓縮/解壓縮操作。IDE 還提供帶寬要求和功耗的估計值。

　　嵌入式軟件支持

　　任何硬件到視頻處理的嵌入式軟件開發(fā)支持可分為以下幾類：

　　視頻編解碼器驗證和功能測試

　　Linux 支持，包括內(nèi)核開發(fā)、驅(qū)動程序開發(fā)和應(yīng)用程序支持

　　工具和框架開發(fā)

　　參考設(shè)計開發(fā)和部署

　　根據(jù)需要使用和貢獻(xiàn)開源組織

　　視頻處理器上的 AVC 和 HEVC 編解碼器的驗證非常廣泛。它必須以 3840x2160p60 性能級別執(zhí)行，以便在裸機(jī)和 Linux 支持的環(huán)境中進(jìn)行編碼和解碼。從原型設(shè)計到全面生產(chǎn)，低延遲性能也得到了驗證。

　　Linux 工作專注于多媒體框架和級別，以定制內(nèi)核和驅(qū)動程序。這包括 v4l2 子系統(tǒng)、DRM 框架和用于同步塊的驅(qū)動程序，以確保低延遲性能。

　　編解碼器和 Linux 項目有效地引導(dǎo)自己代表客戶開發(fā)各種參考設(shè)計。編碼和解碼的邊緣設(shè)計、從低延遲視頻會議到 32 通道視頻流、基于感興趣區(qū)域的編碼和 ML 人臉檢測的開發(fā)，所有這些都可以通過使用經(jīng)過仔細(xì)考慮的開放式選擇來完成源工具、框架和功能。在下面找到這些產(chǎn)品的摘要：

　　GStreamer – 一個開源的多操作系統(tǒng)多媒體組件庫，可以以流水線方式組裝，遵循面向?qū)ο蟮脑O(shè)計方法和插件架構(gòu)，用于多媒體播放、編輯、錄制和流式傳輸。它支持多媒體應(yīng)用程序的快速構(gòu)建，并在 GNU LGPL 許可下提供。GStreamer 產(chǎn)品還包括各種非常有用的工具，包括 gst-launch（用于構(gòu)建和運(yùn)行 GStreamer 管道）和 gsttrace（一個基本的跟蹤工具。）

　　StreamEye – 一種開源工具，為深入分析視頻流提供數(shù)據(jù)和圖形顯示。

　　Gstshark – 作為 Ridgerun 的一個開源項目提供，該工具提供了用于分析和調(diào)試 GStreamer 多媒體應(yīng)用程序構(gòu)建的基準(zhǔn)測試和跟蹤功能。

　　FFmpeg 和 FFprobe – 都是 FFmpeg 開源項目的一部分，它們是面向多媒體軟件開發(fā)人員的與硬件無關(guān)的多操作系統(tǒng)工具。FFmpeg 允許用戶在多種格式之間轉(zhuǎn)換多媒體文件、更改采樣率和縮放視頻。FFprobe 是多媒體流分析的基本工具。

　　OpenMAX – 通過 Khronos Group 提供，這是一個 API 和信號處理函數(shù)庫，允許開發(fā)人員使多媒體堆棧可跨硬件平臺移植。

　　Yocto – 一個 Linux 基金會開源協(xié)作，它創(chuàng)建工具（包括 SDK 和 BSP）和支持功能，為嵌入式和物聯(lián)網(wǎng)應(yīng)用程序開發(fā) Linux 自定義實(shí)現(xiàn)。社區(qū)及其 Linux 版本與硬件無關(guān)。

　　Libdrm - 一組用于支持 DRM 的開源低級庫。Direct Rendering Manager 是一個 Linux 內(nèi)核，它代表用戶程序管理基于 GPU 的視頻硬件。它通過命令隊列以仲裁模式管理程序請求，并管理硬件子系統(tǒng)資源，特別是內(nèi)存。libdrm 庫還包括支持 Intel、AMD 和 Nvidia 的 GPU 的函數(shù)。Libdrm 包括 modetest 等工具，用于測試 DRM 顯示驅(qū)動程序。

　　Media-ctl – 一種廣泛可用的開源工具，用于在 Linux v4l2 層中配置媒體控制器管道。

　　PYUV 播放器——另一個廣泛使用的開源工具，允許用戶播放未壓縮的視頻流。

　　Audacity – 免費(fèi)的多操作系統(tǒng)音頻編輯器。

　　上述工具/框架有助于在視頻處理、流媒體和會議下設(shè)計高效和優(yōu)質(zhì)的多媒體解決方案。

　　審核編輯：郭婷