盡管H.264/AVC承諾將此已有視頻編碼標準具有更高的編碼效率，它仍為系統架構師、DSP 工程師和硬件設計人員帶來了巨大的工程設計挑戰。H.264/AVC 標準引入了自 1990 年推出 H.261 之后視頻編碼標準演進過程中出現的大部分重大改變和算法間斷 （algorithmic discontinuities）。
　　實現 H.264/AVC 編碼標準所需的算法計算復雜度、數據局部性，以及算法和數據并行性，常常會直接影響系統級別的整體架構決策。這種影響又會決定在廣播、視頻編輯、電話會議以及消費電子領域開發H.264/AVC解決方案所需的最終開發成本。
　　復雜度分析
　　為了實現實時 H.264/AVC 標準清晰度 （SD） 或高清晰度 （HD） 分辯率編碼解決方案，系統架構師常常需要使用多個 FPGA 和可編程 DSP。為了說明所需計算的巨大復雜度，先探討一下 H.264/AVC 編碼器的典型運行時的周期要求。H.264/AVC 編碼器基于由聯合視頻工作組（JVT）提供的軟件模型，該工作組由來自 ITU-T 的視頻編碼專家組 （VCEG） 和 ISO/IEC 的運動圖像專家組 （MPEG） 的專家組成。
　　采用Intel的VTune軟件，在 Intel Pentium III 1.0 GHz 通用 CPU、512 MB 內存的平臺上運行，按照主要配置編碼解決方案實現 H.264/AVC SD，需要約 1，600 BOPS（每秒十億次運算）。
　　表 1 顯示了基于 Pentium III 通用處理器架構的 H.264/AVC 編碼器的復雜度的典型情況。請注意，在表 1 中，運動估計、宏塊/塊處理（包括模式決策），以及運動補償模塊是基本候選硬件加速單元。
　　然而，單憑計算復雜度并不能決定一個功能模塊是否應映射為硬件或是使其保持為軟件。為了評估在由 FPGA、可編程 DSP或通用主處理器混合組成的平臺上實現 H.264/AVC 編碼標準時，軟件和硬件分割的可行性，需要分析將會影響整體設計決策的大量架構問題。
　　數據局部性
　　在同步設計中，按照特定的順序和粒度訪問內存，同時根據延遲、總線競爭、對準、DMA 傳輸率以及所用內存的類型（如 ZBT 內存、SDRAM和 SRAM 等）使時鐘周期數降至最小的能力至關重要。數據局部性問題主要是由數據單元和算術單元（或處理引擎）之間的物理接口體現的。
　　數據并行性。
　　大多數信號處理算法都是對高度并行的數據進行操作（如 FIR 濾波）。單指令多數據 （SIMD） 和向量處理器對可被并行化或做成向量格式（或長數據寬度）的數據具有較高的處理效率。
　　FPGA可通過提供大量塊 RAM 支持大量極高總計帶寬要求來實現這一點。在新的 Xilinx Virtex-4 SX器件中，塊 RAM 的數量與 Xtreme DSP的邏輯片數緊密匹配（例如，SX25具有128個塊RAM，128個DSP邏輯片；SX35具有192個塊 RAM，192個DSP 邏輯片；SX55具有320個塊 RAM，512個DSP邏輯片）。
　　信號處理算法并行機制。
　　在典型的可編程 DSP 或通用處理器中，信號處理算法并行機制通常是指指令級并行 （ILP）。超長指令字 （VLIW） 處理器是此類采用ILP的機器中的一個例子，它將多條指令（ADD、MULT 及 BRA）組合起來，在一個周期內執行。處理器中高度流水線化的執行單元也是實現并行機制的典型硬件示例。現在已經有可編程DSP采用這種架構（如TI的TMS320C64x）。
　　但是，并非所有算法都能使用這種并行機制。遞歸算法，如 IIR 濾波、MPEG 1/2/4 中的變長編碼 （VLC）、上下文自適應變長編碼 （CAVLC），以及 H.264/AVC 中的上下文自適應二進制算術編碼 （CABAC），當映射到這些可編程 DSP 時，均無法達到最優且效率不高。這是因為數據遞歸阻礙了 ILP 的有效利用。作為取代方案，可在FPGA 結構中有效地構建專用硬件引擎。
　　計算復雜度。
　　可編程 DSP 受計算復雜度的限制，可通過處理器的時鐘速率來度量。在FPGA中實現的信號處理算法通常為計算密集型算法。其中的例子有運動估計中的絕對差值和 （SAD） 引擎以及視頻縮放。
　　通過將這些模塊映射到 FPGA 中，主處理器或可編程DSP就可有額外的周期來處理其他算法。此外，FPGA 結構還可以具有多時鐘域，從而允許選擇性硬件模塊根據各自的計算要求使用獨立的時鐘速度。