ORihard KCU116E: 經(jīng)濟(jì)實惠的 100Gbps 網(wǎng)絡(luò)和存儲 FPGA 開發(fā)平臺

Kintex? UltraScale+? 系列被認(rèn)為是 Xilinx? 基于 TSMC 16 nm FinFET 技術(shù)構(gòu)建的、具有“價格/性能/瓦特”平衡比的 FPGA 器件。結(jié)合皆為新的 UltraRAM 和互連優(yōu)化技術(shù) (SmartConnect)，該器件為需要通過高端功能收發(fā)器實現(xiàn) 100 Gbps 連接內(nèi)核的應(yīng)用提供了最經(jīng)濟(jì)實惠的解決方案。這個系列專門為網(wǎng)絡(luò)和存儲應(yīng)用而設(shè)計，如網(wǎng)絡(luò)包處理和無線 MIMO 技術(shù)、100 Gbps 有線網(wǎng)絡(luò)、工業(yè)和數(shù)據(jù)中心網(wǎng)絡(luò)加速以及 NVMe SSD（固態(tài)硬盤）存儲加速。本文通過使用 Design Gateway 的 TOE100G-IP 內(nèi)核和 NVMeG4-IP 內(nèi)核，在 Xilinx 的 KCU116E 評估套件上演示了 TCP 卸載引擎網(wǎng)絡(luò)和 NVMe SSD 實現(xiàn)的100Gbps 解決方案。其中，TOE100G-IP 內(nèi)核用于在 100 GbE 接口上進(jìn)行 12GB/s TCP 傳輸?shù)?CPU 解決方案，而 NVMeG4-IP 內(nèi)核則能夠?qū)崿F(xiàn)每個 SSD 約 4GB/s 的難以置信的快速傳輸性能。

Kintex? UltraScale+ KCU116E 評估套件簡介

KCU116E 非常適用于評估 Kintex UltraScale+ 的關(guān)鍵功能，尤其是 28 Gbps 收發(fā)器性能。該套件非常適用于基于 XCKU5P-2FFVB676E FPGA 器件的快速原型開發(fā)。

板上包括一個板載的 1GB 64位 DDR4-2666、以及用于多達(dá) 2 個 M.2 NVMe SSD 接口的 PCIe Gen4 x8 通道。16 x 28 Gbps GTY 收發(fā)器可用于組成 PCIe Gen4 X8和 2個100 GbE 接口，并提供各種外設(shè)接口和 FPGA 邏輯以方便用戶進(jìn)行定制設(shè)計。

圖 1：KCU116E 評估套件。

通過搭配 Design Gateway 的 IP Cores，KCU116E 能提供開發(fā)最先進(jìn)的 100Gbps 網(wǎng)絡(luò)和存儲解決方案所需的一切，而且不需要 MPSoC 支持。

實現(xiàn) 100Gbps 網(wǎng)絡(luò)和存儲解決方案

圖 2：KCU116E 的 100Gbps 網(wǎng)絡(luò)和存儲解決方案。（圖片來源：Design Gateway）

盡管 Kintex UltraScale+ 器件不像 Zynq UltraScale+ 那樣采用了 MPSoC 技術(shù)，但通過利用 Design Gateway 的 IP Cores 解決方案，可以實現(xiàn)網(wǎng)絡(luò)和 NVMe 存儲協(xié)議處理，無需處理器和操作系統(tǒng)。

1. TOE100G-IP：100GbE 全 TCP 協(xié)議棧 IP Core，無需 CPU

2. NVMeG4-IP：獨(dú)立的 NVMe 主機(jī)控制器，內(nèi)置 PCIe Gen4 IP 軟核

TOE100G-IP 和 NVMeG4-IP 都可以在不需要 CPU/OS/驅(qū)動的情況下運(yùn)行。對于使用這兩種 IP 的控制和數(shù)據(jù)路徑的用戶邏輯，可以由 Microblaze 的純硬件邏輯或裸機(jī)操作系統(tǒng)來實現(xiàn)，以使高層應(yīng)用和算法的開發(fā)更快、更容易，而無需擔(dān)心復(fù)雜的網(wǎng)絡(luò)和 NVMe 協(xié)議。這為先進(jìn)的系統(tǒng)級解決方案創(chuàng)造了新的機(jī)會，如傳感器數(shù)據(jù)采集、板載計算和基于 AI 的邊緣計算設(shè)備。

Design Gateway 的 TOE100G-IP 用于 UltraScale+設(shè)備

圖 3：TOE100G-IP 系統(tǒng)。（圖片來源：Design Gateway）

TOE100G IP 內(nèi)核執(zhí)行 TCP/IP 協(xié)議棧（在硬線邏輯中），與 Xilinx 的 100Gb 以太網(wǎng)子系統(tǒng)模塊連接，用于下層硬件。TOE100G IP 的用戶接口包括一個用于控制信號的寄存器接口、一個用于數(shù)據(jù)信號的 FIFO 接口。TOE100G IP 旨在與 100Gb 以太網(wǎng)子系統(tǒng)連接，后者使用 512 位 AXI4-ST 連接至用戶接口。Xilinx 提供的以太網(wǎng)子系統(tǒng)包括 EMAC、PCS 和 PMA 功能。100Gb 以太網(wǎng)子系統(tǒng)的用戶接口時鐘頻率等于 322.265625 MHz。

TOE100G-IP 的特點

· 完整的 TCP/IP 堆棧實施

· 一個 TOE100G IP 支持一個會話（可通過使用多個 TOE100G IP 實現(xiàn)多重會話）

· 同時支持服務(wù)器和客戶端模式（被動/主動打開和關(guān)閉）

· 支持 Jumbo 框架

· 通過標(biāo)準(zhǔn) FIFO 接口提供簡單的數(shù)據(jù)接口

· 通過單端口 RAM 接口進(jìn)行簡單的接口控制

XCKU5P-2FFVB676E FPGA 器件上的 FPGA 資源使用情況如下表 1 所示。

表 1：Kintex Ultrascale+ 器件的使用統(tǒng)計示例

有關(guān) TOE100G-IP 的更多詳情，請參閱其規(guī)格書。可從 Design Gateway 網(wǎng)站下載規(guī)格書。

Design Gateway 的 GTY 收發(fā)器的 NVMe PCIe Gen4 主機(jī)控制器

Kintex UltraScale+ 有一個 GTY 收發(fā)器，能夠支持 PCIe Gen4 接口，但不含 PCIe Gen4 集成塊和 ARM 處理器。

Design Gateway 通過開發(fā) NVMeG4-IP 內(nèi)核解決了這個問題，該內(nèi)核能夠作為獨(dú)立 NVMe 主機(jī)控制器運(yùn)行并在單個內(nèi)核中內(nèi)置 PCIe 軟 IP 和 PCIe 橋接邏輯。NVMe PCIe Gen4 固態(tài)硬盤訪問的啟用簡化了用戶界面，使標(biāo)準(zhǔn)功能設(shè)計易于使用，而不需要掌握 NVMe 協(xié)議的知識。

圖 4：NVMeG4-IP 框圖。（圖片來源：Design Gateway）

NVMeG4-IP 的特點

· 能夠?qū)崿F(xiàn)應(yīng)用層、事務(wù)層、數(shù)據(jù)鏈路層和物理層的某些部分在沒有 CPU 或外部 DDR 存儲器的情況下訪問 NVMe SSD

· 使用配置為 4 通道 PCIe Gen4（256 位總線接口）的 Xilinx PCIe PHY IP 進(jìn)行操作

· 包含 256 KB RAM 數(shù)據(jù)緩沖區(qū)

· 支持六條命令，即識別、關(guān)斷、寫入、讀取、SMART 和刷新（可選擇支持其他命令）

· 用戶時鐘頻率必須大于或等于 PCIe 時鐘（Gen4 為 250 MHz）

XCKU5P-2FFVB676E FPGA 器件上的 FPGA 資源使用情況如下表 2 所示。

表 2：Kintex Ultrascale+ 器件的實施統(tǒng)計舉例

有關(guān) NVMeG4-IP 的更多詳情，請參閱其規(guī)格書。可從 Design Gateway 網(wǎng)站下載規(guī)格書。

在 KCU116E 上實施 TOE100G-IP 的舉例和性能結(jié)果

圖 5 所示為基于 KCU116E 的參考設(shè)計，以展示 TOE100G-IP 的應(yīng)用情況。該演示系統(tǒng)包括裸機(jī)操作系統(tǒng) Microblaze 系統(tǒng)、用戶邏輯和 Xilinx 的 100Gb 以太網(wǎng)子系統(tǒng)。

圖 5：TOE100G-IP 演示系統(tǒng)框圖。（圖片來源：Design Gateway）

該演示系統(tǒng)專們用于評估 TOE100G-IP 在客戶端和服務(wù)器模式下的操作。使用測試邏輯功能，可在測試模式下發(fā)送和接收數(shù)據(jù)，以便在用戶界面?zhèn)全@得盡可能高的數(shù)據(jù)速度。對于使用 KCU116E 的 100GbE 接口，需要四個 SFP+ 收發(fā)器 (25GBASE-R) 和光纖電纜，如圖 6 所示。

圖 6：在 KCU116 上安裝的 TOE100G-IP 演示環(huán)境。（圖片來源：Design Gateway）

圖 7 顯示了 100G 與其他 (1G/10G/25G/40G) 比較時的示例測試結(jié)果。

圖 7：TOE100G-IP 與 KCU116E 上的 1G/10G/25G/40G 性能比較。（圖片來源：Design Gateway）

測試結(jié)果表明，TOE100G-IP 能夠?qū)崿F(xiàn)大約 12GB/s 的 TCP 傳輸速度。

在 KCU116E 上的 NVMeG4-IP 實施和性能結(jié)果示例

圖 8 所示為基于 KCU116E 的參考設(shè)計，以展示 1CH NVMeG4-IP 的實施情況。如果用戶定制設(shè)計的 FPGA 資源可用的話，可以實施 NVMeG4-IP 的多個實例以實現(xiàn)更高的存儲性能。

關(guān)于 NVMeG4-IP 參考設(shè)計的更多詳情，請參考 Design Gateway 網(wǎng)站上提供的NVMeG4-IP 參考設(shè)計文件。

圖 8：NVMeG4-IP 參考設(shè)計概覽。（圖片來源：Design Gateway）

該演示系統(tǒng)旨在通過 KCU116E 上的 NVMe SSD 寫入/驗證數(shù)據(jù)。用戶可通過串行控制臺控制測試操作。為了使 NVMe SSD 與 KCU116E 連接，需要一塊 AB18-PCIeX16 適配器板，如圖 9 所示。

圖 9：在 KCU116E 上安裝的 NVMeG4-IP 演示環(huán)境。（圖片來源：Design Gateway）

使用 512 GB Samsung 970 Pro 時，在 ZCU116 上運(yùn)行演示系統(tǒng)的示例測試結(jié)果如圖 10 所示。

圖 10：使用 Samsung 970 PRO S 時，ZCU116 上 NVMe SSD 的讀/寫性能。（圖片來源：Design Gateway）

結(jié)語

TOE100G-IP 和 NVMeG4-IP 內(nèi)核都提供了在 KCU116E 板上使用 100Gbps 連接功能的解決方案，可實現(xiàn)網(wǎng)絡(luò)和 NVMe 存儲應(yīng)用。一個 TOE100G-IP 能夠在 100GbE 上進(jìn)行大約 12GB TCP 傳輸。NVMeG4-IP 可以通過 NVMe PCIe Gen4 提供卓越的高性能存儲，每塊 SSD 的速度約為 4GB/s。NVMeG4-IP 的多個實例可用于組成 RAID0 控制器，并可提高存儲性能，以匹配 100GbE 的傳輸速度。

利用 KCU116E 評估套件和 Design Gateway 的網(wǎng)絡(luò)與存儲 IP 解決方案，就有可能以最少的 FPGA 資源實現(xiàn)最高性能的目標(biāo)，從而獲得基于 Xilinx? Kintex UltraScale+? 器件的、經(jīng)濟(jì)實惠的解決方案或產(chǎn)品。

審核編輯黃昊宇