av狠狠福利,日日色色色网,日韩日日夜夜

在研發實驗室構建針對PCIe Gen5 x4企業級NVMe SSD的測試環境，或者針對Gen5 x16接口的企業級GPU, DPU/SmartNIC，AI板卡，或加速卡的測試環境，需要綜合考慮這些產品在企業級數據中心或者Internet網數據中心的實際使用環境。

企業級SSD和各類板卡除了可能直連PCIe Gen5 CPU外，大多數都需要連接PCIe Gen5 switch或者Retimer卡，所以構建測試環境的時候就必須要考慮這些治具。

下面我們簡要介紹一下構建Gen5測試環境涉及的相關的產品和技術。

第一部分：PCIe Gen5 Switch卡

在目前市場上還幾乎買不到任何量產發布的PCIe Gen5 服務器和endpoint卡的情況下，SerialCables公司的PCIe Gen5 switch卡成為用戶搭建Gen5測試環境的唯一選擇。

該卡對于構建PCIe Gen5測試環境具備兩重屬性：

1）對于測試RC端，例如CPU來講，它可以作為可靠的“EndPoint”，用來訓練RC端的PCIe Gen5鏈路。

2）對于測試EP端，例如上述的SSD和各類板卡，它作為可靠的“RC”，用來訓練EP端的PCIe Gen5鏈路。

下圖為SerialCables最新版本的Rev1.6的Gen5 switch卡圖片，目前國內主流芯片公司基本都購買該卡進行Gen5 CPU或者板卡/SSD盤的測試。

該Gen5 switch卡提供上行Gen5 x16金手指，下行分成兩部分：插槽和MCIO接口。

1.頂部提供PCIe Gen 5x16插槽，提供非常好的信號質量，可以用來測試各種Gen5板卡，如GPU/DPU。

下圖是采用該PCIe Gen5 x16 switch卡測試圖形卡的示意圖。

該Gen5 Switch卡的頂部插槽信號輸出的眼圖質量如下圖所示。

相比較來講，目前不少客戶在x86 Gen5 CPU服務器量產之前采用將插卡插入工作站/臺式機的PCIe Gen5 x16插槽的方式進行測試，可能碰到很多問題，除了CPU本身的問題外，主板信號質量也是一個很重要的因素，下面的眼圖是在號稱業內最好的工作站主板廠商提供的Intel Z690主板芯片組的PCIe Gen5 x16插槽（直連CPU）獲得的眼圖。

2.Gen5 Switch卡左邊提供4個Gen5 x4 MCIO接口。通過各種MCIO轉接U.2, U.3, EDSFF的Gen5轉接線纜可以連接測試各類常見接口的PCIe Gen5 NVMe SSD。當然這4個端口是動態配置的，也就是說，如果用戶自己定制或者購買2*MCIO轉接1*x8插槽的轉接治具，或者4*MCIO轉接1*x16插槽，也可以用來分別測試Gen5 x8或者Gen5 x16的各種產品。

下圖展示了左側通過Gen5 MCIO/U.2 1x4線纜連接single port盤，以及通過Gen5 MCIO/U.2 2x2線纜連接dual port的圖片。頂部的插槽通過SerialCables Gen5 U.2/AIC轉接卡測試Gen5 U.2 single port盤。

目前SerialCables也推出了下行方向為2個QSFP-DD的Gen5 x16 switch卡，主要是連接下行的Gen5 SSD擴展測試盤柜使用，當然也可以連接擴展GPU等板卡的擴展板。

綜上，SerialCables的PCIe Gen5卡板既可以插在主機PCIe Gen5 x16 插槽測試CPU的Gen5建鏈能力，也可以測試插在頂部的Gen5 x16 插槽的客戶的endpoint板卡，例如GPU, DPU, AI卡，加速卡等，或者左邊4個Gen5 x4 MCIO接口通過MCIO轉接U.2, U.3, EDSFF等線纜實現對于各類Gen5 x4 single port 盤和dual port SSD的測試。

Saniffer公司本周剛拍攝并且處理了Gen5 switch卡的演示視頻，展示了兩張Gen5 switch card對接協商成gen5 x16, 同時展示了switch card連接dual port SSD和single port ssd的端口以及熱插拔演示。演示環境參見下圖。

演示視頻包括下面幾個部分：

1.PCIe Gen5 x16 switch card實物介紹

2.實物連接主機、對接、連接dual port ssd和single port SSD

3.switch 卡內置的管理MCU支持的CLI命令行介紹，具體命令列表參見下圖。

上述命令里面，對于測試SSD來講ssdrst可以用來發送300ms的PERST#讓待測SSD或者插卡強行復位，spread和clk配合可以用來測試盤的SRIS功能支持，iicwr和iicw分別用來針對SSD通過iic/smbus總線進行讀取和寫入操作。Showport可以用來檢查上、下行的鏈路訓練狀態是否符合預期。

另外，SerialCables 的Gen5 switch卡使用Broadcom PEX89000 Gen5交換芯片，年底即將量產發布的基于Broadcom B0版本芯片的switch卡內置了SerialTek 的PCIe Gen5協議抓包功能，可以實現對于初始化階段碰到的各種PCIe 底層問題進行抓包分析，具體介紹可以聯系Saniffer公司或者訪問www.saniffer.com官網下載的“PCIe Gen 4&5總線協議和NVMe SSD測試技術和工具白皮書”，參照2.8章節獲得更多信息。

第二部分：PCIe Gen5 Retimer卡

目前業界正在開發中的PCIe Gen5服務器出于成本考慮會使用Retimer卡，所以，對于Gen5 SSD或者各種板卡在實驗室測試的時候也需要構建這類測試環境進行提前測試，主要是要測試信號以及兼容性問題等方面是否有問題，以便可以提前進行問題修復。

注意：

1）Retimer處理到協議層，其原理是串接在PCIe Gen5鏈路中間，將從CPU過來的差分信號串并轉化后，進入retimer然后重新生成這些信號再轉發出去到endpoint插卡或者PCIe背板，也就是說retimer通過這種方式實現了對于較弱的信號增強。

2）Retimer除了上下行分別連接CPU和endpoint板卡或者盤之外，有的場景出于PCIe endpoint擴展的需要，也會在下行方向先連接PCIe Gen5 switch然后即可連接多個endpoint。我們使用SerialTek Gen5 x16協議分析儀抓取的Gen5 CPU -> Gen5 retimer 卡 -> Gen5 x16 switch以及Gen5 CPU-> Gen5 retimer 卡 -> Gen5 x16 400GE網卡的trace文件，對于PCIe Gen5協議底層Retimer和switch或者網卡加電PCIe初始化流程感興趣的朋友可以聯系我們索取該trace文件和解碼軟件。

上圖的Gen5 retimer是最常用的Retimer，比較適合用各類Gen5 x16板卡測試，金手指上行連接CPU，頂部插槽用來插入待測的Gen 5x16 板卡。

當然，如果是Gen5 x4 SSD或者x8 EDSFF SSD，需要借助SerialCables 公司的Gen5 U.2/AIC轉接卡，或者E3.S/AIC，E1/AIC轉接卡實現插入頂部插槽的目標。參見下圖。

當然， SerialCable也計劃推出類似于上述第二種Gen5 switch卡的Retimer型號，提供2個QSFP-DD接口，用來將Gen5 CPU信號擴展到Gen5 盤柜或者擴展板使用。

第三部分：PCIe Gen5 各類轉接卡和延長線

受制于現實測試環境的限制，在研發、測試階段，經常需要在各類接口之間互相轉接，或者將某些接口，例如Gen5 x16 CEM插槽，Gen5 x4 U.2等進行延長，以便連接比較大的Gen5驗證板，或者將EP板卡/SSD放入溫箱測試。在PCIe Gen5時代，這些轉接或者延長的需求變得問題重重。我們平時看到實驗室碰到的大量問題都和采用了劣質的轉接卡和延長線有關。對于Gen4或者Gen5信號質量，國內常用電商平臺買到的基本都不合格，這浪費了研發、測試工程師大量的時間。

限于篇幅，我們本文僅介紹一下常用的Gen5 x16延長線的一些基本信息，其它各種接口的轉接卡和延長線，請直接聯系Saniffer或者到官方網站www.saniffer.com下載Saniffer PCIe Gen5 adapter, cable, switch and retimer cards quick guide_rev1.0文檔，下面是一個簡要目錄供參考。

1. GEN5 ADAPTERS 轉接卡

1.1 PCIe GEN5 U.2 ADAPTERS

1.2 PCIe GEN5 U.3 ADAPTERS

1.3 PCIe GEN5 EDSFF ADAPTERS

1.4 PCIe GEN5 OTHER ADAPTERS

2. GEN5 CABLES 轉接線和延長線

2.1 GEN5 MCIO CABLES

2.2 GEN5 EDSFF CABLES

2.3 GEN5 U.2 CABLES

2.4 GEN5 SlimSAS CABLES

2.5 GEN5 PCIE CEM CABLES

3. GEN5 SWITCH卡