PCIe設(shè)備的數(shù)據(jù)流有哪些，分別是什么場景？

PCIe設(shè)備的數(shù)據(jù)流主要為4大類：

1.CPU發(fā)起的，訪問PCIe設(shè)備配置空間的數(shù)據(jù)流。這種數(shù)據(jù)流主要是BIOS/Linux PCIedriver 對設(shè)備進行初始化、資源分配時，讀寫配置空間的。包括PCIe 枚舉，BAR空間分配， MSI 分配等。 設(shè)備驅(qū)動通過 pci_wirte_config() / pci_read_config() 發(fā)起配置空間訪問。 lspci /setpci 也是對應到配置空間訪問。

2.CPU發(fā)起的，訪問PCIe設(shè)備MMIO/IO的數(shù)據(jù)流。將Bar空間mmap 到系統(tǒng)地址空間后，設(shè)備驅(qū)動可通過地址訪問PCIe設(shè)備的 Bar/ MMIO 空間。 一般的，設(shè)備會將特定的寄存器和存儲實現(xiàn)在MMIO空間內(nèi)。CPU可使用 iowrite32() / ioread32() 等方式訪問 MMIO空間。這是一種效率較低的PCIe使用方式.

3.PCIe設(shè)備發(fā)起的，訪問 HostMemory 的 DMA數(shù)據(jù)流。這種數(shù)據(jù)流由PCIe設(shè)備的DMAEngine 發(fā)起，是一種常見的、高性能的PCIe數(shù)據(jù)流。CPU通過配置 PCIe設(shè)備內(nèi)的DMAEngine (通過MMIO寄存器)，啟動設(shè)備PCIeDMA。網(wǎng)卡，GPU等PCIe設(shè)備，數(shù)據(jù)通路均有PCIeDMA完成。

4.PCIe設(shè)備發(fā)起的，訪問PCIe設(shè)備MMIO/IO的數(shù)據(jù)流， 亦稱P2P (Peer to Peer)。同（3）類似，也是利用PCIe設(shè)備的DMAengine, 但是數(shù)據(jù)訪問的是其他PCIe設(shè)備的MMIO地址空間而非HostMemory. CPU須配置橋片端口路由地址。 GDR (GPU directRDMA) 就是利用這種數(shù)據(jù)流，避免主機內(nèi)存的數(shù)據(jù)拷貝。

CPU訪問設(shè)備內(nèi)存(Bar空間)和訪問主機內(nèi)存，有什么不同？

Prefetchable MMIO 映射到系統(tǒng)地址空間后，軟件可以通過地址對PCIeMMIO空間進行直接訪問（CPU使用MOV指令），這一點與系統(tǒng)內(nèi)存訪問在操作上是一致的。

RootComplex 會根據(jù)CPU訪問的地址決定數(shù)據(jù)訪問路由，對于系統(tǒng)內(nèi)存地址空間，數(shù)據(jù)會被路由到iMC(integrated Memory Controller) 訪問DDR；對于MMIO地址空間，數(shù)據(jù)會被路由到HostBridge 轉(zhuǎn)換為 TLP發(fā)起對設(shè)備的PCIe通信。

一般的，HostMemory 分配都是Cacheable(writeback) 的，而 MMIO通常是Uncacheable的，加之兩者帶寬和通信機理的不同，導致了CPU使用地址直接訪問PCIeMMIO空間無法達到訪問系統(tǒng)內(nèi)存的性能，也無法用滿PCIe帶寬。使用memcpy() 在HostMemory 和MMIO 地址拷貝數(shù)據(jù)也是一種低效方式。

對于連續(xù)的MMIO空間訪問，可以通過支持writecombine的方式（ mmap_wc() ）來提升性能。

為什么需要使用PCIe DMA，在設(shè)備與主機間搬運數(shù)據(jù)？

PCIe DMA 能夠?qū)崿F(xiàn)高性能的數(shù)據(jù)搬運。

1.CPU僅需要配置DMAEngine, 大塊的數(shù)據(jù)搬運過程無需CPU參與，CPU占用率低；

2.DMAEngine 是全硬件化的通信方式，TLPpayload 大overhead小，PCIe鏈路使用率高；

3.支持descriptor的DMA能夠?qū)崿F(xiàn)用戶態(tài)數(shù)據(jù)的零拷貝，減小內(nèi)存帶寬消耗；

4.支持多隊列的DMA，能夠提高系統(tǒng)并行度，支持多核，多進程應用，硬件解決IO搶占和調(diào)度問題，軟件編程簡單；

如何使用PCIe設(shè)備的中斷?

PCIe協(xié)議定義了三種中斷：INTx (legacy), MSI, MSIX

1.INTx中斷是相對古老的PCIe設(shè)備中斷方式，整個系統(tǒng)僅支持8個INTx 中斷，所有設(shè)備共用。PCIe中的INTx 中斷是通過PCIemessage發(fā)送到 switch和 IOAPIC的。CPU收到 IOAPIC轉(zhuǎn)發(fā)到 localAPIC 的 INTx 中斷后，需要查詢ISR確定中斷源設(shè)備，并進一步查詢中斷含義，才能執(zhí)行中斷處理函數(shù)。中斷數(shù)量少，中斷查詢復雜，響應延遲大，與數(shù)據(jù)流不保序等問題的存在，是INTx的主要缺陷。

2.MSI是實現(xiàn)在配置空間的消息中斷，每個PCIefunction可支持最多32個MSI中斷。MSI中斷是一筆PCIe寫報文，向APIC地址域?qū)懭胩囟ǖ臄?shù)據(jù)，觸發(fā)CPU中斷。因為其通過PCIewriteTLP 實現(xiàn)，中斷與業(yè)務(wù)數(shù)據(jù)的保序性容易實現(xiàn)，硬件處理RacingCondition的代價更小。MSI中斷可以具備特定的含義，設(shè)備之間不耦合，中斷響應快。

3.MSIx是實現(xiàn)在Bar空間的消息中斷，優(yōu)點與MSI類似，但其數(shù)量支持更多，每個function最多可以支持2K條中斷向量。

MSI和MSIx 是目前主流的中斷實現(xiàn)方式，在虛擬化的場景下，中斷可以通過IOMMU 實現(xiàn)remap和 posting, 進一步提升系統(tǒng)性能。

網(wǎng)卡接收方向性能低，進行調(diào)優(yōu)有哪些思路？

網(wǎng)卡收包性能性能調(diào)優(yōu)，需先識別出性能瓶頸，可通過performance監(jiān)控工具（如IntelPCM）,查看 CPU利用率，內(nèi)存帶寬使用，PCIe流量等。

一般的，優(yōu)化方向包括：

1.確定NUMA的親和性，保證CPU/Memory/PCIe 三者的親和性

2.確定PCIe全鏈路的帶寬匹配，確保內(nèi)存帶寬（讀+寫雙向）有余量

3.設(shè)備合理的PCIe通路MPS/MRRS

4.查看并打開IDO/RO (需注意應用場景無保序風險)

5.DMAEngine 參數(shù)的調(diào)優(yōu)，Batch操作的閾值配置（隊列doorbell, completion notify等）

6.中斷頻率的調(diào)優(yōu)和控制（一般在20K/100k 每秒，需結(jié)合應用和CPU）

7.DDIO和 cacheable /uncacheable 內(nèi)存空間的分配

具體原理和操作可參考課程中的有關(guān)介紹。

審核編輯：湯梓紅