一、PCIe概況

隨著現(xiàn)代處理器技術(shù)的發(fā)展，使用高速差分總線(xiàn)替代并行總線(xiàn)已是大勢(shì)所趨。與單端并行信號(hào)相比，高速差分信號(hào)可以使用更高的時(shí)鐘頻率，從而可以使用更少的信號(hào)線(xiàn)達(dá)到更高的通訊速度。PCIe總線(xiàn)解決了PCI總線(xiàn)的不足，它的發(fā)展將取代PCI成為新型的數(shù)據(jù)總線(xiàn)，其提供了更加完善的性能，更多的功能，更強(qiáng)的可擴(kuò)展性和更低的成本 。

在PCIE中有兩種數(shù)據(jù)傳輸方式：
1>DMA(Direct Memory Access)模式：直接內(nèi)存訪(fǎng)問(wèn)，該模式下數(shù)據(jù)傳送不是由CPU負(fù)責(zé)處理，而是由一個(gè)DMA控制器來(lái)完成，占用較少的CPU資源
2>PIO(Programmed Input-Output)模式：可編程IO，該模式下數(shù)據(jù)傳送由CPU執(zhí)行I/O端口指令來(lái)處理，占用大量的CPU資源，數(shù)據(jù)傳輸速度也大大低于DMA模式
使用DMA模式時(shí)，計(jì)算機(jī)的運(yùn)行速度會(huì)比使用PIO模式快很多

二、PCIe層次結(jié)構(gòu)

PCIe 規(guī)范對(duì)于設(shè)備的設(shè)計(jì)采用分層的結(jié)構(gòu)，主要分為事務(wù)層、數(shù)據(jù)鏈路層和物理層，在設(shè)備的發(fā)送時(shí)，首先根據(jù)來(lái)自FPGA的信息，在事務(wù)層形成事務(wù)層包（TLP），儲(chǔ)存在發(fā)送緩沖器里，等待傳給下層；數(shù)據(jù)鏈路層中，在 TLP 包上串接一些附加信息成為數(shù)據(jù)鏈路層包（DLLP），這些信息是接收方接受 TLP 包時(shí)進(jìn)行錯(cuò)誤檢查要用到的；物理層中，對(duì)DLLP包進(jìn)行編碼成物理層包（PLP），占用鏈路中的可用通道發(fā)送出去。TLP、DLLP、PLP產(chǎn)生于各自所在層，最后通過(guò)電或光等介質(zhì)和另一方通訊。這其中DLLP、PLP平常不需要關(guān)心，在IP核中封裝好了，在FPGA上做PCIe的功能，就變成對(duì)TLP的處理。

事務(wù)層（Transaction Layer）：
TLP由幀頭、數(shù)據(jù)、摘要組成，7系列FPGA 開(kāi)始，使用標(biāo)準(zhǔn)的 AXI4 總線(xiàn)協(xié)議進(jìn)行通信，因此 PCIe的TLP采用AXI4-S接口協(xié)議進(jìn)行傳輸，數(shù)據(jù)的傳輸以大端方式對(duì)齊（高位放在低地址）

頭標(biāo)： 長(zhǎng)度為3或4個(gè)DW（double word），格式和內(nèi)容隨事務(wù)類(lèi)型變化
數(shù)據(jù)： （若該 TLP 不攜帶數(shù)據(jù)，那該段為空）
摘要： 是基于頭標(biāo)、數(shù)據(jù)而計(jì)算出來(lái)的CRC，稱(chēng)為 ECRC，一般該段由 IP核填充，所以用戶(hù)只需處理TLP中頭標(biāo)和數(shù)據(jù)段

Fmt[1:0]段 是關(guān)于頭標(biāo)長(zhǎng)度和該 TLP 是否有數(shù)據(jù)在的信息：

Type與 Fmt字段：一起用于規(guī)定事務(wù)類(lèi)型、頭標(biāo)長(zhǎng)度和是否有數(shù)據(jù)載荷
Non-Posted命令：若設(shè)備發(fā)出一個(gè)Non-Posted請(qǐng)求，一段時(shí)間后，接收端需回復(fù)一個(gè)完成包，若不回復(fù)則可能遇到異常
Posted命令：不需要回復(fù)完成包給發(fā)送端

則：Fmt是2’b10，Type 是5’b01010，判斷為 3DW 帶數(shù)據(jù)的完成包，0x4a00_0001_01a0_0004_01a0_0a10是頭標(biāo)，0x0403_0201是所帶的數(shù)據(jù)

Length字段： 在讀存儲(chǔ)器請(qǐng)求報(bào)文中，表示需要從目標(biāo)設(shè)備數(shù)據(jù)區(qū)域讀取的數(shù)據(jù)長(zhǎng)度；在寫(xiě)存儲(chǔ)器請(qǐng)求報(bào)文中，表示當(dāng)前報(bào)文的DataPayload長(zhǎng)度，長(zhǎng)度單位為DW

last/1st DW BE字段： PCIe總線(xiàn)以字節(jié)為基本單位進(jìn)行數(shù)據(jù)傳遞，但是Length字段以DW為最小單位，該字段用于規(guī)定第一個(gè)和最后一個(gè)的有效字節(jié)的位置

Requester ID : 該TLP包的產(chǎn)生設(shè)備，的總線(xiàn)號(hào)（Bus Number）、設(shè)備號(hào)（Device Number）、功能號(hào)（Function Number）等

Tag： Requester ID、Tag合起來(lái)組成Transaction ID，在同一時(shí)間段內(nèi)，PCIe設(shè)備發(fā)出的每一個(gè)Non-Posted數(shù)據(jù)請(qǐng)求TLP，其Transaction ID必須唯一，即Tag必須唯一

讀寫(xiě)TLP包的格式：

上圖中的兩個(gè)格式，前者是針對(duì)64位地址的讀寫(xiě)包，后者則是針對(duì)32位地址的讀寫(xiě)包

完成包的格式：

Completer ID： 該完成包的產(chǎn)生設(shè)備的ID號(hào)
Byte Count： 記錄源設(shè)備還需要從目標(biāo)設(shè)備中獲得多少字節(jié)的數(shù)據(jù)才能完成全部數(shù)據(jù)傳遞
Lower Address： 接收端必須使用存儲(chǔ)器讀寫(xiě)完成TLP的Low Address 字段，識(shí)別該TLP中包含有效數(shù)據(jù)的起始地址

三、事務(wù)層空間
PCI配置空間：主要用于向系統(tǒng)提供設(shè)備自身的基本信息，并接受系統(tǒng)對(duì)設(shè)備全局狀態(tài)的控制和查詢(xún)（設(shè)備只有在系統(tǒng)軟件初始化配置空間之后，才能夠被其他主設(shè)備訪(fǎng)問(wèn)，當(dāng)配置空間被初值化后，該設(shè)備在當(dāng)前的PCI總線(xiàn)樹(shù)上將擁有一個(gè)獨(dú)立的BAR空間）
I/O空間：主要包括設(shè)備的控制狀態(tài)寄存器，一般用于控制查詢(xún)?cè)O(shè)備的工作狀態(tài)及少量數(shù)據(jù)交換
存儲(chǔ)器空間：一般用于大量數(shù)據(jù)的交換（內(nèi)存、顯存、擴(kuò)展ROM、設(shè)備緩沖區(qū)等）
消息空間 ： 傳遞消息的空間

PCIe通訊是靠發(fā)送TLP包，讀寫(xiě)包里都會(huì)有地址信息，若FPGA向PC發(fā)送TLP 包，例如 MWr 包，那么地址信息就是PC的物理地址；若發(fā)送的是 MRd 包，那PC收到后會(huì)回復(fù)一個(gè)完成包，F(xiàn)PGA從完成包提取出數(shù)據(jù)即可
PC 如何讀寫(xiě)板卡的數(shù)據(jù)：
PC啟動(dòng)時(shí)，BIOS探測(cè)PCIe設(shè)備有多少個(gè)BAR空間，每個(gè)空間有多大，然后對(duì)應(yīng)為這些空間分配地址

以上圖為例，BAR2的空間大小為0x1000，PC上的起始地址為0xFDEFF000，若想通過(guò)PC訪(fǎng)問(wèn)BAR2的0x40地址，則在PC上直接訪(fǎng)問(wèn)0xFDEFF040即可，起始地址在不同的PC上是不一樣的（但是偏移地址是相同的），在 FPGA 中，BAR 空間的設(shè)置，是根據(jù)用戶(hù)需求在IP核里定義大小的

四、發(fā)送中斷
PCIe可以發(fā)出兩種中斷：虛擬INTx信號(hào)線(xiàn)（PCI的信號(hào)）和MSI（消息）
虛擬INTx信號(hào)線(xiàn)：
發(fā)送的數(shù)據(jù)為：0x3400_0000_0100_0020, 0x0000_0000_0000_0000
則：Fmt為 2’b01，Type 為5’b10100，判斷為消息請(qǐng)求包，Message Code 為0x20（8’b0010_0000），判斷為中斷（INTx）消息

發(fā)送的數(shù)據(jù)為：0x3400_0000_0100_0024, 0x0000_0000_0000_0000時(shí)，
則：Fmt 為2’b01，Type 為 5’b10100，判斷為消息請(qǐng)求包，Message Code 為0x24 （8’b0010_0100），判斷為中斷（INTx）撤銷(xiāo)消息

這個(gè)之后有需要的話(huà)，可以做實(shí)驗(yàn)測(cè)試，現(xiàn)階段就先只找到這兩個(gè)信號(hào)線(xiàn)（如圖直接搜索int_(x)）

MSI中斷：
是基于消息機(jī)制的，PC啟動(dòng)后會(huì)為 PCIe 板卡分配消息地址，板卡發(fā)送中斷的話(huà)，只需向?qū)?yīng)的地址發(fā)送消息即可（消息內(nèi)容中包含消息號(hào)，每個(gè)消息號(hào)對(duì)應(yīng)在PC 端的某一地址）

注：在Xilinx平臺(tái)上，中斷和其他包是分開(kāi)的，中斷發(fā)送是非常簡(jiǎn)單的，只需要簡(jiǎn)單操作幾條信號(hào)線(xiàn)，PCIe 核就可以自己組織需要的中斷包向外發(fā)送

五、PCIe的IP核
使用環(huán)境：VIVADO 2017.4
IP核版本：7 Series FPGAs Integrated Block for PCI Express v3.3
官方文檔：pg054
IP核概覽圖：

IP核接口定義：
System Interface：

PCI Express Interface：

上圖為4X模式下的，外部引腳的接口，共4組，每組都有收發(fā)信號(hào)，且收發(fā)信號(hào)線(xiàn)均為差分線(xiàn)

Configuration Interface：
這類(lèi)信號(hào)名稱(chēng)一般以cfg_開(kāi)頭，主要用于檢測(cè)PCIE終端的configuration space狀態(tài)，詳情見(jiàn)手冊(cè)，此類(lèi)信號(hào)在IP核上有很多很多，比如：

其中的中斷接口信號(hào)一般以cfg_interrupt開(kāi)頭
其中的異常報(bào)告信號(hào)一般以cfg_err_開(kāi)頭

Physical Layer Interface：
此類(lèi)信號(hào)一般以pl_開(kāi)頭，詳情見(jiàn)手冊(cè)，用于控制和檢測(cè)PCIE物理層，可以改變速度、位寬等，一般不使用

Dynamic Reconfiguration Port Interface：
DRP接口，此類(lèi)信號(hào)一般以pcie_drp_開(kāi)頭，詳情見(jiàn)手冊(cè)，用于動(dòng)態(tài)配置PCIE核的寄存器，用于調(diào)試

Debug Interface：
user_和fc_開(kāi)頭的信號(hào)，輸出系統(tǒng)工作狀態(tài)，用于調(diào)試

AXI4-S Interface：
以m_axis_rx_、s_axis_tx_、tx_、rx_開(kāi)頭，用于傳輸數(shù)據(jù)，詳情見(jiàn)手冊(cè)

六、DMA傳輸模式XAPP1052官方例程解析
xapp1052是xilinx官方給出的一個(gè)有關(guān)DMA數(shù)據(jù)傳輸?shù)臉永糜赑C端和FPGA端之間的DMA數(shù)據(jù)傳輸，雖然xapp1052并不是一個(gè)完整的DMA數(shù)據(jù)傳輸?shù)慕K端硬件設(shè)計(jì)，但是還是有很大參考價(jià)值的
文件層次：

主要包括PCIe硬核和應(yīng)用邏輯，硬核由軟件生成，應(yīng)用邏輯主要包括發(fā)送引擎、接收引擎和存儲(chǔ)器訪(fǎng)問(wèn)模塊
RX_ENGINE： 用于解析IP核的數(shù)據(jù)包，負(fù)責(zé)DMA讀接收數(shù)據(jù)包
TX_ENGINE： 負(fù)責(zé)DMA寫(xiě)發(fā)送數(shù)據(jù)包和中斷控制
BMD_EP_MEM_ACCESS： 存儲(chǔ)訪(fǎng)問(wèn)模塊，包含DMA狀態(tài)及控制寄存器用以控制DMA讀寫(xiě)，這里的寄存器是以PIO的方式寫(xiě)入配置，在RC中設(shè)置的TLP長(zhǎng)度、TLP數(shù)量信息等會(huì)寫(xiě)入到這些寄存器中
BMD_GEN2、BMD_RD_THROTTLE、BMD_TO_CTRL、BMD_CFG_CTRL：BMD的一些相關(guān)的配置和控制信號(hào)的處理模塊
axi_trn_top：負(fù)責(zé)axi協(xié)議和trn協(xié)議的相互轉(zhuǎn)換

DMA寫(xiě)流程：
一次DMA寫(xiě)的過(guò)程是由FPGA的數(shù)據(jù)寫(xiě)入RC端的存儲(chǔ)器中的過(guò)程，具體步驟為：
0>在RC端申請(qǐng)一塊物理地址連續(xù)的內(nèi)存，EP端準(zhǔn)備好寫(xiě)數(shù)據(jù)后向RC端發(fā)送中斷
1>在RC端分析中斷，并向BAR0空間設(shè)置本次DMA寫(xiě)的TLP大小、TLP數(shù)量、寫(xiě)地址等，（通過(guò)PIO的方式，將帶有上述信息的TLP包發(fā)送給EP端，寫(xiě)入FPGA的DMA控制狀態(tài)寄存器中），并且啟動(dòng)DMA
2>根據(jù)DMA狀態(tài)控制寄存器的內(nèi)容，在收到DMA寫(xiě)啟動(dòng)命令后，TX引擎開(kāi)始從FPGA中讀取數(shù)據(jù)并按第一步設(shè)置的DMA大小數(shù)量來(lái)組裝TLP包然后發(fā)送到PCIe核
3>FPGA發(fā)送完數(shù)據(jù)后通過(guò)中斷等形式通知主機(jī)DMA完成，主機(jī)讀取 BAR0 空間狀態(tài)寄存器判斷中斷類(lèi)型做出相應(yīng)判斷，同時(shí)主機(jī)從內(nèi)存讀出數(shù)據(jù)

狀態(tài)機(jī)：
BMD_64_TX_RST_STATE：初始的復(fù)位狀態(tài)，在該狀態(tài)判斷該進(jìn)入發(fā)送完成包、存儲(chǔ)器寫(xiě)和存儲(chǔ)器讀 的其中一個(gè)狀態(tài)

發(fā)送完成包：
BMD_64_TX_CPLD_QW1：發(fā)送完成包 — 返回存儲(chǔ)器地址和指定數(shù)據(jù)
BMD_64_TX_CPLD_WIT：發(fā)送完成包 — 等待完成
存儲(chǔ)器寫(xiě)：
BMD_64_TX_MWR_QW1：DMA存儲(chǔ)器寫(xiě)請(qǐng)求（32bit地址），發(fā)送3DW長(zhǎng)度的頭+1DW數(shù)據(jù)
BMD_64_TX_MWR64_QW1：DMA存儲(chǔ)器寫(xiě)請(qǐng)求（64bit地址），發(fā)送4DW長(zhǎng)度的頭
BMD_64_TX_MWR_QWN：發(fā)送剩余的數(shù)據(jù)到RC端
存儲(chǔ)器讀：
BMD_64_TX_MRD_QW1：DMA存儲(chǔ)器讀請(qǐng)求（然后在RX引擎接收相應(yīng)數(shù)據(jù)）

DMA讀流程：
一次DMA讀的過(guò)程是將RC端存儲(chǔ)空間的數(shù)據(jù)讀入到FPGA中的過(guò)程，具體步驟為：
0>在RC端申請(qǐng)一塊物理地址連續(xù)的內(nèi)存，并向該內(nèi)存寫(xiě)入數(shù)據(jù)，EP端準(zhǔn)備好讀數(shù)據(jù)后向RC端發(fā)送中斷
1>在RC端分析中斷，并向BAR0空間設(shè)置本次DMA讀的TLP大小、TLP數(shù)量、讀地址等，（通過(guò)PIO的方式，將帶有上述信息的TLP包發(fā)送給EP端，并寫(xiě)入DMA控制狀態(tài)寄存器中），并啟動(dòng)DMA
2>根據(jù)DMA狀態(tài)與控制寄存器的內(nèi)容，在收到DMA讀啟動(dòng)命令后，在TX引擎中組裝存儲(chǔ)器讀TLP包后，發(fā)送給PCIe核，RC端根據(jù)收到的存儲(chǔ)器讀包，在指定的地址讀取數(shù)據(jù)后形成帶數(shù)據(jù)的完成包（CPLD）返回給FPGA，F(xiàn)PGA在RX引擎中接收數(shù)據(jù)
3>FPGA接收完數(shù)據(jù)后通過(guò)中斷形式通知主機(jī)DMA讀完成，主機(jī)讀取 BAR0 空間狀態(tài)寄存器判斷中斷類(lèi)型做出相應(yīng)判斷

狀態(tài)機(jī)：
BMD_64_RX_RST：根據(jù)trn_rd[62:56]來(lái)判斷包的類(lèi)型：
32位地址讀請(qǐng)求 （BMD_MEM_RD32_FMT_TYPE）
32位地址寫(xiě)請(qǐng)求 （BMD_MEM_WR32_FMT_TYPE）
不帶數(shù)據(jù)的完成包 （BMD_CPL_FMT_TYPE）
帶數(shù)據(jù)的完成包 （BMD_CPLD_FMT_TYPE）

32位地址讀請(qǐng)求：
BMD_64_RX_MEM_RD32_QW1：解析RC端的讀TLP包 — 通知TX引擎發(fā)送完成包
BMD_64_RX_MEM_RD32_WT：解析RC端的讀TLP包 — 等待完成包發(fā)送完畢

32位地址寫(xiě)請(qǐng)求
BMD_64_RX_MEM_WR32_QW1：解析RC端的寫(xiě)TLP包 — 寫(xiě)入寄存器
BMD_64_RX_MEM_WR32_WT：解析RC端的寫(xiě)TLP包 — 等待寫(xiě)寄存器完畢

不帶數(shù)據(jù)的完成包
BMD_64_RX_CPL_QW1：解析出完成包的tag，送至MEM模塊

帶數(shù)據(jù)的完成包
BMD_64_RX_CPLD_QW1：解析RC端的完成包 — 獲得數(shù)據(jù)
BMD_64_RX_CPLD_QWN：解析RC端的完成包 — 直至完成

axi-trn互轉(zhuǎn)：
由于7系列的PCIe核的數(shù)據(jù)是通過(guò)AXI-S協(xié)議傳輸?shù)模荴APP1052中的信號(hào)的相關(guān)處理是對(duì)trn_信號(hào)進(jìn)行處理，所以會(huì)有一個(gè)協(xié)議轉(zhuǎn)換的模塊

以接收類(lèi)信號(hào)為例，發(fā)送類(lèi)信號(hào)類(lèi)比：
trn_rsrc_rdy: 表示RC端（接收的源）準(zhǔn)備就緒
trn_rdst_rdy: 表示EP端（接收的目的）準(zhǔn)備就緒
trn_rsrc_dsc: 表示RC端（接收的源）將當(dāng)前包丟掉
trn_rsof: 接收幀開(kāi)始標(biāo)志，（僅在trn_rsrc_rdy低時(shí)有效）
trn_reof: 接收幀結(jié)束標(biāo)志，（僅在trn_rsrc_rdy低時(shí)有效）
trn_rd: 接收到的數(shù)據(jù)，（僅在trn_rsrc_rdy低時(shí)有效）
trn_rrem: 接收數(shù)據(jù)余數(shù)，為0表示數(shù)據(jù)在trn_rd[63:0]，為1表示數(shù)據(jù)在trn_rd[63:32]（僅在trn_reof 、trn_rsrc_rdy、trn_rdst_rdy同時(shí)低時(shí)有效）
trn_rbar_hit[6:0]: 表示當(dāng)前包在哪個(gè)BAR空間，低有效（僅在trn_rsof、trn_reof低時(shí)有效）
trn_rbar_hit[0]——>BAR0
trn_rbar_hit[1]——>BAR1
trn_rbar_hit[2]——>BAR2
trn_rbar_hit[3]——>BAR3
trn_rbar_hit[4]——>BAR4
trn_rbar_hit[5]——>BAR5
trn_rbar_hit[6]——>Expansion ROM Addres

編輯：hfy