眾所周知，互聯網數據的爆炸式增長，給數據中心的處理能力帶來了很大的挑戰。

計算、存儲和網絡，是推動數據中心發展的三駕馬車。

計算隨著CPU、GPU和FPGA的發展，算力得到了極大的提升。存儲隨著閃存盤（SSD）的引入，數據存取時延已大幅降低。

但是，網絡的發展明顯滯后，傳輸時延高，逐漸成為了數據中心高性能的瓶頸。

在數據中心內，70%的流量為東西向流量（服務器之間的流量）。這些流量，一般為數據中心進行高性能分布式并行計算時的過程數據流，通過TCP/IP網絡傳輸。

如果服務器之間的TCP/IP傳輸速率提升了，數據中心的性能自然也會跟著提升。

下面，我們就來看看服務器之間數據TCP/IP傳輸的過程，了解一下“時間都去哪了”，才好“對癥下藥”。

服務器間的TCP/IP傳輸

在數據中心，服務器A向服務器B發送數據的過程如下：

1、CPU控制數據由A的APP Buffer拷貝到操作系統Buffer。

2、CPU控制數據在操作系統（OS）Buffer中添加TCP、IP報文頭。

3、添加TCP、IP報文頭后的數據傳送到網卡（NIC），添加以太網報文頭。

4、報文由網卡發送，通過以太網絡傳輸到服務器B網卡。

5、服務器B網卡卸載報文的以太網報文頭后，將其傳輸到操作系統Buffer。

6、CPU控制操作系統Buffer中的報文卸載TCP、IP報文頭。

7、CPU控制卸載后的數據傳輸到APP Buffer中。

從數據傳輸的過程可以看出，數據在服務器的Buffer內多次拷貝，在操作系統中需要添加/卸載TCP、IP報文頭，這些操作既增加了數據傳輸時延，又消耗了大量的CPU資源，無法很好得滿足高性能計算的需求。

那么，如何構造高吞吐量、超低時延和低CPU開銷的高性能數據中心網絡呢？

RDMA技術可以做到。

什么是RDMA

RDMA（ Remote Direct Memory Access，遠程直接地址訪問技術 ）是一種新的內存訪問技術，可以讓服務器直接高速讀寫其他服務器的內存數據，而不需要經過操作系統/CPU耗時的處理。

RDMA不算是一項新技術，已經廣泛應用于高性能（HPC）科學計算中。隨著數據中心高帶寬、低時延的發展需求，RDMA也開始逐漸應用于某些要求數據中心具備高性能的場景中。

舉個例子，2021年某大型網上商城的雙十一交易額再創新高，達到5000多億，比2020年又增長了近10%。如此巨大的交易額背后是海量的數據處理，該網上商城采用了RDMA技術來支撐高性能網絡，保障了雙十一的順暢購物。

下面我們一起來看看RDMA讓網絡實現低時延的絕招吧。

RDMA將服務器應用數據直接由內存傳輸到智能網卡（固化RDMA協議），由智能網卡硬件完成RDMA傳輸報文封裝，解放了操作系統和CPU。

這使得RDMA具有兩大優勢：

Zero Copy（零拷貝）：無需將數據拷貝到操作系統內核態并處理數據包頭部的過程，傳輸延遲會顯著減小。

Kernel Bypass（內核旁路）和Protocol Offload（協議卸載）：不需要操作系統內核參與，數據通路中沒有繁瑣的處理報頭邏輯，不僅會使延遲降低，而且也大大節省了CPU的資源。

三大RDMA網絡

目前，大致有三類RDMA網絡，分別是InfiniBand、RoCE（RDMA over Converged Ethernet，RDMA過融合以太網）和iWARP（RDMAover TCP，互聯網廣域RDMA協議）。

RDMA最早專屬于Infiniband網絡架構，從硬件級別保證可靠傳輸，而RoCE和iWARP都是基于以太網的RDMA技術。

InfiniBand

InfiniBand是一種專為RDMA設計的網絡。

采用Cut-Through轉發模式（直通轉發模式），減少轉發時延。

基于Credit的流控機制（基于信用的流控機制），保證無丟包。

要求InfiniBand專用的網卡、交換機和路由器，建網成本最高。

RoCE

傳輸層為InfiniBand協議。

RoCE有兩個版本：RoCEv1基于以太網鏈路層實現，只能在L2層傳輸；RoCEv2基于UDP承載RDMA，可部署于三層網絡。

需要支持RDMA專用智能網卡，不需要專用交換機和路由器（支持ECN/PFC等技術，降低丟包率），建網成本最低。

iWARP

傳輸層為iWARP協議。

iWARP是以太網TCP/IP協議中TCP層實現，支持L2/L3層傳輸，大型組網TCP連接會消耗大量CPU，所以應用很少。

iWARP只要求網卡支持RDMA，不需要專用交換機和路由器，建網成本介于InfiniBand和RoCE之間。

Infiniband技術先進，但是價格高昂，應用局限在HPC高性能計算領域，隨著RoCE和iWARPC的出現，降低了RDMA的使用成本，推動了RDMA技術普及。

在高性能存儲、計算數據中心中采用這三類RDMA網絡，都可以大幅度降低數據傳輸時延，并為應用程序提供更高的CPU資源可用性。

其中，InfiniBand網絡為數據中心帶來極致的性能，傳輸時延低至百納秒，比以太網設備延時要低一個量級。

RoCE和iWARP網絡為數據中心帶來超高性價比，基于以太網承載RDMA，充分利用了RDMA的高性能和低CPU使用率等優勢，同時網絡建設成本也不高。

基于UDP協議的RoCE比基于TCP協議的iWARP性能更好，結合無損以太網的流控技術，解決了丟包敏感的問題。RoCE網絡，已廣泛應用于各行業高性能數據中心中。

結語

隨著5G、人工智能、工業互聯網等新型領域的發展，RDMA技術的應用會越來越普及，RDMA將成為助力數據中心高性能的一大功臣。

審核編輯：劉清