今天想跟大家一起學習下GPU之間是怎么通信互聯的。

自從GPU出現后，計算機愛好者和發燒友們就一直尋找新的方法來進一步提高系統GPU性能。

在單個GPU性能有限的情況下，將兩個或多個GPU連接起來這種在當時看起來非?；闹嚨南敕ň谷粷u漸成為提升系統GPU性能的主流方法。

特別是隨著游戲、圖形應用的發展，以及AI、HPC等新興應用的助推，多個GPU之間的互聯技術得到了快速迭代和發展，如今的GPU互聯已經成為系統內非常常見的一種技術。今天我們就來聊聊這些GPU互聯的那些技術。

第一個連接多個GPU解決方案：SLI

SLI，全稱為 " 可擴展的鏈接接口 "（ Scalable Link Interface），最早是由 3DFx Interactive 開發。

然而，3DFx Interactive這家公司在2000年破產，NVIDIA公司收購了這家公司并獲得了多GPU技術的權利。

于是，在2004年，NVIDIA首次推出了SLI技術版本，同時發布了GeForce 6800 Ultra GPU。該技術允許兩個GeForce 6800 Ultra GPU一起工作，以增強游戲時的圖形性能**。**因此，SLI技術迅速在游戲玩家和愛好者中流行起來。

SLI采用主從配置方式在系統中實現使用多個GPU，這種配置的重點是使用一個GPU作為主車，其他GPU作為從卡，SLI能夠同時連接4個GPU。

**SLI是第一個連接多個GPU的解決方案。**但是與所有技術一樣，SLI也有各種優點和局限性。SLI配置必須選擇相同型號的兼容GPU。同時還需要分配一個單獨的PSU來滿足多個GPU的協調要求，導致GPU之間的通信延遲較高，且GPU之間的數據共享缺乏靈活性。

另外，NVIDIA大約在兩年前停止了對該技術的支持，為開發NVLink等新技術讓路。

SLI與CrossFire：多GPU解決方案之爭

雖然NVIDIA的SLI走在了多GPU互聯的前面，但也并非沒有競爭。

作為NVIDIA GPU市場上多年的老對手，AMD也推出了CrossFire這個技術來參與競爭。

與SLI技術類似，使用CrossFire技術時，用戶可選擇使用兩個或更多顯卡進行渲染，從而增加幀數和提高游戲運行效率。

CrossFire技術的一大優點是用戶可以使用不同型號的AMD顯卡，從而節省成本。

然而，CrossFire也有其自身的優勢和挑戰，CrossFire經常因其軟件堆棧而受到批評，一些用戶發現該軟件堆棧不如NVIDIA SLI可靠且配置更復雜。

盡管存在這些差異，但這兩種技術都致力于實現相同的目標：增強游戲和消費者圖形體驗。它們在處理更高級、數據密集型任務方面的局限性最終將為 NVLink等下一代解決方案鋪平道路。

隨著2010年代的到來，計算領域開始發生巨大變化。人工智能 (AI)、高性能計算(HPC)和大數據分析的興起需要更強大的多GPU解決方案。很明顯，最初設計時考慮到游戲和消費者工作負載的SLI不足以滿足這些計算密集型任務。NVIDIA需要一個新的GPU互聯技術。

雙GPU卡：多GPU計算的獨特存在

雖然SLI和CrossFire等技術專注于連接多個獨立GPU，但還有另一種不太常見或者可以說是奇葩的多 GPU配置方法：雙GPU卡。

這些專用顯卡在單個PCB（印刷電路板）上安裝了兩個GPU核心，有效地充當單張卡上的SLI或CrossFire 設置。NVIDIA GeForce GTX 690和AMD Radeon HD 6990等卡是這種方法的流行示例。

雙GPU卡具有多種優勢， 他們通過將兩個GPU壓縮到一個卡槽中來節省空間，這使得它們對小型PC很有吸引力。同時他們還無需將單獨的卡與外部連接器連接起來，從而簡化了設置。

然而，這些雙GPU卡散熱是一個重大問題，可以說每一個卡都是一個**"小火爐"****。**通常這種配置方式需要先進的冷卻解決方案。同時功耗也很高，需要強大的電源來提供穩定的電流。

雙GPU卡的方式看起來是一種"兩全其美"的解決方案，將多GPU設置的原始功能與單卡的簡單性結合在一起。然而，由于其高成本和相關的技術挑戰，雙GPU卡經常被視為雞肋產品。

隨著NVLink等多GPU技術不斷發展以提供更高的帶寬和更低的延遲，對雙 GPU卡的需求已經減少。盡管如此，它仍然是GPU發展史上一個獨特的存在。

****** NVLink 的誕生******

NVLink是2017年隨NVIDIA Volta架構推出的技術。這項技術不僅僅是SLI技術的升級，而且是對GPU如何互連的根本性重新思考。

NVLink提供了更高的帶寬（最新版本高達900 GB/s）、更低的延遲以及允許GPU之間更復雜和大量互連的網狀拓撲。此外，NVLink引入了統一內存的概念，支持連接的 GPU 之間的內存池，這對于需要大型數據集的任務來說是一個至關重要的功能。

SLI與NVLink有何區別？

乍一看，人們可能會認為NVLink是SLI的簡單升級，但這過于武斷了。雖然這兩種技術都旨在連接多個GPU，但NVLink的設計考慮了不同的受眾。它專為科學研究、數據分析，尤其是人工智能和機器學習應用而設計。更高的帶寬、更低的延遲和統一的內存使NVLink成為應對當今計算挑戰的更加靈活和強大的解決方案。

雖然NVLink和SLI兩者均由Nvidia開發，但存在一些差異。S****LI按照主從關系原理運行，而NVLink通過網狀網絡運行。結果，SLI中形成了NVLink中不存在的數據瓶頸。

采用網狀網絡開發的并行連接可增強GPU的性能。因此，多個GPU作為一個單元，有助于提供增強的處理能力。連接的GPU擁有自己的內存，從而增加了系統的總可用內存。NVLink橋還支持20至30 GB/s 的帶寬，為4個GPU 的設置提供超過100GB/s 的速度。

網狀網絡消除 GPU之間的層級關系。計算數據因此連接到每個GPU的節點，從而提高了整體渲染速度。因此，150至200GB/s的帶寬也可以實現。與SLI 相比，NVLink的延遲非常低。

****** NVLink的技術原理******

NVLink代表了多GPU互聯技術的邏輯演變，不僅在速度方面，而且在架構設計方面。NVLink的結構由可以雙向傳輸數據的高速數據通道組成。與傳統的基于總線的系統不同，NVLink采用點對點連接，有效減少瓶頸并提高數據吞吐量。最新的迭代提供高達900GB/s的帶寬，比SLI的功能有了顯著增強。

NVLink與眾不同的關鍵功能之一是它支持網狀拓撲的能力。與舊技術的菊花鏈或中心輻射型拓撲相比，網格設置允許GPU之間實現更通用且數量更多的連接。這在數據中心和高性能計算應用程序中特別有用，在這些應用程序中，復雜的數據路由是常態。

統一內存是NVLink的另一個特點。這允許GPU共享公共內存池，從而實現更高效的數據共享并減少在GPU之間復制數據的需要。這對于機器學習和大數據分析等應用程序來說是一個巨大的推動，在這些應用程序中，大型數據集通常超過單個GPU的內存容量。

NVLink還改善了延遲，這是任何高性能計算設置中的一個關鍵因素。較低的延遲可確保GPU之間更快的數據傳輸和同步，從而實現更高效的并行計算。這是通過NVLink的直接內存訪問 (DMA) 功能實現的，允許GPU直接讀寫彼此的內存，而不需要CPU的參與。

NVlink的影響

鑒于人工智能在現代計算中的重要性日益增加，NVLink的優勢不僅是漸進式的，而且是變革性的。在AI模型訓練和數據創建中，NVLink可實現GPU之間更快的數據傳輸，從而實現更高效的并行處理。這在處理大型訓練數據集時尤其有用，這是一個與人工智能模型訓練數據創建的新興領域密切相關的主題。

隨著量子模擬、實時分析和下一代人工智能算法等先進計算的需求不斷增長，我們可以期待NVLink的功能進一步增強。無論是帶寬的增加還是促進GPU之間更好合作的新功能，NVLink或其后繼者無疑仍將是滿足未來計算需求的核心。

從SLI到NVLink的過渡是多GPU技術的一個重要里程碑，它反映了NVIDIA 對創新的承諾以及對不斷變化的計算環境的敏銳理解。從游戲到人工智能，從消費應用程序到數據中心，NVLink和SLI的發展歷程說明了需求對孕育創新、推動技術發展的重要價值。

審核編輯：劉清