周四，英特爾、AMD、博通、思科、谷歌、HPE、Meta和微軟宣布正在建立一個(gè)新的行業(yè)組織——Ultra Accelerator Link(UALink）推廣組，以指導(dǎo)數(shù)據(jù)中心AI加速器芯片之間連接組件的發(fā)展。作為一項(xiàng)新的開放標(biāo)準(zhǔn)，他們希望用它來取代 Nvidia專有的 NVLink 接口。

?

去年七月，由英特爾、AMD、思科、Meta等公司支持的超以太網(wǎng)聯(lián)盟 (UEC) 正式成立，旨在引領(lǐng)高性能網(wǎng)絡(luò)的發(fā)展。現(xiàn)在，UALink橫空出世，用于在同一系統(tǒng)或形成pod 的一組系統(tǒng)內(nèi)連接 GPU/加速器。

如何“連接” GPU ？

Nvidia作為GPU技術(shù)的領(lǐng)航者，顯著推動(dòng)了GPU技術(shù)在高性能計(jì)算、通用人工智能（GenAI）等多個(gè)領(lǐng)域的應(yīng)用發(fā)展。通過GPU間的互聯(lián)，可以實(shí)現(xiàn)更復(fù)雜問題的處理及應(yīng)用性能的飛躍。

GPU互連主要有三種基本方式：

1. PCI 總線：一般支持4至8個(gè)GPU通過PCI總線相連，而利用GigaIO FabreX內(nèi)存架構(gòu)等技術(shù)，這一數(shù)量可拓展至32個(gè)。CXL 技術(shù)也展現(xiàn)出了潛力，但是 Nvidia 對(duì)此的支持有限。對(duì)于多種應(yīng)用場景，這些可重組的GPU架構(gòu)作為GPU直接擴(kuò)展的替代方案，具有吸引力。

2. 服務(wù)器間互連：以太網(wǎng)或 InfiniBand 可以連接包含 GPU 的服務(wù)器。這種連接級(jí)別通常稱為橫向擴(kuò)展，其中較快的多 GPU 域通過較慢的網(wǎng)絡(luò)連接以形成大型計(jì)算網(wǎng)絡(luò)。其中，以太網(wǎng)長期擔(dān)當(dāng)計(jì)算機(jī)網(wǎng)絡(luò)的核心，超以太網(wǎng)聯(lián)盟的成立進(jìn)一步推動(dòng)其高性能發(fā)展。英特爾Gaudi -2 AI 處理器在芯片上擁有 24 個(gè) 100-Gigabit以太網(wǎng)連接，強(qiáng)化了在以太網(wǎng)領(lǐng)域的地位。Nvidia未加入U(xiǎn)ltra Ethernet聯(lián)盟，其在 2019 年 3 月收購 Mellanox 后，幾乎獨(dú)占了高性能 InfiniBand 互連市場。超以太網(wǎng)聯(lián)盟旨在成為其他企業(yè)的“InfiniBand”。值得注意的是，英特爾過去曾是InfiniBand的主要推動(dòng)者。

3. GPU 到 GPU 互連：鑒于快速且可擴(kuò)展的GPU連接需求，Nvidia開發(fā)了NVLink，這是一種目前可在GPU間以每秒1.8TB 的速率傳輸數(shù)據(jù)的GPU間連接技術(shù)。還有NVLink機(jī)架級(jí)交換機(jī)，能夠在無阻塞計(jì)算結(jié)構(gòu)中支持多達(dá)576個(gè)全互聯(lián)GPU。通過NVLink相連的GPU被稱為“pod”，表明它們擁有獨(dú)立的數(shù)據(jù)和計(jì)算域。

對(duì)于其他廠商來說，除了AMD用于連接MI300A APU的Infinity Fabric外，別無選擇。如同InfiniBand與以太網(wǎng)的情況，需要一個(gè)由競爭對(duì)手組成的某種“Ultra”聯(lián)盟來填補(bǔ)非Nvidia“pod”領(lǐng)域的空白。而UALink正是這一需求的響應(yīng)。

UALink 劍指 NVLink ！

與 NVLink 類似，構(gòu)建一個(gè)強(qiáng)大、低延遲且高效的橫向擴(kuò)展網(wǎng)絡(luò)至關(guān)重要，該網(wǎng)絡(luò)可以輕松地將計(jì)算資源添加到單個(gè)實(shí)例（即將 GPU 和加速器視為一個(gè)大型系統(tǒng)或“pod”）。

在此背景下，UALink 和開放行業(yè)規(guī)范的出現(xiàn)對(duì)于標(biāo)準(zhǔn)化下一代硬件的 AI 和機(jī)器學(xué)習(xí)、HPC 和云應(yīng)用接口至關(guān)重要。該小組將開發(fā)一種高速、低延遲的互連規(guī)范，旨在加速AI計(jì)算Pod中加速器與交換機(jī)間的擴(kuò)展通信。

UALink 1.0規(guī)范將支持在AI計(jì)算Pod內(nèi)部連接多達(dá)1,024個(gè)加速器，并允許Pod內(nèi)加速器（如GPU）所附著的內(nèi)存之間進(jìn)行直接加載與存儲(chǔ)操作。UALink發(fā)起小組已組建UALink聯(lián)盟，預(yù)計(jì)該聯(lián)盟將于2024年第三季度正式成立。1.0規(guī)范預(yù)期同樣在2024年第三季度面世，并向加入U(xiǎn)ALink聯(lián)盟的公司開放。



UALink Scale Up Pod

UALink 的一大優(yōu)勢(shì)是，它為業(yè)內(nèi)其他廠商提供了一個(gè)追趕Nvidia的機(jī)會(huì)。如今，Nvidia已有能力生產(chǎn)NVSwitch盒，并將這些NVSwitch托盤集成進(jìn)諸如Nvidia DGX GB200 NVL72之類的高端產(chǎn)品中。相比之下，英特爾今年銷售了價(jià)值數(shù)億美元的 AI 加速器，AMD憑借MI300X預(yù)計(jì)將售出數(shù)十億美元的產(chǎn)品，但盡管如此，其在AI領(lǐng)域的規(guī)模仍無法與Nvidia相提并論。

UALink的出現(xiàn)，使得像博通這樣的企業(yè)能夠制造UALink交換機(jī)，助力其他企業(yè)實(shí)現(xiàn)規(guī)模擴(kuò)展，并且這些交換機(jī)能跨不同廠商的多種加速器使用。此前，博通就制定了Atlas交換機(jī)計(jì)劃，即利用AMD Infinity Fabric作為與Nvidia NVLink競爭的規(guī)模化升級(jí)方案，并應(yīng)用于PCIe Gen7的博通交換機(jī)中，這些交換機(jī)可能會(huì)實(shí)現(xiàn) UALink V1.0。

超以太網(wǎng)將繼續(xù)作為向更多節(jié)點(diǎn)擴(kuò)展的關(guān)鍵技術(shù)。博通可能會(huì)在其 800Gbps Thor 產(chǎn)品系列的早期型號(hào)中集成超以太網(wǎng) NIC，但考慮到規(guī)范標(biāo)準(zhǔn)化的當(dāng)前進(jìn)程，全面實(shí)現(xiàn)UEC標(biāo)準(zhǔn)的支持可能還需等待下一代產(chǎn)品的問世。



UALink Ultra Ethernet

為了支持 UALink，超以太網(wǎng)聯(lián)盟主席 J Metz 博士表達(dá)了其積極的支持態(tài)度：“在很短的時(shí)間內(nèi)，科技行業(yè)已經(jīng)接受了AI和HPC揭示的挑戰(zhàn)。在追求效率與性能提升的過程中，加速器，尤其是GPU的互連，需要一個(gè)全面的視角。我們相信UALink所采取的針對(duì)Pod集群問題的擴(kuò)展解決方案，與UEC的橫向擴(kuò)展協(xié)議相得益彰。我們滿懷期待，未來能攜手合作，共同打造一個(gè)既開放又利于生態(tài)系統(tǒng)建設(shè)、覆蓋全行業(yè)的解決方案，以全面滿足不同場景下的擴(kuò)展需求。”

最后

如今，許多企業(yè)都在嘗試采用標(biāo)準(zhǔn) PCIe 交換機(jī)，并構(gòu)建基于 PCIe 的架構(gòu)以擴(kuò)展到更多加速器。然而，行業(yè)巨頭們似乎視其更多為權(quán)宜之計(jì)。相比之下，Nvidia的NVLink成為了業(yè)內(nèi)公認(rèn)的橫向擴(kuò)展技術(shù)標(biāo)桿。現(xiàn)在，一個(gè)開放標(biāo)準(zhǔn)的陣營正崛起，旨在打破其專有技術(shù)壁壘。

對(duì)于 AMD 和英特爾等公司來說，這提供了一條復(fù)制 NVLink 和 NVSwitch 功能的道路，同時(shí)能夠與其他企業(yè)共享開發(fā)成果。博通這樣的公司很可能是最大的贏家，無論是在橫向還是縱向擴(kuò)展場景下，它都將成為非Nvidia系統(tǒng)連接解決方案的首選供應(yīng)商。無論AMD或英特爾誰能領(lǐng)先，博通都將作為連接技術(shù)的供應(yīng)商而受益。對(duì)于超大規(guī)模數(shù)據(jù)中心運(yùn)營商來說，投資標(biāo)準(zhǔn)化架構(gòu)極具意義，無論最終采用哪家的終端設(shè)備。

這一切都需要時(shí)間。



審核編輯：劉清