人工智能的懷疑論者批評了當(dāng)前技術(shù)中存在的內(nèi)存瓶頸，認(rèn)為無法加速處理器和內(nèi)存之間的數(shù)據(jù)移動(dòng)阻礙了有用的實(shí)際應(yīng)用程序。

用于在數(shù)據(jù)中心訓(xùn)練 AI 模型的 AI 加速器需要可用的最高內(nèi)存帶寬。雖然將整個(gè)模型存儲在處理器中會消除等式中的片外存儲器，但這不是一個(gè)可行的解決方案，因?yàn)樽畲蟮哪Ｐ蜏y量數(shù)十億或數(shù)萬億個(gè)參數(shù)。

過去的系統(tǒng)內(nèi)存受限，而今天的數(shù)據(jù)中心架構(gòu)使用各種技術(shù)來克服內(nèi)存瓶頸。

高帶寬內(nèi)存

一種流行的解決方案是使用高帶寬內(nèi)存 (HBM)，其中包括通過硅中介層將 4、8 或 12 個(gè) DRAM 裸片的 3D 堆棧連接到處理器。該技術(shù)的最新版本 HBM2E 具有比其前身更快的每針信號速率，每針高達(dá) 3.6 Gb/s，從而提高了帶寬。三星和 SK Hynix 各自提供 8 個(gè)芯片 HBM2E 堆棧，總?cè)萘繛?16 GB，提供 460 GB/s 帶寬（據(jù) SK Hynix 稱，DDR5 為 2.4 GB/s，GDDR6 為 64 GB/s）。HBM3 旨在將速度和容量推得更高。

最新版本的 Nvidia 旗艦數(shù)據(jù)中心 GPU A100 提供 80 GB 的 HBM2E 性能和 2 TB/s 的內(nèi)存帶寬。A100 包含五個(gè) 16-GB DRAM 堆棧，加入一個(gè)使用 HBM2 的 40-GB 版本，總帶寬為 1.6 TB/s。兩者之間的差異使深度學(xué)習(xí)推薦模型的 AI 模型訓(xùn)練速度提高了三倍，這是一種已知的內(nèi)存消耗。

同時(shí)，數(shù)據(jù)中心 CPU 正在利用 HBM 帶寬。Intel 的下一代 Xeon 數(shù)據(jù)中心 CPU Sapphire Rapids 將 HBM 引入 Xeon 系列。它們是英特爾首款使用專為 AI 等矩陣乘法工作負(fù)載設(shè)計(jì)的新 AMX 指令擴(kuò)展的數(shù)據(jù)中心 CPU。他們還將能夠使用片外 DDR5 DRAM 或 DRAM 加 HBM?！巴ǔＧ闆r下，CPU 針對容量進(jìn)行了優(yōu)化，而加速器和 GPU 針對帶寬進(jìn)行了優(yōu)化，”英特爾高級首席工程師 Arijit Biswas 在最近的一次熱芯片介紹?！叭欢?，隨著模型大小呈指數(shù)級增長，我們看到對容量和帶寬的持續(xù)需求沒有權(quán)衡取舍。Sapphire Rapids 通過原生支持這兩者來做到這一點(diǎn)。”

Biswas 補(bǔ)充說，該方法通過內(nèi)存分層得到了增強(qiáng)，“其中包括對軟件可見的 HBM 和 DDR 的支持，以及使用 HBM 作為 DDR 支持的緩存的軟件透明緩存，”Biswas 補(bǔ)充道。

然而，Sapphire Rapids 的總工程師 Nevine Nassif 告訴EE Times ，HBM 版本是以犧牲芯片面積為代價(jià)的。

“[與 HBM 兼容的]模具略有不同，”她說。“還有一個(gè)不同于 DDR5 控制器的 HBM 控制器。在沒有 HBM 的 Sapphire Rapids 版本中，我們在芯片的一個(gè)區(qū)域添加了用于加密、壓縮等的加速器。所有這些都消失了——除了數(shù)據(jù)流加速器——而是 HBM 控制器進(jìn)入了。

“最重要的是，我們必須對網(wǎng)格進(jìn)行一些更改，以支持 HBM 的帶寬要求，”Nassif 補(bǔ)充道。

除了 CPU 和 GPU，HBM 在數(shù)據(jù)中心 FPGA 中也很受歡迎。例如，英特爾的 Stratix 和賽靈思 Versal FPGA 都有 HBM 版本，一些 AI ASIC 也使用它。騰訊支持的數(shù)據(jù)中心 AI ASIC 開發(fā)商 Enflame Technology 將 HBM 用于其 DTU 1.0 設(shè)備，該設(shè)備針對云 AI 訓(xùn)練進(jìn)行了優(yōu)化。80-TFLOPS (FP16/BF16) 芯片使用兩個(gè) HBM2 堆棧，提供通過片上網(wǎng)絡(luò)連接的 512-GB/s 帶寬。

每美元的性能

雖然 HBM 為數(shù)據(jù)中心 AI 加速器所需的片外內(nèi)存提供了極高的帶寬，但仍然存在一些值得注意的問題。

Graphcore 對不同內(nèi)存技術(shù)的容量和帶寬的比較。當(dāng)其他人嘗試使用 HBM2E 解決這兩個(gè)問題時(shí)，Graphcore 在其 Colossus Mk2 AI 加速器芯片上使用了主機(jī) DDR 內(nèi)存和片上 SRAM 的組合。（來源：Graphcore）

Graphcore 就是其中之一。在他的 Hot Chips 演示中，Graphcore 首席技術(shù)官 Simon Knowles 指出，在大型 AI 模型中更快的計(jì)算需要內(nèi)存容量和內(nèi)存帶寬。雖然其他人使用 HBM 來提高容量和帶寬，但權(quán)衡包括 HBM 的成本、功耗和熱限制。

Graphcore 的第二代智能處理單元 (IPU) 改為使用其 896 MiB 的大型片上 SRAM 來支持其 1,472 個(gè)處理器內(nèi)核所需的內(nèi)存帶寬。Knowles 說，這足以避免卸載 DRAM 所需的更高帶寬。為了支持內(nèi)存容量，太大而無法在芯片上安裝的 AI 模型使用服務(wù)器級 DDR 形式的低帶寬遠(yuǎn)程 DRAM。該配置連接到主機(jī)處理器，允許中型模型分布在 IPU 集群中的 SRAM 上。

鑒于該公司以每美元性能為基礎(chǔ)推廣其 IPU，Graphcore 拒絕 HBM 的主要原因似乎是成本。

“與 AI 處理器集成的 HBM 的凈成本是服務(wù)器級 DDR 每字節(jié)成本的 10 倍以上，”Knowles 說?！凹词谷萘窟m中，HBM 也主導(dǎo)著處理器模塊的成本。如果 AI 計(jì)算機(jī)可以使用 DDR，它可以部署更多 AI 處理器，但總擁有成本相同?！?/p>

據(jù) Knowles 稱，40 GB 的 HBM 有效地將封裝的標(biāo)線大小處理器的成本提高了三倍。Graphcore 的 8 GB HBM2 與 8 GB DDR4 的成本細(xì)分估計(jì) HBM 芯片的尺寸是 DDR4 芯片的兩倍（將 20-nm HBM 與 Knowles 認(rèn)為是同時(shí)代的 18-nm DDR4 進(jìn)行比較），從而增加了制造費(fèi)用。然后是 TSV 蝕刻、堆疊、組裝和封裝的成本，以及內(nèi)存和處理器制造商的利潤率。

Graphcore 對 HBM2 與 DDR4 內(nèi)存的成本分析顯示，前者的成本是后者的 10 倍。（來源：Graphcore）

“DDR DIMM 不會發(fā)生這種邊距堆疊，因?yàn)橛脩艨梢灾苯訌膬?nèi)存制造商處采購，”Knowles 說?！笆聦?shí)上，可插拔的計(jì)算機(jī)組件生態(tài)系統(tǒng)出現(xiàn)的一個(gè)主要原因是為了避免保證金堆積。”

走得更遠(yuǎn)

從 Hot Chips 的隱形模式中脫穎而出，Esperanto Technologies 提供了另一種解決內(nèi)存瓶頸問題的方法。該公司的 1000 核 RISC-V AI 加速器針對的是超大規(guī)模推薦模型推理，而不是上面提到的 AI 訓(xùn)練工作負(fù)載。

世界語的創(chuàng)始人兼執(zhí)行主席戴夫·迪策爾指出，數(shù)據(jù)中心推理不需要巨大的片上內(nèi)存?！拔覀兊目蛻舨幌胍?250 MB 的芯片，”Ditzel 說?！八麄兿胍?100 MB——他們想用推理做的所有事情都適合 100 MB。任何比這更大的東西都需要更多。”

Ditzel 補(bǔ)充說，客戶更喜歡將大量 DRAM 與處理器放在同一張卡上，而不是在芯片上?！八麄兘ㄗh我們，‘只需將所有內(nèi)容都放到卡上，然后使用您的快速接口。然后，只要你能比通過 PCIe 總線更快地獲得 100 GB 的內(nèi)存，這就是勝利。'”

將 Esperanto 的方法與其他數(shù)據(jù)中心推理加速器進(jìn)行比較，Ditzel 說其他人專注于消耗整個(gè)功率預(yù)算的單個(gè)巨型處理器。這家初創(chuàng)公司堅(jiān)稱，Esperanto 的方法——安裝在雙 M.2 加速卡上的多個(gè)低功耗處理器——可以更好地使用片外內(nèi)存。單芯片競爭對手“引腳數(shù)量非常有限，因此他們必須使用 HBM 之類的產(chǎn)品才能在少量引腳上獲得非常高的帶寬——但 HBM 確實(shí)很昂貴、難以獲得且功率很高，”迪策爾說。

Esperanto 聲稱通過使用六個(gè)較小的芯片而不是單個(gè)大芯片解決了內(nèi)存瓶頸，留下了可用于連接 LPDDR4x 芯片的引腳。（來源：世界語技術(shù)）

Esperanto 的多芯片方法使更多引腳可用于與片外 DRAM 通信。除了六個(gè)處理器芯片外，該公司還使用了 24 個(gè)專為手機(jī)設(shè)計(jì)的廉價(jià) LPDDR4x DRAM 芯片，在低電壓下運(yùn)行，“每比特能量與 HBM 大致相同”，Ditzel 說。

“因?yàn)?[LPDDR4x] 的帶寬 [比 HBM] 低，我們可以通過更寬來獲得更多帶寬，”他補(bǔ)充道。“我們在加速卡上的內(nèi)存系統(tǒng)上使用 1,500 位寬，[而單芯片競爭對手] 買不起 1,500 位寬的內(nèi)存系統(tǒng)，因?yàn)閷τ诿總€(gè)數(shù)據(jù)引腳，你必須有幾個(gè)電源還有幾個(gè)接地針，針太多了。

“之前處理過這個(gè)問題，我們說，'讓我們把它分開，'”Ditzel 說。

通過 822-GB/s 的內(nèi)存帶寬訪問 192 GB 的總內(nèi)存容量。所有 64 位 DRAM 芯片的總和計(jì)算出 1,536 位寬的內(nèi)存系統(tǒng)，分成 96 個(gè) 16 位通道以更好地處理內(nèi)存延遲。這一切都符合 120 W 的功率預(yù)算。

流水線權(quán)重

晶圓級 AI 加速器公司 Cerebras Systems 設(shè)計(jì)了一個(gè)規(guī)模遠(yuǎn)端的內(nèi)存瓶頸解決方案。在 Hot Chips 上，該公司發(fā)布了 MemoryX，這是一款用于其 CS-2 AI 加速器系統(tǒng)的內(nèi)存擴(kuò)展系統(tǒng)，旨在實(shí)現(xiàn)高性能計(jì)算和科學(xué)工作負(fù)載。MemoryX 旨在訓(xùn)練具有一萬億或更多參數(shù)的大型 AI 模型。

Cerebras Systems 的 MemoryX 是其 CS-2 晶圓級引擎系統(tǒng)的片外內(nèi)存擴(kuò)展，其行為就像在片上一樣。（來源：Cerebras 系統(tǒng)）

MemoryX 是 DRAM 和閃存的組合，其行為就像片上一樣。該架構(gòu)被宣傳為具有彈性，旨在容納 4 TB 到 2.4 PB（2000 億到 120 萬億個(gè)參數(shù)）——足以容納世界上最大的 AI 模型。

該公司的聯(lián)合創(chuàng)始人兼首席硬件架構(gòu)師 Sean Lie 表示，為了使其片外內(nèi)存表現(xiàn)得像片上一樣，Cerebras 優(yōu)化了 MemoryX，以消除延遲影響的方式將參數(shù)和權(quán)重?cái)?shù)據(jù)流式傳輸?shù)教幚砥鳌?/p>

“我們將內(nèi)存與計(jì)算分開，從根本上分解它們，”他說。“通過這樣做，我們使溝通變得優(yōu)雅而直接。我們可以這樣做的原因是神經(jīng)網(wǎng)絡(luò)對模型的不同組件使用不同的內(nèi)存。因此，我們可以為每種類型的內(nèi)存和每種類型的計(jì)算設(shè)計(jì)一個(gè)專門構(gòu)建的解決方案?！?/p>

結(jié)果，這些組件被解開，從而“簡化了縮放問題，”Lie 說。

在訓(xùn)練期間，必須立即訪問對延遲敏感的激活記憶。因此，Cerebras 將激活保留在芯片上。

點(diǎn)擊查看完整大小的圖片

Cerebras 使用流水線在 AI 訓(xùn)練期間消除對延遲敏感的通信。（來源：Cerebras 系統(tǒng)）

Cerebras 將權(quán)重存儲在 MemoryX 上，然后根據(jù)需要將它們流式傳輸?shù)叫酒?。Lie 說，在沒有背靠背依賴性的情況下，權(quán)重記憶的使用相對較少。這可以用來避免延遲和性能瓶頸。粗粒度流水線還避免了層之間的依賴關(guān)系；層的權(quán)重在前一層完成之前開始流式傳輸。

同時(shí)，細(xì)粒度流水線避免了訓(xùn)練迭代之間的依賴關(guān)系；后向傳播中的權(quán)重更新與同一層的后續(xù)前向傳播重疊。

“通過使用這些流水線技術(shù)，權(quán)重流執(zhí)行模型可以隱藏外部權(quán)重的額外延遲，并且我們可以達(dá)到與權(quán)重在晶圓本地 [訪問] 相同的性能，”Lie 說。

本文最初發(fā)表于EE Times。

審核編輯 黃昊宇