大模型訓(xùn)練集群的有效算力

DeepSeek的創(chuàng)新引領(lǐng)大模型基座模型向MoE專家模型進(jìn)一步演進(jìn)，未來(lái)大模型的參數(shù)將從千億級(jí)別向萬(wàn)億參數(shù)邁進(jìn)，開啟人工智能的新紀(jì)元。在這一過(guò)程中，端側(cè)推理模型的誕生離不開原研基座模型的精心訓(xùn)練。隨著模型參數(shù)的不斷擴(kuò)大以及AI模型的百舸爭(zhēng)流，訓(xùn)練側(cè)所需的算力也將進(jìn)一步激增。由此所依托的AI基礎(chǔ)設(shè)施的有效算力已成為下一代AI應(yīng)用的堅(jiān)實(shí)基石。

智算集群的有效算力由包括單個(gè)加速卡的基礎(chǔ)算力、集群規(guī)模、Scale Out與Scale Up所共同構(gòu)筑的集群線性加速比以及集群有效運(yùn)營(yíng)的時(shí)間等多個(gè)維度因素構(gòu)建。在不設(shè)資源限制的情況下，我們希望擁有最強(qiáng)大的單個(gè)計(jì)算卡系統(tǒng)來(lái)運(yùn)行整個(gè)AI任務(wù)，因?yàn)椋珹I任務(wù)作為一個(gè)單一實(shí)體運(yùn)行。因此，直接獲取最大能力的GPU/xPU是符合邏輯的選擇。

3D IC : 下一代AI芯片的加速引擎

后摩爾時(shí)代，算力的增長(zhǎng)和芯片的性能提升之間面臨著內(nèi)存墻、功耗墻、面積墻等幾大瓶頸， 采用基于先進(jìn)封裝的3D Chiplet堆疊芯片帶來(lái)的重大升級(jí)將有效解決這些瓶頸。

3D-IC 的優(yōu)勢(shì)可概括為以下幾點(diǎn)：

1可以降低成本，Chiplet的解耦特性讓先進(jìn)制程節(jié)點(diǎn)更靈活，讓非所有功能(包括模擬和存儲(chǔ)器)都需要遷移到先進(jìn)制程節(jié)點(diǎn);

2更容易滿足高速互連和帶寬要求，幫助先進(jìn)存儲(chǔ)器技術(shù)達(dá)到 100Gbps的速度;

33D-IC 支持更小的尺寸，可以節(jié)省電路板和終端產(chǎn)品的空間;

43D-IC 可以降低功耗，因?yàn)椴辉傩枰笮?a target="_blank">驅(qū)動(dòng)器。3D 堆疊可以使用小型 I/O 驅(qū)動(dòng)器，功耗更低。此外，減少電阻-電感-電容 (RLC)寄生參數(shù)也有助于進(jìn)一步降低功耗;

5減少了跨封裝之間的互連，可以實(shí)現(xiàn)更快的性能和更好的功耗表現(xiàn)。

3.5D技術(shù)的引入將顯著提升AI集群的計(jì)算密度和功耗效率，使得數(shù)據(jù)中心能夠以更低的能耗處理更大的工作負(fù)載。這對(duì)于應(yīng)對(duì)生成式AI模型的指數(shù)級(jí)增長(zhǎng)需求至關(guān)重要。本期主要介紹幾個(gè)3.5D Chiplet典型案例，分享3D IC設(shè)計(jì)架構(gòu)趨勢(shì)。

典型案例1

AMD MI300 系列開創(chuàng)3.5D IC先河

(來(lái)源：AMD)

AMD是首批采用3.5D IC設(shè)計(jì)及工藝的芯片公司，2024年發(fā)布的MI300 X GPU加速器，基于新一代CDNA計(jì)算架構(gòu)。其采用臺(tái)積電5nm/6nm FinETH技術(shù)，總共1530億個(gè)晶體管。

(來(lái)源：AMD Whitepaper)

XCD計(jì)算模塊：共計(jì)8個(gè)XCD加速計(jì)算模塊，每一個(gè)XCD擁有38個(gè)CU計(jì)算單位，所以總共304個(gè)計(jì)算單元。

IOD互聯(lián)模塊：每?jī)蓚€(gè)XCD為一組，在它們底部放置一個(gè)IOD模塊，負(fù)責(zé)輸入輸出與通信連接，總共4個(gè)IOD提供了第四代Infinity Fabric連接通道，總帶寬最高896GB/s，還有多達(dá)256MB Infinity Cache無(wú)限緩存。該模塊實(shí)際上屬于一種3D Base Die，通過(guò)TSV硅通孔技術(shù)與XCD計(jì)算Die模塊形成高密度互聯(lián)。

HBM 部分：IOD與XCD外圍一共有8個(gè)HBM3共192GB內(nèi)存(每個(gè)HBM3內(nèi)存大小為24GB)。IOD部分又一次采用的是6nm工藝，XCD部分則使用5nm工藝實(shí)現(xiàn)計(jì)算與IO芯粒解耦，這也是AMD公司常用的一種IO Die芯粒技術(shù)。

(來(lái)源：知乎@sazc)

封裝工藝：上圖顯示的是MI300A APU的封裝工藝，兩者區(qū)別主要在計(jì)算Die部分，APU系列是異構(gòu)芯粒技術(shù)同時(shí)包含GPU與CPU功能。但在封裝工藝上與MI300X雷同。

8個(gè)HBM與其他芯粒使用2.5D先進(jìn)封裝工藝進(jìn)行互聯(lián)，而IOD模塊(Base Die)與XCD (MI300A還包括CCD)之間直接通過(guò)3D TSV堆疊封裝工藝互聯(lián)。

因此，MI300系列無(wú)論是A系列還是X系列制造工藝同時(shí)覆蓋2.5D和3D先進(jìn)工藝，總稱3.5D混合封裝。

(來(lái)源：AMD)

Scale Up互聯(lián)簡(jiǎn)介：AMD Instinct MI300X 加速器提供了采用 UBB 業(yè)界標(biāo)準(zhǔn) OCP 平臺(tái)設(shè)計(jì)的普適性解決方案，支持將 8 個(gè) GPU 整合為一個(gè)性能主導(dǎo)型節(jié)點(diǎn)，并且具有全互聯(lián)式點(diǎn)對(duì)點(diǎn)環(huán)形設(shè)計(jì)，單一平臺(tái)內(nèi)的 HBM3 顯存總計(jì)可達(dá)到 1.5 TB提供足以應(yīng)對(duì)各類 AI 或 HPC 工作負(fù)載部署的性能密集型解決方案。

典型案例2

CPO帶動(dòng)Scale Out 互聯(lián)進(jìn)軍百萬(wàn)卡集群時(shí)代

規(guī)模生成式 AI 模型(如 DeepSeek，Grok3 系列等)的興起，對(duì)計(jì)算能力的需求呈現(xiàn)出了爆炸式增長(zhǎng)。訓(xùn)練這些復(fù)雜的模型往往需要龐大的計(jì)算資源，動(dòng)輒依賴于 100,000 個(gè)甚至 100 萬(wàn)個(gè) XPU 的大規(guī)模集群。近期才發(fā)布的Grok 3模型，馬斯克預(yù)計(jì)下一代將搭建百萬(wàn)卡AI數(shù)據(jù)中心，隨著大模型軍備賽在DeepSeek背景下展開地更加劇烈，新的互聯(lián)技術(shù)必須為未來(lái)百萬(wàn)卡集群的互聯(lián)構(gòu)筑可靠的基礎(chǔ)。

(圖：各國(guó)AI大模型軍備賽進(jìn)行時(shí))

Scale Out互聯(lián)甚至是更大規(guī)模的GPU HBD高帶寬域光進(jìn)銅退的趨勢(shì)越發(fā)明顯，一種在2018年前后就被提及的光互聯(lián)技術(shù)CPO隨著AI對(duì)訓(xùn)練的極高要求演進(jìn)速度加快。

如果要在長(zhǎng)程范圍集成更強(qiáng)大的算力/存力(Scale Out互聯(lián))，就需要借助更高帶寬的光互連技術(shù)。這也是為何目前光模塊在計(jì)算集群中廣泛使用的重要原因。集群要上升到百萬(wàn)卡互聯(lián)規(guī)模，光互聯(lián)技術(shù)將發(fā)揮重要作用，傳統(tǒng)光模塊芯片和交換機(jī)芯片在PCB上的電信號(hào)傳輸以及GPU卡間互聯(lián)的信號(hào)損耗、功耗都遠(yuǎn)大于單個(gè)Die to Die 互聯(lián)。目前，光模塊成為整個(gè)大型集群訓(xùn)推時(shí)出現(xiàn)故障延遲的主要硬件之一。

(來(lái)源：公眾號(hào)光通信女人)

CPO技術(shù)可以以解決射頻損耗的方式，將CPO光模塊與交換機(jī)主芯片ASIC專有集成電路芯片封裝在一起，降低電信號(hào)的互聯(lián)距離，從而降低射頻損耗。

(來(lái)源：公眾號(hào)光通信女人)

目前產(chǎn)業(yè)界都在研究晶圓級(jí)封裝工藝，2024、2025年基于晶圓級(jí)扇出式結(jié)構(gòu)，在逐步克服工藝難點(diǎn)，接近商用。上圖我們可以看到基于晶圓級(jí)別的3D TSV工藝實(shí)現(xiàn)相比其他工藝實(shí)現(xiàn)了更高的互聯(lián)密度。

PIC(硅光芯片)通過(guò)與EIC(電芯片)進(jìn)行3D堆疊，從而實(shí)現(xiàn)電連接更短、尺寸小、功耗低且高帶寬密度的性能。在此配置中，PIC 位于 EIC 頂部。然而，在 EIC 中創(chuàng)建 TSV 可能具有挑戰(zhàn)性，因?yàn)樗ǔＰ枰谙冗M(jìn)的晶圓節(jié)點(diǎn)上制造。為了克服這個(gè)問(wèn)題，往往采用晶圓級(jí)扇出工藝，形成高銅柱以實(shí)現(xiàn)與頂部 PIC 的垂直互連。由此產(chǎn)生的光子 FOPOP 在光耦合方面表現(xiàn)出色，因?yàn)?PIC 的懸垂部分允許光邊緣耦合。

實(shí)際上，ASIC與CPO的共同封裝同樣屬于一種3.5D IC技術(shù)，從光芯片內(nèi)部通過(guò)3D堆疊實(shí)現(xiàn)高互聯(lián)的密度，更佳的傳輸性能。在交換機(jī)芯片側(cè)，CPO OE Chiplet封裝在ASIC芯片周圍形成一個(gè)系統(tǒng)級(jí)的IC。以博通的典型CPO方案為例，整體封裝結(jié)構(gòu)為CoWoS，計(jì)算Die(ASIC)通過(guò)Interposer/Package Substrate與CPO互連，互聯(lián)接口為高速IO(例如Serdes/D2D)。

(來(lái)源：Broadcom CPO )

目前，Nvidia也在研究基于硅光集成的CPO光學(xué)，并預(yù)計(jì)2025 Q3針對(duì)一款I(lǐng)B交換機(jī)啟動(dòng)CPO方案的驗(yàn)證。產(chǎn)業(yè)界更多廠家也在不斷研究并推出CPO光模塊樣機(jī)如Cisco、博通、Marvell都推出了基于CPO的交換機(jī)方案。

典型案例3

博通下一代3.5D IC大規(guī)模提升單卡算力

去年底Broadcom 推出了其 3.5D eXtreme Dimension 系統(tǒng)級(jí)封裝 (3.5D XDSiP) 平臺(tái)，該平臺(tái)適用于適用于 AI 和 HPC 工作負(fù)載的超高性能處理器。新平臺(tái)依賴于 TSMC 的 CoWoS 和其他先進(jìn)封裝技術(shù)。它使芯片設(shè)計(jì)人員能夠構(gòu)建 3D 堆棧邏輯、網(wǎng)絡(luò)和 I/O 小芯片以及 HBM 內(nèi)存堆棧的系統(tǒng)級(jí)封裝 (SiP)。該平臺(tái)允許使用多達(dá) 12 個(gè) HBM 模塊實(shí)現(xiàn)高達(dá) 6000mm2 的 3D 堆疊硅的 SiP。首批 3.5D XDSiP 產(chǎn)品將于 2026 年推出。

博通首次使用F2F(面對(duì)面)將一個(gè)邏輯Die堆疊到另外一個(gè)邏輯Die上;這種使用無(wú)凸塊混合銅鍵合直接連接頂部和底部硅芯片的上層金屬層的面對(duì)面 (F2F) 堆疊方法，是博通的 3D XDSiP 平臺(tái)的主要優(yōu)勢(shì)。據(jù) Broadcom 稱，F(xiàn)2F 方法可實(shí)現(xiàn)高達(dá) 7 倍的信號(hào)連接和更短的信號(hào)路由，將晶粒間接口的功耗降低 90%，最大限度地減少 3D 堆棧內(nèi)的延遲，并為設(shè)計(jì)團(tuán)隊(duì)提供額外的靈活性，成就更低功耗更低延遲的ASIC芯片性能。

(來(lái)源：Broadcom)

此外，它巧妙地融合了 3D 硅片堆疊與 2.5D 封裝技術(shù)的精髓。該3.5D xPU計(jì)算Die與邏輯Die Face to Face進(jìn)行鍵合，每個(gè)邏輯Die與多組HBM互聯(lián)，又與IOD通過(guò)D2D互聯(lián)。(更多閱讀：Chiplet&互聯(lián)專題：AI時(shí)代變革下 3D IC 芯粒技術(shù)的最新應(yīng)用趨勢(shì)解讀)

(來(lái)源：Broadcom)

總的來(lái)說(shuō)，3.5D 集成技術(shù)通過(guò)將 3D 與 2.5D封裝相結(jié)合，能夠在不單純依賴制程工藝提升的情況下，實(shí)現(xiàn)芯片性能的顯著提升、功耗的有效降低以及成本的合理控制，從而成為了下一代 XPU 發(fā)展的必然趨勢(shì)。預(yù)計(jì)博通將繼續(xù)加大市場(chǎng)推廣力度，針對(duì)不同客戶的需求，提供定制化的 3.5D XPU 解決方案。

3.5D IC技術(shù)是Chiplet小芯片發(fā)展旅程中的又一重要里程碑，通過(guò)獨(dú)特的技術(shù)架構(gòu)和卓越的性能表現(xiàn)，為 AI 芯片的發(fā)展開辟了新的道路。在技術(shù)原理層面，其高密度互連、低功耗設(shè)計(jì)、多功能集成以及緊湊尺寸與穩(wěn)定性等核心要素相互協(xié)同，構(gòu)成了強(qiáng)大的技術(shù)競(jìng)爭(zhēng)力。

奇異摩爾自2021年成立以來(lái)先從片內(nèi)互聯(lián)產(chǎn)品系列研發(fā)出發(fā)，目前可以提供包括2.5D Central IO Die及3D Base Die等AI單個(gè)計(jì)算卡算力擴(kuò)展芯粒方案，未來(lái)通過(guò)持續(xù)性的行業(yè)標(biāo)準(zhǔn)共建、產(chǎn)業(yè)鏈生態(tài)的互聯(lián)互通，相信在不久的將來(lái)，隨著國(guó)產(chǎn)Chiplet技術(shù)的突破，我們將與產(chǎn)業(yè)鏈伙伴為國(guó)產(chǎn)AI算力的釋放潛能鋪就一條寬廣的道路，共同書寫AI智能時(shí)代的輝煌篇章。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計(jì)算平臺(tái)量身打造，以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。

我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計(jì)算提供了堅(jiān)實(shí)的支撐。

奇異摩爾的核心團(tuán)隊(duì)匯聚了來(lái)自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn)，致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過(guò)50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn)，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界，愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力，技術(shù)探索新場(chǎng)景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計(jì)算奠定穩(wěn)固的基石。