電子發(fā)燒友網(wǎng)報道（文/梁浩斌）過去幾年中爆發(fā)的AI算力需求，英偉達(dá)GPU成為了最大的贏家，無論是自動駕駛還是AI大模型，比如特斯拉、小鵬、OpenAI、字節(jié)跳動等廠商都在爭相搶購英偉達(dá)GPU產(chǎn)品，獲得足夠的算力構(gòu)建自己的計算中心，用于訓(xùn)練不同應(yīng)用的AI模型。

AI領(lǐng)域眾星捧月也造就了英偉達(dá)市值曾突破三萬億美元，并短暫登頂全球第一的位置。不過蘋果卻反其道而行之，在7月底蘋果公司揭露的官方論文顯示，蘋果自研大模型AFM背后，完全沒有英偉達(dá)GPU的影子。

蘋果大模型訓(xùn)練，選擇了谷歌芯片

在蘋果近期揭露的一篇技術(shù)論文中，詳細(xì)介紹了蘋果在端側(cè)和服務(wù)器側(cè)的大模型。在大模型預(yù)訓(xùn)練的階段，蘋果基礎(chǔ)模型是在AXLearn框架上進(jìn)行訓(xùn)練的，據(jù)蘋果介紹，AXLearn框架是蘋果公司在2023年發(fā)布的開源項(xiàng)目，這個框架建立在JAX和XLA的基礎(chǔ)上，允許模型在各種硬件和云平臺上進(jìn)行高效和可擴(kuò)展性訓(xùn)練，包括TPU以及云端和本地的GPU。

蘋果采用了數(shù)據(jù)并行、張量并行、序列并行和完全分片數(shù)據(jù)并行（FSDP）的組合來沿多個維度擴(kuò)展訓(xùn)練，如數(shù)據(jù)規(guī)模、模型規(guī)模和序列長度。

其中，蘋果的AFM服務(wù)器端大模型是蘋果規(guī)模最大的語言模型，該模型在8192個TPUv4芯片上進(jìn)行了預(yù)訓(xùn)練，這些芯片被配置成8*1024個芯片集群，通過數(shù)據(jù)中心網(wǎng)絡(luò)（DCN）連接。預(yù)訓(xùn)練有三個階段，首先使用 6.3 萬億個Tokens開始，接著使用 1 萬億個Tokens繼續(xù)訓(xùn)練，最后使用 1000 億個Tokens進(jìn)行上下文長度的擴(kuò)展。

而在AFM的端側(cè)模型上，蘋果對其進(jìn)行了大幅修剪，論文披露AFM端側(cè)模型是一個擁有30億參數(shù)的模型，該模型是從64億參數(shù)的服務(wù)器模型中蒸餾而來，而這個服務(wù)器模型則是在完整的6.3萬億參數(shù)量上進(jìn)行訓(xùn)練。

與服務(wù)器端模型不同的是，AFM端側(cè)模型采用的芯片是谷歌的TPUv5，論文中的信息顯示，AFM端側(cè)模型是在一個由2048個TPUv5p芯片組成的集群上進(jìn)行訓(xùn)練的。

谷歌在去年12月發(fā)布了TPUv5p，面向云端AI加速，谷歌稱之為“迄今為止最強(qiáng)大、可擴(kuò)展性最強(qiáng)和最靈活的人工智能加速器”。

TPUv5p在bfloat16精度下可以提供459 teraFLOPS（每秒可執(zhí)行459萬億次浮點(diǎn)運(yùn)算）算力；在Int8精度下，TPU v5p可以提供918 teraOPS（每秒可執(zhí)行918萬億次整數(shù)運(yùn)算）；支持95GB的HBM內(nèi)存，帶寬高達(dá)2.76 TB/s。

相比上一代的TPU v4，TPUv5p實(shí)現(xiàn)了每秒浮點(diǎn)運(yùn)算次數(shù)提高一倍，內(nèi)存帶寬是前代的三倍，訓(xùn)練大模型速度提升2.8倍，并且性價比是前代的2.1倍。

除了蘋果之外，目前采用谷歌TPU系列芯片進(jìn)行大模型訓(xùn)練的還有谷歌自家的Gemini、PaLM，以及OpenAI前副總裁創(chuàng)立的Anthropic所推出的Claude大模型，上個月Anthropic發(fā)布的Llama 3.1 405B還被認(rèn)為是最強(qiáng)開源大模型。

蘋果、谷歌、Anthropic的實(shí)例，證明了TPU在大模型訓(xùn)練上的能力。但相比于英偉達(dá)，TPU目前在大模型領(lǐng)域的應(yīng)用依舊只是冰山一角，背后更多的大模型公司，包括OpenAI、特斯拉、字節(jié)跳動等巨頭，主力AI數(shù)據(jù)中心依然是普遍采用英偉達(dá)GPU。

英偉達(dá)的挑戰(zhàn)者們

一直以來，圍繞CUDA打造的軟件生態(tài)，是英偉達(dá)在GPU領(lǐng)域最大的護(hù)城河，尤其是隨著目前AI領(lǐng)域的發(fā)展加速，市場火爆，英偉達(dá)GPU+CUDA的開發(fā)生態(tài)則更加穩(wěn)固，AMD、英特爾等廠商雖然在努力追趕，但目前還未能看到有威脅英偉達(dá)地位的可能。

但市場的火爆難免吸引更多的玩家入局，對英偉達(dá)發(fā)起挑戰(zhàn)，或者說是在AI廣闊的市場空間中，希望分得一杯羹。

首先是英偉達(dá)在GPU領(lǐng)域的最大對手AMD ，今年一月有研究人員在Frontier超算集群上，利用其中8%左右的GPU，訓(xùn)練出一個GPT 3.5級別規(guī)模的大模型。而Frontier超算集群是完全基于AMD硬件的，由37888個MI250X GPU和9472個Epyc 7A53 CPU組成，這次研究也突破了在AMD硬件上突破了先進(jìn)分布式訓(xùn)練模型的難點(diǎn)，為AMD平臺訓(xùn)練大模型驗(yàn)證了可行性。

同時，CUDA生態(tài)也在逐步擊破，今年7月英國公司Spectral Compute推出了可以為AMD GPU原生編譯CUDA源代碼的方案，大幅提高了AMD GPU對CUDA的兼容效率。

英特爾的Gaudi 3 也在發(fā)布時直接對標(biāo)英偉達(dá)H100，并宣稱在模型訓(xùn)練速度和推理速度上分別比英偉達(dá)H100提高了40%和50%。

除了芯片巨頭外，也不乏來自初創(chuàng)公司的沖擊。比如Groq推出的LPU、Cerebras推出的Wafer Scale Engine 3、Etched推出的Sohu等等。國內(nèi)方面，有走多卡集群訓(xùn)練路線的初創(chuàng)公司，比如摩爾線程在今年6月宣布與羽人科技合作成功實(shí)現(xiàn)了摩爾線程夸娥（KUAE）千卡智算集群與羽人系列模型解決方案的訓(xùn)練兼容適配，高效完成了70億參數(shù)羽人大語言模型YuRen-7b的訓(xùn)練測試。

摩爾線程夸娥方案基于全功能MTT S4000 GPU，該GPU采用了第三代MUSA內(nèi)核，單卡支持48GB顯存容量和768GB/s的顯存帶寬，F(xiàn)P16算力為100TFLOPS。值得一提的是，MTT S4000計算卡借助摩爾線程自研開發(fā)工具，可以充分兼容現(xiàn)有CUDA軟件生態(tài)，實(shí)現(xiàn)CUDA代碼零成本遷移到MUSA平臺。

天數(shù)智芯也與智源研究院、愛特云翔合作，提供天垓100加速卡、構(gòu)建算力集群及全程技術(shù)支持，實(shí)現(xiàn)基于自主通用GPU的大模型CodeGen（高效編碼）項(xiàng)目，通過中文描述來生成可用的C、Java、Python代碼以實(shí)現(xiàn)高效編碼。

另外值得一提的是，國內(nèi)還有一家走TPU路線的AI芯片公司——中昊芯英。該公司在2023年底推出了國內(nèi)首款量產(chǎn)TPU AI訓(xùn)練芯片“剎那”，據(jù)稱在處理大模型訓(xùn)練和推理任務(wù)時相比英偉達(dá)A100，性能提高近150%，能耗下降30%，單位算力成本僅為A100的42%。

當(dāng)然，除了芯片公司，據(jù)現(xiàn)有的信息，目前主流的云服務(wù)供應(yīng)商，比如前面提到的谷歌，還有亞馬遜、微軟、Meta、阿里巴巴、字節(jié)跳動、百度、華為等都有自研芯片的布局，其中還包括用于AI大模型訓(xùn)練的芯片。

寫在最后

從長遠(yuǎn)來看，自研芯片是云服務(wù)供應(yīng)商有效降低算力成本的方式之一，當(dāng)AI大模型訓(xùn)練成為了云計算的重要用途時，自研AI訓(xùn)練芯片自然也是云服務(wù)廠商的長遠(yuǎn)之計。蘋果作為消費(fèi)電子巨頭已經(jīng)邁出了重要的一步，即擺脫對英偉達(dá)的算力依賴，并且還有大量的挑戰(zhàn)者正在蠢蠢欲動。星星之火，可以燎原，英偉達(dá)在AI訓(xùn)練領(lǐng)域的地位，可能沒有表面看起來那么穩(wěn)固。