推理和訓練作為AI/ML關(guān)鍵的一環(huán)，無論是通用的GPU，還是專用的推理/訓練加速器，都想在各大流行模型和機器學習庫上跑出優(yōu)秀的成績，以展示自己的硬件實力。業(yè)界需要一個統(tǒng)一的跑分標準，為此，各大廠商在2018年根據(jù)業(yè)內(nèi)指標聯(lián)合打造的MLPerf就承擔了這一重任。

不過隨著時間的推移，MLPerf幾乎已經(jīng)成了英偉達一家獨大的跑分基準，這家GPU廠商憑借自己的產(chǎn)品幾乎統(tǒng)治著整個AI硬件市場。這不，近日公布的MLPerf Training 2.0，就將這些AI硬件公司和服務器廠商提交的具體AI訓練成績公布了出來，其中既有一些新晉成員，也有一些出人意料的結(jié)果。

谷歌的反超

這次跑分結(jié)果中，最驚艷的還是谷歌的TPU v4系統(tǒng)，谷歌憑借這一架構(gòu)的系統(tǒng)，在五個基準測試中都打破了性能記錄，平均訓練速度比第二名的英偉達A100系統(tǒng)快了1.42倍左右，哪怕是與自己在1.0測試下的成績相比，也提升了1.5倍。

能實現(xiàn)這樣的成績自然離不開谷歌自己的TPU芯片設(shè)計，谷歌的每個TPU v4 Pod都由4096個芯片組成，且?guī)捵龅搅?Tbps。除此之外，谷歌有著豐富的用例經(jīng)驗，相較其他公司而言，谷歌是唯一一個在搜索和視頻領(lǐng)域都已經(jīng)大規(guī)模普及AI/ML應用的。

不過谷歌與英偉達并不是直接競爭關(guān)系，他們對標的還是使用英偉達GPU系統(tǒng)的云服務公司，比如微軟的Azure，谷歌也為此特地做了成本對比。如上圖所示，在BERT模型的訓練中，4096個TPU v4芯片與Azure 4096個A100芯片對比，谷歌的方案可以節(jié)省35%，ResNet模型的訓練下更是可以節(jié)省近50%。

不過以上的成績在所有8項測試中也只是和英偉達平分秋色，而且隨著系統(tǒng)規(guī)模的不同，其結(jié)果或許會有更多的變化。再者，谷歌的TPU僅限于其自己的云服務，所以總的來說并不算一個通用方案，至少微軟和亞馬遜這樣的競爭對手肯定是用不上。

英偉達地位不保？

除了谷歌之外，還取得了不錯的成績的就是英特爾旗下Habana Labs的Gaudi2訓練加速器。這款今年5月推出的處理器，從上一代的16nm換成了臺積電7nm，Tensor處理器內(nèi)核的數(shù)量因此增加了兩倍，使其在ResNet-50的訓練吞吐量上實現(xiàn)了3倍提升，BERT的訓練吞吐量提升了4.7倍。

在與英偉達提交的A100-80GB GPU系統(tǒng)成績相比，Gaudi2在ResNet-50上的訓練時間縮短了36%；與戴爾提交的A100-40GB GPU系統(tǒng)成績相比，Gaudi2在BERT上的訓練時間縮短了45%。

從結(jié)果來看，已經(jīng)有不少廠商的AI硬件已經(jīng)可以在訓練上對標甚至超過英偉達的GPU生態(tài)了，但這并不代表全部機器學習訓練領(lǐng)域。比如在測試中，廠商是不需要將每個項目的測試結(jié)果都提交上去的。從這個角度來看，RetinaNet輕量型目標檢測、COCO重型目標檢測、語音識別數(shù)據(jù)集Librispeech和強化學習Minigo這幾個項目中，只有基于英偉達GPU的系統(tǒng)提交了成績。

不僅如此，如果你看所有提交成績的服務器和云服務公司來看，他們用到的CPU或是AMD的EPYC處理器，或是英特爾的Xeon處理器，但加速器卻是幾乎清一色的英偉達A100。這也證明了在百度、戴爾、H3C、浪潮和聯(lián)想這些廠商的眼中，英偉達的GPU依然是最具競爭力的那個。

不可小覷的軟件

還有一點需要指出，那就是以上都是封閉組的成績，他們所用到的都是標準的機器學習庫，比如TensorFlow 2.8.0和Pytorch 22.04等。而開放組則不受此限制，可以用到他們自己定制的庫或優(yōu)化器，這一組中三星和Graphcore都根據(jù)不同的軟件配置提交了成績，但最亮眼的還是MosaicML。

這家公司所用的加速器硬件同樣是和諸多提交者一樣的英偉達A100-SXM-80GB GPU，但他們用到的是自己用Pytorch編寫的庫Composer。這家公司于今年4月推出了Composer，并聲稱可讓模型訓練速度提升2到4倍。在MLPerf Training 2.0的跑分中，使用MosaicML Composer的對比組在ResNet訓練速度上實現(xiàn)了近4.6倍的提升。不過Composer雖說支持任何模型，但這個提速的表現(xiàn)目前還是體現(xiàn)在ResNet上比較明顯，所以本次也并沒有提交其他模型下的成績。

考慮到英特爾等公司為了提升其軟件開發(fā)實力，已經(jīng)在收購Codeplay這樣的軟件開發(fā)公司，MosaicML作為剛公開不久的初創(chuàng)公司，創(chuàng)始人又是英特爾的前AI實驗室骨干，如果能在未來展現(xiàn)出更優(yōu)秀的成績，說不定也會被英偉達這樣的公司看中。

結(jié)語

英偉達常年在MLPerf上霸榜，也有不少人認為MLPerf跑分成了英偉達的宣傳工具，然而事實是英特爾、谷歌等同樣重視AI的公司也將其視為一個公平的基準測試，而且MLPerf還有同行評審環(huán)節(jié)，進一步驗證測試結(jié)果。從以上結(jié)果來看，AI訓練硬件上的創(chuàng)新仍未停止，無論是GPU、TPU還是IPU都在推陳出新，但跑分結(jié)果并不代表任何用例都能達到高性能，還需要廠商自己去調(diào)校模型和軟件才能達成最好的成績。