談到如何設(shè)計AI加速器，許多工程師都會給出不同的答案，但歸根結(jié)底仍是在一顆先進(jìn)制程的芯片上排列組合數(shù)十億個晶體管。然而當(dāng)前超大規(guī)模的AI推理依然面臨著不少挑戰(zhàn)，比如成本和復(fù)雜度高居不下，傳統(tǒng)架構(gòu)下的性能、功耗和可編程性無法滿足超大規(guī)模的要求等。初創(chuàng)公司Esperanto作為去年才開始冒頭的初創(chuàng)企業(yè)，卻打算用RISC-V來解決這一問題。

Esperanto創(chuàng)立于2014年，其董事長Dave Ditzel曾在英特爾負(fù)責(zé)下一代微處理器架構(gòu)的設(shè)計。Esperanto的工作方向是基于RISC-V這一開放架構(gòu)，開發(fā)高性能、高效率的計算方案。為此，他們打造了ET-SoC-1，一個千核的RISC-V處理器，也是他們開發(fā)的首個AI加速器。

ET-SoC-1 / Esperanto
ET-SoC-1的名字寓意并不是傳統(tǒng)的SoC，而是面向超大規(guī)模數(shù)據(jù)中心的“片上超級電腦”。它包含了近乎1100個RISC-V核心，近240億晶體管。需要指出的是，ET-SoC-1是一個AI推理加速器，并不是訓(xùn)練加速器。

據(jù)CEO Art Swift介紹，該芯片采用了臺積電7nm制程，在特定的工作任務(wù)上，能耗效率提高可至100倍。ET-SoC-1在其他關(guān)鍵工作任務(wù)上，性能提升要遠(yuǎn)高于傳統(tǒng)的CPU加GPU方案。比如在模擬測試中，用于推薦網(wǎng)絡(luò)時，其性能提升高達(dá)50倍，在圖像分類上，性能提升高達(dá)30倍。雖然這些暫時只是紙面測試參數(shù)，但這樣的性能和功耗無疑可以給AI客戶帶來很大的吸引力。

據(jù)了解，這一芯片直至2021年第二季度才正式流片，預(yù)計2022年早期才會開始量產(chǎn)。這是因為Esperanto花了很多時間在驗證上，作為一家初創(chuàng)公司，Esperanto采用了架構(gòu)、硬件和軟件聯(lián)合設(shè)計的方式，這樣一來雖然節(jié)省了時間，卻也讓規(guī)格一直在持續(xù)變動。因此Esperanto在驗證團(tuán)隊上投入了許多精力，也率先采用了新思的ZeBu FPGA仿真方案，以求減少查錯和除錯時間。

ET-SoC-1芯片架構(gòu) / Esperanto

ET-SoC-1用到了兩種Esperanto自研的RISC-V核心，分別是4個ET-Maxion（超標(biāo)量亂序核）和1089個ET-Minion（順序多線程核心）。ET-Maxion是一顆可以運行Linux的大核心，核心頻率超過2GHz，作為ET-SoC-1的控制CPU，而ET-Minion則用于矩陣乘法等重度機(jī)器學(xué)習(xí)數(shù)據(jù)處理。

ET-Maxion作為核心頻率超過2GHz的10級流水線RISC-V核心，其實原本是伯克利大學(xué)Boom V2開源核心的的分支，但Esperanto對此進(jìn)行了大刀闊斧的改進(jìn)。在SPEC2006測試下，其性能已經(jīng)超過了Cortex-A57，不過還是次于Cortex-A72以及SiFive最近公布的P550。

雖然是一個小核，但ET-Minion也是一個64位RISC-V核心。ET-SoC-1內(nèi)，32個ET-Minion和4MB的L2 SRAM組成了“Minion Shire”，一共34個Shire采用Mesh的方式連接在一起，多出來的一個ET-Minion則用作服務(wù)處理器。Esperanto用這一千多個ET-Minion做到了強(qiáng)大的浮點性能，某些傳統(tǒng)加速器僅支持INT8運算，而ET-SoC-1在FP16或FP32上都能展現(xiàn)出不俗的優(yōu)勢。


搭載6個ET-SoC-1的Glacier Point v2 / Esperanto

Art Swift提到，F(xiàn)acebook推出的開源AI板卡Glacier Point v2可以搭載6個ET-SoC-1芯片，這樣以來就可以直接接入已有的開源計算項目（OCP）設(shè)備中。這一張卡上就包含了6558個RISC-V核心和192GB的LPDDR4X DRAM，帶寬可達(dá)822GB/s的同時還擁有較低的功耗。據(jù)估計，這一設(shè)計的板卡峰值性能可達(dá)800 TOPS（INT8）以上。

在軟件層面上，Esperanto也為C++、Pytorch和TensorFlow常見的機(jī)器學(xué)習(xí)框架提供了支持。只需采用Facebook的開源編譯器，就可以在多個ET-SoC-1芯片上運行機(jī)器學(xué)習(xí)模型。

結(jié)語

RISC-V雖然在傳統(tǒng)的CPU與GPU市場還未徹底崛起，但在AI加速上，已經(jīng)以其獨到的優(yōu)勢迅速攻城略地。這種千核式的設(shè)計其實已經(jīng)應(yīng)用于Arm等架構(gòu)，不少數(shù)據(jù)中心、超算卻依然在嘗試用RISC-V作為加速器。

RISC-V憑借其開放性、擴(kuò)展性和自主性，并沒有像Arm那樣由低至高地發(fā)展市場，而是低端和高端兩頭抓，一旦消費市場也開始普及RISC-V生態(tài)，那時的RISC-V就有與Arm全市場爭霸的希望了。