異構(gòu)超級(jí)計(jì)算機(jī)時(shí)代已經(jīng)到來。近日，日本筑波大學(xué)上線的Cygnus超算成為第一臺(tái)進(jìn)入超算top500榜單的GPU、FPGA混合加速超級(jí)計(jì)算機(jī)。在如何讓CPU、GPU、FPGA多硬件協(xié)調(diào)、高效、同步提供算力上邁出了重要一步。

如果說“異構(gòu)超級(jí)計(jì)算機(jī)”的時(shí)代已經(jīng)到來，那么本月早些時(shí)候在日本筑波大學(xué)上線的 CPU、GPU、FPGA混合硬件超算系統(tǒng)就是這個(gè)時(shí)代的首批探索者之一。

這臺(tái)超算名為Cygnus，由NEC制造，目前在日本筑波大計(jì)算科學(xué)中心（CCS）運(yùn)行，由Intel Xeon CPU，Nvidia Tesla GPU和Intel Stratix 10 FPGA共同提供硬件支持。

Cygnus系統(tǒng)架構(gòu)：所有80個(gè)Cygnus節(jié)點(diǎn)都配備了兩個(gè)Xeon“Skylake”黃金 CPU和四個(gè)Tesla V100 GPU，同時(shí)在32個(gè)節(jié)點(diǎn)中，還和GPU搭載了兩個(gè)Stratix 10 FPGA。48個(gè)CPU-GPU專用節(jié)點(diǎn)稱為“Deneb節(jié)點(diǎn)”（以最亮的Cygnus A星命名），而32個(gè)CPU-GPU-FPGA節(jié)點(diǎn)稱為Albireo節(jié)點(diǎn)（以Cygnus A雙星命名）。

FPGA型號(hào)為Bittware 520N PCIe卡，供應(yīng)商為Nallatech，這些“重型”FPGA卡可以提供10 teraflops的單精度性能，以及四組DDR4內(nèi)存。尤其是，該卡配備了四個(gè)100G光纖網(wǎng)絡(luò)端口，共提供400Gbps帶寬，可以通過自身結(jié)構(gòu)直接與其他520N FPGA進(jìn)行通信。在Cygnus中，可將8×8的2D環(huán)形網(wǎng)絡(luò)中的64個(gè)FPGA相互連接。Bittware包括一個(gè)板級(jí)支持包（BSP），可供OpenCL開發(fā)人員使用。

每個(gè)Cygnus節(jié)點(diǎn)的雙精度浮點(diǎn)性能為30 teraflops，其中28個(gè)節(jié)點(diǎn)算力由四個(gè)V100 GPU提供。由兩個(gè)Stratix 10器件在配備FPGA的節(jié)點(diǎn)上提供20個(gè)單精度teraflops。整機(jī)可提供算力為2.4 petaflop（64位浮點(diǎn)）或5.12 petaflop（32位浮點(diǎn)）算力。

目前，Cygnus正在取代該機(jī)構(gòu)之前使用的COMA，COMA是一款由Intel Xeon CPU和Xeon Phi協(xié)處理器驅(qū)動(dòng)的Cray CS300計(jì)算機(jī)集群。它于2014年組建，今年3月底退役，為Cygnus讓位。

Mellanox HDR InfiniBand負(fù)責(zé)Cygnus上的系統(tǒng)互連，與獨(dú)立的FPGA網(wǎng)絡(luò)一樣，系統(tǒng)設(shè)計(jì)人員確保了足夠的帶寬來進(jìn)行節(jié)點(diǎn)間通信。每個(gè)節(jié)點(diǎn)使用四個(gè)100Gbps HDR通道，連接為全二分fat樹網(wǎng)絡(luò)。InfiniBand網(wǎng)絡(luò)還用于訪問托管在DataDirect Networks ES14KX設(shè)備上的2.5 PB Lustre文件系統(tǒng)。

盡管“雙加速硬件”的設(shè)定很新潮，但其實(shí)Cygnus并不是試驗(yàn)機(jī)。其組建的主要用途是為宇宙學(xué)、粒子物理學(xué)、生命科學(xué)和人工智能等領(lǐng)域科學(xué)研究提供生產(chǎn)力。通過CPUGPUFPGA的組合，力求在實(shí)際科學(xué)研究中最有效地發(fā)揮這些硬件各自的計(jì)算優(yōu)勢(shì)。

具體來說，GPU負(fù)責(zé)提供粗粒度并行計(jì)算，主要擅長(zhǎng)SIMD友好型計(jì)算，而FPGA提供細(xì)粒度并行計(jì)算，更適合應(yīng)用于非SIMD算法。而對(duì)于氣候模擬，生物信息學(xué)、分子動(dòng)力學(xué)、地球物理學(xué)和線性代數(shù)中使用的一些特定算法，F(xiàn)PGA已經(jīng)證明能夠?qū)崿F(xiàn)比CPU、GPU更快、更高效的運(yùn)算。不過，在科學(xué)上可以通過代碼同時(shí)高效利用這兩種架構(gòu)。

Cygnus系統(tǒng)架構(gòu)圖

Cygnus的目標(biāo)應(yīng)用之一是模擬早期宇宙，模擬光源的輻射傳輸。模擬過程是在一個(gè)套為ARGOT的代碼中實(shí)現(xiàn)的，其中名為“ART”（真實(shí)輻射傳輸）的光線追蹤算法是該模擬中的重要部分，ART部分更適合FPGA硬件平臺(tái)上的大規(guī)模運(yùn)行。

不過，ARGOT的其他部分在GPU上運(yùn)行更合適，因此利用“雙硬件加速”成為最佳解決方案。該應(yīng)用程序在GPU和FPGA之間使用基于PCIe的直接存儲(chǔ)器訪問來實(shí)現(xiàn)協(xié)調(diào)，避免了使CPU受到影響而出現(xiàn)延遲。

ART實(shí)現(xiàn)是使用相對(duì)較高級(jí)別的OpenCL實(shí)現(xiàn)的，這表明其他開發(fā)人員也可以這樣做。Bittware方面表示，使用OpenCL實(shí)現(xiàn)的用戶與嚴(yán)格使用硬件描述語言（HDL）實(shí)現(xiàn)的用戶進(jìn)行對(duì)比發(fā)現(xiàn)，在許多情況下，OpenCL實(shí)現(xiàn)在性能方面與后者“足夠接近”。

過去幾年來，F(xiàn)PGA軟件開發(fā)的進(jìn)展促使微軟、亞馬遜和百度等巨頭越來越廣泛地采用FPGA硬件，尤其是在機(jī)器學(xué)習(xí)和推理等應(yīng)用上。

但是，在高性能計(jì)算平臺(tái)中，使用FPGA的設(shè)備更少。筑波大學(xué)的這臺(tái)Cygnus將是唯一一個(gè)進(jìn)入超算TOP500榜單的采用FPGA加速的超級(jí)計(jì)算機(jī)。德國(guó)帕德博恩大學(xué)去年安裝了一臺(tái)使用FPGA的超算，Cray CS500超級(jí)計(jì)算機(jī)，配備了32塊Bittware 520N卡，不過該機(jī)沒有配備GPU。

還有一些其他FPGA式的HPC集群遍布世界各地，包括美國(guó)佛羅里達(dá)州的CHREC（現(xiàn)改稱SHREC）的Nova-G＃系統(tǒng)，英國(guó)Hartree中心的Maxeler HPC-X以及Catapult 1和TACC的HARP v2計(jì)算機(jī)集群。

未來是否會(huì)有更多更強(qiáng)大的異構(gòu)超級(jí)計(jì)算機(jī)誕生？這不僅取決于使用者的需求，更多還要取決于硬件廠商和開發(fā)者是否繼續(xù)從上到下推動(dòng)生態(tài)系統(tǒng)建設(shè)。

從Bittware的角度來看，關(guān)鍵的推動(dòng)力一定是來自中間層面的，同時(shí)有賴于對(duì)高級(jí)語言和更成熟的開發(fā)工具更充分的支持。目前的好消息是，業(yè)界最大的兩家FPGA制造商——英特爾和賽林思都在為開發(fā)人員提供更好的工具，并將這些工具與下一代FPGA產(chǎn)品整合在一起。

從這一點(diǎn)上看，我們似乎可以對(duì)異構(gòu)超算的未來保持一份謹(jǐn)慎的樂觀。