超級(jí)計(jì)算機(jī)+AI：NVIDIA Ampere架構(gòu)開辟百萬(wàn)兆級(jí)時(shí)代

目前，全球有6座超級(jí)計(jì)算機(jī)中心率先采用 NVIDIA Ampere架構(gòu)，將從天體物理學(xué)到病毒微生物學(xué)等多個(gè)科學(xué)領(lǐng)域帶入百萬(wàn)兆級(jí)時(shí)代。

這些位于美國(guó)和德國(guó)的高性能計(jì)算中心（HPC）將共計(jì)使用近13,000個(gè)A100 GPU。

這些GPU的總峰值性能超過(guò)250 petaflops，將被用于使用64位浮點(diǎn)數(shù)學(xué)運(yùn)算的模擬。而對(duì)于使用混合精度數(shù)學(xué)和利用A100 GPU對(duì)稀疏性支持的AI推理工作，它們可提供驚人的8.07 exaflops性能。

研究人員將運(yùn)用這一強(qiáng)大性能從多個(gè)維度推動(dòng)科學(xué)發(fā)展。他們計(jì)劃模擬更大型的模型、訓(xùn)練和部署更深入的網(wǎng)絡(luò)，并開拓運(yùn)用AI來(lái)輔助模擬的新興混合領(lǐng)域。

Argonne國(guó)家實(shí)驗(yàn)室是首批NVIDIA DGX-A100系統(tǒng)的使用者之一。圖片由Argonne國(guó)家實(shí)驗(yàn)室提供

Argonne國(guó)家實(shí)驗(yàn)室（Argonne National Laboratory）的研究人員將通過(guò)模擬冠狀病毒（由多達(dá)150萬(wàn)個(gè)原子組成）刺突蛋白的關(guān)鍵部分來(lái)研發(fā)新冠病毒疫苗。

Argonne國(guó)家實(shí)驗(yàn)室計(jì)算生物學(xué)家Arvind Ramanathan表示，刺突蛋白分子很難模擬，但A100可以加快對(duì)這些子系統(tǒng)的模擬，讓我們了解這種病毒如何感染人類。”Argonne國(guó)家實(shí)驗(yàn)室將采用一個(gè)由24個(gè)NVIDIA DGX A100系統(tǒng)組成的集群。

他還表示，在其他項(xiàng)目中，“由于一次可以掃描數(shù)不計(jì)其數(shù)的藥物，我們的新藥研發(fā)能力明顯增強(qiáng)。我們可能會(huì)了解之前所無(wú)法了解的知識(shí)，比如兩種蛋白質(zhì)如何相互結(jié)合等。”

A100為科學(xué)研究引入AI

Ramanathan表示：“許多工作難以在計(jì)算機(jī)上模擬，因此我們可以運(yùn)用AI來(lái)智能指導(dǎo)下一步的采樣地點(diǎn)和時(shí)間。”

而這只是科學(xué)家使用AI引導(dǎo)模擬這一新興趨勢(shì)的冰山一角。Ramanathan還告訴我們，GPU將把生物樣品的處理時(shí)間縮短“至少兩個(gè)數(shù)量級(jí)”。

國(guó)家能源研究科學(xué)計(jì)算中心（NERSC）有望成為全美第一批A100使用者中，規(guī)模最大的使用者。這座位于加利福尼亞州伯克利（Berkeley, Calif.）的計(jì)算中心正在與惠普（Hewlett Packard）合作，在其預(yù)制的百萬(wàn)兆級(jí)系統(tǒng)Perlmutter中部署6200個(gè)GPU。

NERSC主任Sudip Dosanjh表示：“在NERSC科學(xué)和算法領(lǐng)域，一個(gè)V100 GPU的性能比我們當(dāng)前一代Cori系統(tǒng)上的KNL CPU節(jié)點(diǎn)高出5倍，我們期待著Perlmutter上的A100性能會(huì)更加強(qiáng)大。”

百萬(wàn)兆級(jí)計(jì)算團(tuán)隊(duì)使用AI進(jìn)行模擬

NERSC的百萬(wàn)兆級(jí)計(jì)算專用團(tuán)隊(duì)已為Perlmutter確認(rèn)了近30個(gè)項(xiàng)目，這些項(xiàng)目采用了大規(guī)模模擬、數(shù)據(jù)分析或深度學(xué)習(xí)技術(shù)。一些項(xiàng)目將高性能計(jì)算與AI相結(jié)合，比如使用強(qiáng)化學(xué)習(xí)控制光源實(shí)驗(yàn)的項(xiàng)目、使用生成模型在高能物理探測(cè)器上重現(xiàn)成本昂貴的模擬等。

NERSC的2個(gè)高性能計(jì)算應(yīng)用程序，已經(jīng)原型化了A100 GPU雙精度Tensor核心的使用。相比上一代Volta GPU，它們的性能顯著提高。

NERSC的高性能計(jì)算性能工程師Christopher Daley，在GTC 線上大會(huì)的一次演講中表示，未來(lái)的百萬(wàn)兆級(jí)系統(tǒng)將使用專為10000路并行Perlmutter GPU產(chǎn)品而優(yōu)化的軟件。NERSC支持天體物理學(xué)、地球科學(xué)、聚變能和基因組學(xué)等領(lǐng)域的近千種科學(xué)應(yīng)用。

NERSC的首席架構(gòu)師Nicholas Wright表示：“在Perlmutter上，我們需要支持用戶所需和期望的所有編程模型的編譯器，包括MPI、OpenMP、OpenACC、CUDA和經(jīng)過(guò)優(yōu)化的數(shù)學(xué)庫(kù)。而這些在NVIDIA HPC SDK上都有。”

德國(guó)努力繪制大腦圖譜

AI將成為全新70 petaflops系統(tǒng)首批A100應(yīng)用的重點(diǎn)技術(shù)，該系統(tǒng)由法國(guó)Atos專為德國(guó)西部尤利西超級(jí)計(jì)算中心（Jülich Supercomputing Center）設(shè)計(jì)。

比如能夠作出快速短期天氣預(yù)報(bào)的Deep Rain將對(duì)傳統(tǒng)系統(tǒng)（進(jìn)行大規(guī)模，但速度慢的大氣模擬）進(jìn)行補(bǔ)充。另一個(gè)項(xiàng)目計(jì)劃構(gòu)建人腦纖維圖集，并結(jié)合數(shù)千張高分辨率2D腦圖像進(jìn)行深度學(xué)習(xí)。

尤利西采用的新型A100系統(tǒng)還將幫助研究人員，進(jìn)一步理解結(jié)合夸克（物質(zhì)的亞原子構(gòu)造模塊）所具有的強(qiáng)大力量。氣候科學(xué)項(xiàng)目將可以建立地球地表和地下水流的宏觀模型。

理論物理學(xué)家Dirk Pleiter目前管理尤利西應(yīng)用技術(shù)研發(fā)團(tuán)隊(duì)。他表示：“許多應(yīng)用程序都受到存儲(chǔ)的限制。因此，我們最感興趣的是A100存儲(chǔ)占用量和帶寬的增加情況。”

全新GPU能夠?qū)㈦p精度數(shù)學(xué)運(yùn)算速度提高多達(dá)2.5倍，而這也是一項(xiàng)研究人員迫切需要的功能。他表示：“我認(rèn)為一旦人們發(fā)現(xiàn)有機(jī)會(huì)提高計(jì)算性能，他們會(huì)非常希望使用GPU。”

NVLink助跑數(shù)據(jù)密集型工作

卡爾斯魯厄技術(shù)學(xué)院（Karlsruhe Institute of Technology, KIT）在尤利西以南約230英里處,與聯(lián)想合作建立了一部全新的17 petaflops系統(tǒng)。該系統(tǒng)將在NVIDIA Mellanox 200 Gbit/s InfiniBand網(wǎng)絡(luò)上集成740個(gè)A100 GPU，從而解決多項(xiàng)重大挑戰(zhàn)，包括：

用于氣候科學(xué)的千米級(jí)大氣模擬

針對(duì)新冠病毒的研究，包括對(duì)Folding@home的支持

大型強(qiáng)子對(duì)撞機(jī)對(duì)希格斯玻色子以外粒子物理學(xué)的探索

可能取代鋰離子電池的新一代材料研究

AI在機(jī)器人技術(shù)、語(yǔ)言處理和可再生能源中的應(yīng)用

KIT超級(jí)計(jì)算中心主任、計(jì)算科學(xué)與數(shù)學(xué)教授Martin Frank表示：“我們的主要工作是數(shù)據(jù)密集型模擬和AI工作流，因此我們非常需要能夠連接新GPU的第三代NVLink。”

他補(bǔ)充說(shuō)：“我們也十分期待多實(shí)例GPU功能。該功能可以讓每個(gè)節(jié)點(diǎn)最多擁有28個(gè)GPU，而不是原來(lái)的只有4個(gè)節(jié)點(diǎn)，這將使我們的許多應(yīng)用都大大受益。”

在慕尼黑郊外，馬克斯·普朗克研究所（Max Planck Institute）的計(jì)算機(jī)中心正在與聯(lián)想合作創(chuàng)建一個(gè)名為Raven-GPU的系統(tǒng)。該系統(tǒng)集成了768個(gè)NVIDIA A100 GPU，將支持天體物理學(xué)、生物學(xué)、理論化學(xué)和新材料科學(xué)等領(lǐng)域的工作。該研究所的目標(biāo)是在今年年底之前安裝Raven-GPU，并且現(xiàn)在正在接受將應(yīng)用程序移植到A100方面的請(qǐng)求。

印第安納大學(xué)系統(tǒng)應(yīng)對(duì)網(wǎng)絡(luò)安全威脅

印第安納大學(xué)（Indiana University）正在建造Big Red 200（6 petaflops系統(tǒng)）。該系統(tǒng)將使用256個(gè)A100 GPU，有望成為美國(guó)大學(xué)中速度最快的超級(jí)計(jì)算機(jī)。

該項(xiàng)目于6月發(fā)布，是最早采用惠普公司Cray Shasta技術(shù)的學(xué)術(shù)中心之一。其他學(xué)術(shù)中心也將在未來(lái)的百萬(wàn)兆級(jí)系統(tǒng)中使用這項(xiàng)技術(shù)。

Big Red 200將運(yùn)用AI應(yīng)對(duì)網(wǎng)絡(luò)安全威脅。它還將解決遺傳學(xué)方面的巨大挑戰(zhàn)，幫助實(shí)現(xiàn)個(gè)性化醫(yī)療，為氣候建模、物理學(xué)和天文學(xué)方面的工作提供支持。