近年來(lái),從金融到汽車、從教育到醫(yī)療,人工智能技術(shù),特別是以ChatGPT為代表的生成式人工智能,正在給整個(gè)世界帶來(lái)顛覆性體驗(yàn)。在如今這個(gè)“人工智能時(shí)代”,人工智能技術(shù)的發(fā)展離不開服務(wù)于AI算法訓(xùn)練和推理的高性能計(jì)算技術(shù)。
今天,我們就來(lái)聊一聊高性能計(jì)算。
計(jì)算機(jī)科學(xué)的“皇冠”初次涉及高性能計(jì)算,可能許多人會(huì)按照字面意思理解為計(jì)算性能較好的算法,從而將其列入眾多算法之一。其實(shí)這種看法并不全面。高性能計(jì)算之于計(jì)算機(jī)科學(xué),如同哥德巴赫猜想之于數(shù)學(xué),是計(jì)算機(jī)學(xué)科領(lǐng)域內(nèi)十分耀眼的存在。在介紹高性能計(jì)算之前,我們要先介紹一下高性能計(jì)算機(jī)。
高性能計(jì)算機(jī)(HPC)是一種運(yùn)算速度極快、存儲(chǔ)容量極大、通信帶寬極高的計(jì)算機(jī),又被稱作超級(jí)計(jì)算機(jī),主要用于解決普通計(jì)算機(jī)解決不了的具有挑戰(zhàn)性的問題。高性能計(jì)算機(jī)發(fā)展經(jīng)歷了單計(jì)算機(jī)時(shí)代和多計(jì)算機(jī)時(shí)代。單計(jì)算機(jī)時(shí)代從20世紀(jì)60年代開始,以單一內(nèi)存向量機(jī)和對(duì)稱多處理器技術(shù)為主。20世紀(jì)90年代后逐步進(jìn)入到多計(jì)算機(jī)時(shí)代,其中采用商用網(wǎng)絡(luò)將計(jì)算機(jī)連接起來(lái)組成的集群逐步成為主流。直到今天,這依然是高性能計(jì)算系統(tǒng)構(gòu)建的主要方式。集群是計(jì)算機(jī)和網(wǎng)絡(luò)的結(jié)合。假如說(shuō),互聯(lián)網(wǎng)是從外部將分立的計(jì)算機(jī)連接在一起,那么集群就是將網(wǎng)絡(luò)內(nèi)部化,讓網(wǎng)絡(luò)成為系統(tǒng)內(nèi)部不同計(jì)算機(jī)的溝通橋梁。往簡(jiǎn)單里說(shuō),其實(shí)就是將網(wǎng)絡(luò)連接的所有計(jì)算機(jī)看作一個(gè)整體,這個(gè)新的整體就是高性能計(jì)算集群。
或許這樣乍一看有些難懂,引用電影《西虹市首富》里的一句臺(tái)詞來(lái)解釋,就是“集中火力干事業(yè)”。就好比一臺(tái)計(jì)算機(jī),我們平日里用其寫寫文檔、剪輯簡(jiǎn)單的日常生活視頻可能還很流暢,但是如果想實(shí)現(xiàn)大型三維8K高清動(dòng)畫渲染,就難以勝任,這說(shuō)明當(dāng)前計(jì)算機(jī)的算力已經(jīng)不支持完成當(dāng)前的工作了。此時(shí)通過(guò)網(wǎng)絡(luò)將多臺(tái)計(jì)算機(jī)進(jìn)行連接,把這些設(shè)備的算力進(jìn)行疊加,就可以完成一臺(tái)計(jì)算機(jī)完不成的任務(wù)。高性能計(jì)算集群是將多個(gè)計(jì)算節(jié)點(diǎn)組織起來(lái),通過(guò)高速網(wǎng)絡(luò)連接在一起的大規(guī)模并行計(jì)算系統(tǒng)。如果將普通計(jì)算比作人腦,那么高性能計(jì)算集群就是許多人腦連接成矩陣的“超級(jí)大腦”。在短時(shí)間內(nèi),“超級(jí)大腦”具有強(qiáng)大的計(jì)算能力,可以完成更多計(jì)算任務(wù)。
相較于普通計(jì)算機(jī),高性能計(jì)算集群的運(yùn)算速度能夠達(dá)到令人難以想象的程度。此外,高性能計(jì)算還可以通過(guò)大規(guī)模的分布式計(jì)算技術(shù),將單個(gè)計(jì)算任務(wù)分解為多個(gè)子任務(wù)并行計(jì)算。好比如果需要烹制一桌宴席,一個(gè)團(tuán)隊(duì)擇菜、切菜、炒菜分工明確,多環(huán)節(jié)同時(shí)進(jìn)行,效率要比一個(gè)人獨(dú)立完成整桌宴席快得多。
高性能計(jì)算機(jī)采用高可靠性設(shè)計(jì),具有超低的故障率以及較好的穩(wěn)定性和持續(xù)運(yùn)行能力。這也奠定了高性能計(jì)算在計(jì)算機(jī)科學(xué)領(lǐng)域的“皇冠地位”。
沒有最快,只有更快
談及高性能計(jì)算,或許不少讀者會(huì)以為這是近些年來(lái)伴隨科技發(fā)展的新興產(chǎn)物。殊不知,高性能計(jì)算已經(jīng)誕生并發(fā)展了相當(dāng)長(zhǎng)一段時(shí)間。隨著計(jì)算機(jī)硬件和軟件的不斷發(fā)展,高性能計(jì)算在很早以前就成了一個(gè)重要的研究領(lǐng)域和技術(shù)領(lǐng)域。20世紀(jì)六七十年代,美國(guó)超級(jí)計(jì)算中心、法國(guó)原子能和替代能源委員會(huì)、日本計(jì)算機(jī)科學(xué)研究所等機(jī)構(gòu)紛紛推出了一批超級(jí)計(jì)算機(jī)系統(tǒng),奠定了高性能計(jì)算的發(fā)展基礎(chǔ)。此后,超級(jí)計(jì)算機(jī)進(jìn)入了快速發(fā)展期。各國(guó)投入更多的資金用于高性能計(jì)算的研發(fā)和應(yīng)用。超級(jí)計(jì)算機(jī)性能速度不斷提升,各種新興應(yīng)用也不斷涌現(xiàn)。
1983年12月,中國(guó)第一臺(tái)每秒鐘運(yùn)算1億次以上的“銀河”巨型計(jì)算機(jī)成功問世,中國(guó)成為繼美國(guó)、日本之后,第3個(gè)能獨(dú)立設(shè)計(jì)和制造巨型計(jì)算機(jī)的國(guó)家。2013年6月至2015年11月,中國(guó)“天河二號(hào)”超級(jí)計(jì)算機(jī)實(shí)現(xiàn)世界超級(jí)計(jì)算機(jī)TOP500排行榜歷史上的六連冠。在高性能計(jì)算領(lǐng)域,有一個(gè)著名的千倍定律——每10年,超級(jí)計(jì)算機(jī)的運(yùn)行速度就會(huì)提升1000倍。2018年,超級(jí)計(jì)算機(jī)“頂點(diǎn)”以每秒20億億次的浮點(diǎn)運(yùn)算速度峰值,名列全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單榜首。4年后,在2022年6月公布的全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單中,超級(jí)計(jì)算機(jī)“前沿”的浮點(diǎn)運(yùn)算速度峰值已經(jīng)超過(guò)每秒100億億次。
這顯示了超算技術(shù)驚人的發(fā)展速度。每秒100億億次意味著什么呢?目前主流筆記本電腦運(yùn)算速度大概每秒10億次,要10億個(gè)這樣的筆記本同時(shí)計(jì)算,才能趕得上現(xiàn)在最快的超級(jí)計(jì)算機(jī)。百億億次超算,又稱E級(jí)超算,已成為國(guó)際上高端信息技術(shù)創(chuàng)新和競(jìng)爭(zhēng)的制高點(diǎn)。目前,世界各國(guó)在全球超算領(lǐng)域你追我趕,競(jìng)爭(zhēng)激烈。美、歐、日等國(guó)家和地區(qū)紛紛制定和推進(jìn)百億億次超算研制計(jì)劃。中國(guó)的3個(gè)E級(jí)(百億億次)計(jì)算機(jī)原型系統(tǒng)項(xiàng)目,已經(jīng)全面啟動(dòng)。歐洲即將推出首臺(tái)百億億次超級(jí)計(jì)算機(jī)“木星”,有望取得突破性的成就。
當(dāng)然,研發(fā)E級(jí)超算,目的并非單純比拼運(yùn)算速度,促進(jìn)大規(guī)模應(yīng)用、解決國(guó)家面臨的挑戰(zhàn)性問題,才是關(guān)鍵。
算天、算海、算地、算人
如今,業(yè)內(nèi)人士常用“算天、算海、算地、算人”來(lái)形容高性能計(jì)算應(yīng)用的無(wú)所不在。
算天——高性能計(jì)算廣泛應(yīng)用于天氣預(yù)報(bào)、航天器設(shè)計(jì)、研究天體物理等。基于超算平臺(tái)開發(fā)的精細(xì)數(shù)值天氣預(yù)報(bào)系統(tǒng),能以每12分鐘實(shí)時(shí)刷新未來(lái)6小時(shí)的氣象變化數(shù)據(jù),并且準(zhǔn)確預(yù)測(cè)未來(lái)15天以上氣象變化情況;研制一架大飛機(jī),做全機(jī)風(fēng)動(dòng)試驗(yàn)過(guò)去需耗費(fèi)數(shù)年時(shí)間,利用超級(jí)計(jì)算機(jī)模擬仿真,幾天就能完成相關(guān)工作;2019年人類歷史上第一張黑洞照片終于問世,這張照片凝結(jié)了當(dāng)時(shí)世界最先進(jìn)的探測(cè)技術(shù),也得益于超級(jí)計(jì)算機(jī)對(duì)海量數(shù)據(jù)的分析和處理。
算海——高性能計(jì)算在海洋環(huán)境預(yù)報(bào)、古氣候模擬、海洋藥物、海洋勘探等領(lǐng)域應(yīng)用廣泛,已經(jīng)成為人類認(rèn)識(shí)海洋、探索海洋的利器。
算地——高性能計(jì)算常用來(lái)支撐地質(zhì)鉆探、遙感測(cè)量、重大工程建設(shè)等。2023年5月,中國(guó)測(cè)繪科學(xué)研究院研究團(tuán)隊(duì)自主研發(fā)了合成孔徑雷達(dá)干涉測(cè)量超算平臺(tái),服務(wù)于地面沉降防治、地質(zhì)災(zāi)害隱患識(shí)別、地殼運(yùn)動(dòng)檢測(cè)等,也可為油氣田開采、采空區(qū)塌陷、大型基礎(chǔ)設(shè)施健康診斷等提供信息支持。
算人——與人的生命健康有關(guān)的應(yīng)用,比如新藥研發(fā)、基因測(cè)序、腦科學(xué)等,都離不開高性能計(jì)算。近年來(lái),各種新的檢查檢驗(yàn)設(shè)備、可穿戴設(shè)備等,使得醫(yī)生和研究人員更容易獲得個(gè)人的健康、疾病數(shù)據(jù),有助于從更多維度了解疾病發(fā)生過(guò)程。高性能計(jì)算可以幫助研究者和醫(yī)生從大量數(shù)據(jù)中摸索出規(guī)律,從而更加精準(zhǔn)地診斷、治療疾病或者研發(fā)藥物。當(dāng)前,高性能計(jì)算最令人矚目的應(yīng)用,是超級(jí)計(jì)算機(jī)與人工智能的結(jié)合。有人形象地打了一個(gè)比方:如果說(shuō),人工智能是一座承載機(jī)器智能的摩天大樓,那么算法是設(shè)計(jì)圖紙,數(shù)據(jù)是建筑材料,算力則是地基。一方面,當(dāng)前人工智能對(duì)算力的需求呈指數(shù)式增長(zhǎng),需要更高性能的硬件系統(tǒng)提供算力支持。從ChatGPT3.0到ChatGPT4.0,其突破離不開人工智能大模型對(duì)海量數(shù)據(jù)的學(xué)習(xí)。
另一方面,超級(jí)計(jì)算機(jī)并非簡(jiǎn)單地堆砌硬件就能達(dá)到更高性能,其發(fā)展需要復(fù)雜而繁多的網(wǎng)絡(luò)、軟件等的互聯(lián)互通,這便離不開人工智能的支持。因此,超算系統(tǒng)需要從計(jì)算密集型向數(shù)據(jù)密集型轉(zhuǎn)變,將傳統(tǒng)超算、AI算法、大數(shù)據(jù)相結(jié)合,實(shí)現(xiàn)具備面向海量數(shù)據(jù)的高性能分析能力的智能超算。
人類對(duì)超算應(yīng)用的需求沒有止境。專家表示,超算一直在幫助人類拓展邊界。宏觀擴(kuò)展如宇宙天體,微觀深入像生命科學(xué),還有對(duì)一些極端情況的模擬。超算將繼續(xù)在這些尖端科學(xué)研究領(lǐng)域發(fā)揮作用。
未來(lái)發(fā)展或?qū)⒊跸胂?/strong>
花費(fèi)約200秒,就能完成傳統(tǒng)超算需要1萬(wàn)年才能完成的計(jì)算任務(wù)——2019年,谷歌公司團(tuán)隊(duì)宣布成功演示“量子霸權(quán)”。這個(gè)消息引起軒然大波,一場(chǎng)全球范圍內(nèi)的“量子霸權(quán)”爭(zhēng)奪戰(zhàn)由此愈發(fā)激烈。量子計(jì)算是一種遵循量子力學(xué)規(guī)律調(diào)控量子信息單元進(jìn)行計(jì)算的新型計(jì)算理論和技術(shù)。與經(jīng)典計(jì)算機(jī)相比,量子計(jì)算機(jī)可以不受物理結(jié)構(gòu)的局限,利用量子位及其相互作用在瞬間進(jìn)行大量計(jì)算,理論上能夠發(fā)揮出遠(yuǎn)超經(jīng)典計(jì)算技術(shù)的計(jì)算性能。科學(xué)家們預(yù)言,當(dāng)可以精確操縱的量子比特超過(guò)一定數(shù)目時(shí),量子計(jì)算機(jī)的能力將會(huì)遠(yuǎn)超任何一臺(tái)經(jīng)典計(jì)算機(jī)。那么,量子計(jì)算會(huì)取代原有的經(jīng)典計(jì)算嗎?今天,我們似乎有了一個(gè)明確的答案:不會(huì),至少在短時(shí)間內(nèi),量子計(jì)算無(wú)法取代經(jīng)典計(jì)算。
量子計(jì)算與經(jīng)典計(jì)算基本原理不同、結(jié)構(gòu)不同,二者所擅長(zhǎng)計(jì)算的問題也不同,因此量子計(jì)算機(jī)與經(jīng)典計(jì)算機(jī)并非“取代”與“被取代”的關(guān)系。從實(shí)際應(yīng)用角度,量子計(jì)算永遠(yuǎn)不會(huì)完全取代傳統(tǒng)超算,兩者各有所長(zhǎng),將協(xié)同工作。此外,對(duì)于量子計(jì)算研究來(lái)說(shuō),實(shí)現(xiàn)“量子霸權(quán)”只是第一個(gè)階段性目標(biāo)。目前來(lái)看,量子計(jì)算機(jī)還處于發(fā)展早期,技術(shù)上還存在許多挑戰(zhàn)和難點(diǎn)。“量子霸權(quán)”只是證明了在某個(gè)特定問題上,量子計(jì)算機(jī)的計(jì)算能力超過(guò)現(xiàn)有最強(qiáng)的傳統(tǒng)計(jì)算機(jī)。比起已經(jīng)深入社會(huì)各行各業(yè)的高性能計(jì)算,量子計(jì)算想要實(shí)現(xiàn)商用還需要一段時(shí)間。不過(guò),這并不意味著高性能計(jì)算就能“高枕無(wú)憂”。近年來(lái),經(jīng)典計(jì)算和量子計(jì)算的有機(jī)融合,正在日漸成為重點(diǎn)研究方向。
中、美、日、歐等傳統(tǒng)高性能計(jì)算強(qiáng)國(guó)和地區(qū),正在逐步開展量子計(jì)算和經(jīng)典計(jì)算共同執(zhí)行的混合算法,探索量子計(jì)算和經(jīng)典計(jì)算的融合體系結(jié)構(gòu)、計(jì)算系統(tǒng)等。在高性能計(jì)算的未來(lái)發(fā)展中,量子計(jì)算技術(shù)的地位將愈加凸顯。超級(jí)計(jì)算機(jī)將成為量子計(jì)算和經(jīng)典計(jì)算的深度融合系統(tǒng),二者互為重要算力補(bǔ)充,面向不同類型的計(jì)算問題各自發(fā)揮出更大的作用。未來(lái)的高性能計(jì)算,將超乎我們的想象。
文字|逯心一 范寬 高莉華來(lái)源|中國(guó)軍網(wǎng)、新華社
-
AI
+關(guān)注
關(guān)注
88文章
35117瀏覽量
279665 -
人工智能
+關(guān)注
關(guān)注
1806文章
49012瀏覽量
249385 -
高性能計(jì)算
+關(guān)注
關(guān)注
0文章
91瀏覽量
13656
發(fā)布評(píng)論請(qǐng)先 登錄
中科曙光構(gòu)建全國(guó)產(chǎn)化基因組學(xué)高性能計(jì)算平臺(tái)
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】+NVlink技術(shù)從應(yīng)用到原理
大算力芯片的生態(tài)突圍與算力革命
信而泰CCL仿真:解鎖AI算力極限,智算中心網(wǎng)絡(luò)性能躍升之道

【一文看懂】什么是端側(cè)算力?


算智算中心的算力如何衡量?

華為助力貴州氣象高性能算力項(xiàng)目建設(shè)
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--了解算力芯片CPU
希姆計(jì)算與開芯院簽署生態(tài)合作伙伴協(xié)議,共同打造高性能RISC-V AI大算力芯片

評(píng)論