電子發燒友網報道（文/周凱揚）近年來，有關大語言模型（LLM）的開發非常活躍，尤其是在中國、美國等市場。以OpenAI開發的ChatGPT為例，其迅速普及極大影響了技術研發、經濟系統等，為此不少國家政府也投入到LLM的計算資源整合中來，從而不至于落后這輪新的全球技術軍備戰。同樣的計算資源競爭也發生在超算領域，而兩者的計算資源存在一定的重合，不少人開始借助超算來進行LLM的開發。

超算訓練大模型的天然優勢

大語言模型的訓練經常會撞上GPU的內存墻，比如訓練一個萬億參數的模型，就需要至少24TB的GPU內存。好在對于現代超算系統而言，GPU已經成為不可或缺的算力資源之一，不少超算的GPU規模與云服務廠商的數據中心相比，也不遑多讓。以目前排名第一的Frontier超算為例，就集成了37888塊AMD MI250X GPU。

美國橡樹嶺國家實驗室的研究人員除了用Frontier完成科學計算任務以外，也使用了一部分GPU資源訓練一個萬億級參數的LLM。據他們發布的論文，使用3072塊MI250X GPU，他們訓練了一個一萬億參數的大語言模型，這樣的規模已經與OpenAI的GPT-4在同一水平線上了。

絕大多數模型的內存要求，除了來自參數量外，也來自梯度和優化器狀態。盡管對大模型訓練的任務進行了并行分解，美國橡樹嶺國家實驗室的研究人員發現訓練一個萬億級別的大模型還是需要14TB的內存，好在單個MI250X就擁有64GB的顯存，足以滿足訓練要求。

富岳大模型

日前，一隊日本研究員發布了富岳-LLM，一個專門針對日語能力進行加強的大語言模型，由RIKEN的超算系統富岳訓練。盡管目前GPU才是訓練LLM的首選硬件，而富岳超算是基于自研的Arm架構處理器構筑的，只有CPU并沒有GPU。

為了在富岳上訓練大語言模型，研究員們開發了分布式的訓練方案，將深度學習框架Megatron-DeepSpeed移植到富岳上，從而優化Transformer模型在富岳上的性能表現。通過加速Transformer的密集矩陣乘法庫，并結合三種并行化技術優化富岳的通信性能，富岳的并行訓練能力得到了最大化。

富岳大模型有130億參數，比目前已經在日本廣泛使用的70億參數模型規模還要大，盡管市面上早已出現參數更大的模型，但對于富岳超算來說，這已經是一個平衡高性能與計算資源的選擇了。

除此之外，不少日本公司開發的大模型采用持續學習，采用海外開發的公開模型，用日本數據進行持續訓練。而富岳大模型則是采用團隊自己的數據從頭開始訓練的，所以在透明度和安全性上更高一籌。

富岳大模型用到了3800萬個Token和富岳超算的13824個節點，其數據60%為日語，并與英語、數學運算和代碼結合。該模型在人文和社會科學任務中獲得了9.18的基準跑分，可以結合敬語或日語的其他特征進行自然對話。

寫在最后

隨著各地區紛紛開始建設超算智算資源，如何提高這些計算資源的利用率也成了關鍵。而訓練大模型恰好需要用到如此龐大的計算資源，也有助于為各行各業提供可用大模型應用，由此看來，未來超算上大模型訓練的場景也會越來越普遍。