電子發(fā)燒友網(wǎng)報道（文/李彎彎）隨著人工智能技術的快速發(fā)展，對于計算能力的需求日益增長。特別是在大模型訓練方面，對算力的需求更是呈現(xiàn)指數(shù)級增長。傳統(tǒng)的單卡計算已經(jīng)無法滿足大模型訓練的需求，因此，采用多卡集群的方式成為了必然的選擇。

2023年底，摩爾線程推出首個全國產(chǎn)千卡千億模型訓練平臺“摩爾線程KUAE智算中心”。摩爾線程相關負責人此前談到，百卡或更小規(guī)模都是實驗性的，千卡才是大集群的基本單元，只有千卡及以上才能滿足一些基礎模型的算力需求。

國產(chǎn)千卡集群完成大模型訓練測試

日前，摩爾線程官方宣布，聯(lián)合羽人科技，已成功實現(xiàn)了夸娥（KUAE）千卡智算集群與羽人系列模型解決方案的訓練兼容適配，高效完成了70億參數(shù)羽人大語言模型YuRen-7b的訓練測試。

測試結果顯示，訓練效率達到預期，夸娥千卡智算集群展現(xiàn)出了高度的兼容性和穩(wěn)定性。未來，羽人科技的零代碼訓練平臺將遷移到摩爾線程夸娥千卡智算集群。

在今年5月27日，摩爾線程聯(lián)合無問芯穹宣布，雙方在近日正式完成基于國產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實訓。該模型名為“MT-infini-3B”，在摩爾線程夸娥（KUAE）千卡智算集群與無問芯穹AIStudio PaaS平臺上完成了高效穩(wěn)定的訓練。

MT-infini-3B模型訓練總用時13.2天，經(jīng)過精度調試，實現(xiàn)全程穩(wěn)定訓練不中斷，集群訓練穩(wěn)定性達到100%，千卡訓練和單機相比擴展效率超過90%。

5月29日，摩爾線程又與國內領先的數(shù)據(jù)智能服務商滴普科技共同宣布，摩爾線程“夸娥”（KUAE）千卡智算集群與滴普企業(yè)大模型Deepexi v1.0已完成訓練、推理適配，獲得產(chǎn)品兼容互認證明。

基于摩爾線程夸娥千卡智算集群，滴普科技成功完成了LLaMA2 700億參數(shù)大語言模型的預訓練測試。訓練時長共計77小時，全程無故障連續(xù)運行，集群訓練穩(wěn)定性達到100%，訓練效率和兼容性均達到預期。

可以看到，摩爾線程全國產(chǎn)夸娥千卡智算集群在大模型訓練上展現(xiàn)出足夠的實力。摩爾線程夸娥方案基于全功能MTT S4000 GPU，提供軟硬一體化的全棧解決方案，具備模型覆蓋、推理加速、CUDA兼容、斷點續(xù)訓、分布式訓練、集群可靠性等8大核心能力。

MTT S4000是摩爾線程推出的大模型智算加速卡，采用第三代MUSA內核，單卡支持48GB顯存容量和768GB/s的顯存帶寬，F(xiàn)P16算力為100TFLOPS。借助摩爾線程自研開發(fā)工具，MTT S4000計算卡可以充分利用現(xiàn)有CUDA軟件生態(tài)，實現(xiàn)CUDA代碼零成本遷移到MUSA平臺。

大模型訓練用千卡集群搭建需要關注的重點

可以看到，國產(chǎn)千卡集群已經(jīng)取得實質性突破，在性能上能夠達到國際先進水平，在應用上，已經(jīng)有多個大模型實訓案例。同時，國產(chǎn)企業(yè)也在積極構建和完善生態(tài)系統(tǒng)。

事實上，用于大模型訓練的千卡集群的搭建并不容易，需要注意多方面的事情。如基礎設施搭建方面，首先要考慮硬件的選擇，需要選擇高性能的GPU或TPU作為核心計算單元，才能夠提供必要的計算能力和加速訓練過程。其次是網(wǎng)絡互聯(lián)，構建能夠支持萬卡級別高速互聯(lián)的智算集群，才能確保各個計算單元之間的數(shù)據(jù)傳輸效率和穩(wěn)定性。還有分布式存儲，需要配置分布式存儲系統(tǒng)，滿足大模型訓練過程中大規(guī)模數(shù)據(jù)的存儲和訪問需求。

除了GPU的選擇，網(wǎng)絡互聯(lián)也是千卡集群建設需要關注的重點。大模型訓練千卡集群互聯(lián)要求高，這樣能夠確保集群的高效、穩(wěn)定和可靠運行。

具體來看，首先需要高帶寬與與低時延，大規(guī)模GPU集群中，模型訓練對卡間互聯(lián)的帶寬和時延提出更高要求，特別是在萬億參數(shù)量模型中，網(wǎng)絡節(jié)點可能由百卡組建的“超節(jié)點”構成，單次通信數(shù)據(jù)量雖小但通信頻繁，因此需要高帶寬支持以實現(xiàn)快速數(shù)據(jù)傳輸。低時延同樣重要，因為在大模型訓練中，任何延遲都可能影響訓練效率。

其次需要高效互聯(lián)拓撲，隨著智算中心向千卡萬卡級別的全互聯(lián)方向演進，傳統(tǒng)的直連拓撲結構不再適用。集群需要采用更高效、更先進的互聯(lián)拓撲結構，如全向智感互聯(lián)（OISA）設計方案，以突破大規(guī)模卡間互聯(lián)的技術瓶頸。

再者還需要支持大規(guī)模擴展，千卡集群的互聯(lián)方案需要支持從單機多卡到多機多卡、從單卡到千卡集群的無縫擴展。這要求互聯(lián)方案具有良好的可擴展性，能夠隨著集群規(guī)模的增長而靈活調整。

另外還要考慮穩(wěn)定性和可靠性、安全性、兼容性等。大模型訓練千卡集群的互聯(lián)方案有多種，如RDMA（遠程直接內存訪問）網(wǎng)絡，RDMA允許計算機之間的內存直接訪問，無需操作系統(tǒng)和CPU的干預，從而大大降低了通信延遲，提高了數(shù)據(jù)傳輸速率。在千卡集群中，RDMA網(wǎng)絡可以確保節(jié)點間的高效數(shù)據(jù)傳輸，支持大規(guī)模的分布式訓練任務。

NVLink高速互聯(lián)，NVLink是NVIDIA開發(fā)的一種GPU間高速互聯(lián)技術，專為GPU到GPU的通信而設計。它提供了比PCIe更高的帶寬和更低的延遲，適用于多GPU系統(tǒng)內的數(shù)據(jù)共享和通信。在千卡集群中，可以使用NVLink連接GPU服務器，實現(xiàn)節(jié)點內部GPU間的高效互聯(lián)。

高性能交換機與網(wǎng)絡拓撲，使用高性能交換機，如InfiniBand交換機或以太網(wǎng)交換機，來構建集群的網(wǎng)絡拓撲。網(wǎng)絡拓撲設計需要考慮集群的規(guī)模和通信需求，以確保所有節(jié)點之間的低延遲和高帶寬連接?？赡艿木W(wǎng)絡拓撲包括全連接、部分連接或基于交換機的層次化結構。

還有多路徑數(shù)據(jù)傳輸、全向智感互聯(lián)（OISA）設計方案等，OISA是一個新興的設計方案，旨在解決大規(guī)?？ㄩg互聯(lián)的技術瓶頸。OISA通過優(yōu)化網(wǎng)絡協(xié)議和拓撲結構，實現(xiàn)了更高的帶寬、更低的延遲和更好的擴展性。該方案適用于需要高效通信的大規(guī)模GPU集群。

寫在最后

千卡集群主要是用于處理大規(guī)模、高復雜度的計算任務，特別是在人工智能（AI）、深度學習、大模型訓練等領域。而此前這種集群的建設都依賴國外的GPU，而如今，可以看到，全國產(chǎn)的千卡集群正在不斷進步和完善，在當下國際GPU產(chǎn)品對中國限售的背景下，這對于國內人工智能，尤其是大模型的長遠發(fā)展具有深遠意義。