2025年7月25日,上?!谑澜?a target="_blank">人工智能大會(WAIC 2025)開幕前夕,摩爾線程以“算力進化,精度革命”為主題舉辦技術分享會,并創新性提出“AI工廠”理念。摩爾線程創始人兼CEO張建中在主題演講中表示,為應對生成式AI爆發式增長下的大模型訓練效率瓶頸,摩爾線程將通過系統級工程創新,構建新一代AI訓練基礎設施,致力于為AGI時代打造生產先進模型的“超級工廠”。
“AI工廠”:鍛造先進模型的“超級工廠”
人工智能前沿模型的競爭正推動著AI智能水平的迅猛提升,全球科技巨頭正以驚人的速度迭代模型。從GPT系列、Gemini到DeepSeek、QWen的快速更新,模型訓練迭代時間已縮短至不足3個月,這種高頻迭代不僅體現在大型語言模型(LLM)上,還同步擴展至多模態模型、語音模型、世界模型等前沿模型領域。這些模型在性能、效率和應用場景上實現的指數級突破,不僅推動了AI從專用領域向通用智能的跨越,其快速迭代的特性更對新一代高性能人工智能計算基礎設施提出了迫切需求。
摩爾線程提出的“AI工廠”,如同芯片晶圓廠的制程升級,是一個系統性、全方位的變革,需要實現從底層芯片架構創新、到集群整體架構的優化,再到軟件算法調優和資源調度系統的全面升級。這種全方位的基礎設施變革,將推動AI訓練從千卡級向萬卡級乃至十萬卡級規模演進,以系統級工程實現生產力和創新效率的飛躍。
這座“AI工廠”的智能“產能”,由五大核心要素共同決定,其效率公式可概括為:AI工廠生產效率 = 加速計算通用性 × 單芯片有效算力 × 單節點效率 × 集群效率 × 集群穩定性
摩爾線程以全功能GPU通用算力為基石,通過先進架構、芯片算力、單節點效率、集群效率優化與可靠性等協同躍升的深度技術創新,旨在將全功能GPU加速計算平臺的強大潛能,轉化為工程級的訓練效率與可靠性保障。
五大核心技術:系統性提升AI訓練效率
摩爾線程通過軟硬深度協同的系統級創新,從五大核心技術構建“AI工廠”,致力于推動大模型訓練效率實現質的飛躍。
技術一:全功能GPU,實現加速計算通用性
在AI基礎設施建設中,計算功能的完備性與精度完整性是支撐多元場景的核心基石。摩爾線程以自主研發的全功能GPU為核心,構建了“功能完備”與“精度完整”的通用性底座,全面覆蓋從AI訓練、推理到科學計算的全場景需求。
- 創新突破:單芯片覆蓋多場景。基于MUSA架構的突破性設計,摩爾線程的GPU單芯片即可集成AI計算加速、圖形渲染、物理仿真及超高清視頻編解碼能力,充分適配AI訓推、具身智能、AIGC等多樣化應用場景。
- 精度標桿:性能躍升20%~30%。在計算精度方面,摩爾線程支持從FP64至INT8的完整精度譜系,并通過FP8混合精度技術,在主流前沿大模型訓練中實現20%~30%的性能躍升,為國產GPU的算力效率樹立行業標桿。
- 前瞻布局:推動AI基礎設施進化。這一技術體系不僅滿足大模型時代的高效計算需求,更為世界模型和新興AI架構的演化提供前瞻性支撐,助力AI基礎設施向高通用性、高精度方向持續升級。
技術二:自研MUSA架構,提升芯片有效算力
強大的芯片有效算力是驅動“AI工廠”高效運轉的核心動力。摩爾線程基于自研MUSA架構,通過計算、內存、通信三重突破,顯著提升單GPU運算效率。
- 創新架構突破傳統限制:摩爾線程采用創新的多引擎、可伸縮GPU架構,通過硬件資源池化及動態資源調度技術,構建了全局共享的計算、內存與通信資源池。這一設計不僅突破了傳統GPU功能單一的限制,還在保障通用性的同時顯著提升了資源利用率。其參數化配置可伸縮架構允許面向目標市場快速裁剪出優化的芯片配置,大幅降低了新品芯片的開發成本。
- 計算性能顯著提升:在計算層面,摩爾線程的AI加速系統(TCE/TME)全面支持INT8/FP8/FP16/BF16/TF32等多種混合精度計算。作為國內首批實現FP8算力量產的GPU廠商,其FP8技術通過快速格式轉換、動態范圍智能適配和高精度累加器等創新設計,在保證計算精度的同時,將Transformer計算性能提升約30%。
- 內存與通信效率全面優化:內存系統方面,通過多精度近存規約引擎、低延遲Scale-Up、通算并行資源隔離等技術,實現了50%的帶寬節省和60%的延遲降低。在通信和互聯領域,獨創的ACE異步通信引擎減少了15%的計算資源損耗,MTLink2.0互聯技術提供了高出國內行業平均水平60%的帶寬,為大規模集群部署奠定了堅實基礎。
技術三:MUSA全棧系統軟件,提升單節點計算效率
當AI算力競爭進入深水區,摩爾線程通過MUSA全棧系統軟件實現關鍵技術突破,推動AI工廠從單點創新轉向系統級效能提升。其核心創新包括:
- 任務調度優化:核函數啟動時間縮短50%;
- 極致性能算子庫:GEMM算子算力利用率達98%,Flash Attention 算子算力利用率突破95%;
- 通信效能躍升:MCCL通信庫實現RDMA網絡97%帶寬利用率;基于異步通信引擎優化計算通信并行,集群性能提升10%;
- 低精度計算效率革新:FP8優化與重計算技術顯著降低訓練開銷;
- 開發生態完善:基于Triton-MUSA編譯器+MUSA Graph 實現DeepSeek R1推理加速1.5倍,全面兼容Triton等主流框架。
技術四:自研KUAE大規模集群,優化集群效率
- 當單節點效率達到新高度,如何實現大規模集群的高效協作成為新的挑戰。摩爾線程自研KUAE計算集群通過5D大規模分布式并行計算技術,實現上千節點的高效協作,推動AI基礎設施從單點優化邁向系統工程級突破。
- 創新5D并行訓練:摩爾線程整合數據、模型、張量、流水線和專家并行技術,全面支持Transformer等主流架構,顯著提升大規模集群訓練效率。
- 性能仿真與優化:自主研發的Simumax工具面向超大規模集群自動搜索最優并行策略,精準模擬FP8混合精度訓練與算子融合,為DeepSeek等模型縮短訓練周期提供科學依據。
- 秒級備份恢復:針對大模型穩定性難題,創新CheckPoint加速方案利用RDMA技術,將百GB級備份恢復時間從數分鐘壓縮至1秒,提升GPU有效算力利用率。
技術五:零中斷容錯技術,提升集群的穩定性和可靠性
在構建高效集群的基礎上,穩定可靠的運行環境是“AI工廠”持續產出的保障。
特別在萬卡級AI集群中,硬件故障導致的訓練中斷會嚴重浪費算力。摩爾線程創新推出零中斷容錯技術,故障發生時僅隔離受影響節點組,其余節點繼續訓練,備機無縫接入,全程無中斷。這一方案使KUAE集群有效訓練時間占比超99%,大幅降低恢復開銷。
同時,KUAE集群通過多維度訓練洞察體系實現動態監測與智能診斷,異常處理效率提升50%;結合集群巡檢與起飛檢查,訓練成功率提高10%,為大規模AI訓練提供穩定保障。
從訓練到驗證:構建完整閉環
摩爾線程以打造先進的“AI工廠”為目標,憑借全功能GPU的通用計算能力、創新的MUSA架構、優化的MUSA軟件棧、自研的KUAE集群以及零中斷容錯技術這五大核心要素,構建起高效的“AI工廠”,為AI大模型訓練提供了強大而可靠的基礎設施支持。
完善的“AI工廠”不僅需要高效訓練大模型,還需具備推理驗證能力。摩爾線程基于自研MUSA技術棧,構建覆蓋LLM、視覺、生成類模型的全流程推理解決方案,實現“訓練-驗證-部署”的無縫銜接。其MT Transformer自研推理引擎、TensorX自研推理引擎和vLLM-MUSA推理框架,為模型驗證和部署提供極致性能支持。
AI工廠,驅動千行百業智能升級
依托AI工廠,摩爾線程成功構建起覆蓋"訓練-推理-部署"全流程的高效體系。這一突破標志著國產計算基礎設施已具備支撐AGI時代規?;⒏咝?、高可靠模型生產的關鍵能力。
從圖形渲染基石到AI算力引擎,摩爾線程全功能GPU持續加速計算革新。以“KUAE+MUSA”為智算業務核心,摩爾線程將加速賦能千行百業,推動全功能GPU驅動的AI技術在物理仿真、AIGC、科學計算、具身智能、智能體、醫療影像分析、工業大模型等關鍵領域的應用與部署。
同時,摩爾線程深知開放是生態繁榮之源。摩爾線程將于今年10月舉辦首屆MUSA開發者大會,誠邀全球開發者共探前沿技術,共享MUSA自主新生態。
隨著WAIC 2025正式拉開帷幕,摩爾線程以“全功能GPU,為美好世界加速”為主題,精彩亮相上海世博展覽館H1-A821展位,誠邀業界同仁蒞臨參觀交流,共同見證國產人工智能基礎設施的創新突破與發展。
關于摩爾線程
摩爾線程以全功能GPU為核心,致力于向全球提供加速計算的基礎設施和一站式解決方案,為各行各業的數智化轉型提供強大的AI計算支持。
我們的目標是成為具備國際競爭力的GPU領軍企業,為融合人工智能和數字孿生的數智世界打造先進的加速計算平臺。我們的愿景是為美好世界加速。
-
摩爾線程
+關注
關注
2文章
241瀏覽量
5433 -
大模型
+關注
關注
2文章
3184瀏覽量
4144
發布評論請先 登錄
摩爾線程“AI工廠”:以系統級創新定義新一代AI基礎設施

評論