近日，為推動(dòng)智算集群異構(gòu)混訓(xùn)關(guān)鍵技術(shù)突破和生態(tài)建設(shè)，“智算集群異構(gòu)混訓(xùn)工作組啟動(dòng)會(huì)”在北京圓滿召開，會(huì)議由人工智能產(chǎn)業(yè)工作委員會(huì)主辦，壁仞科技作為組長(zhǎng)單位承辦。近五十家智算集群相關(guān)產(chǎn)業(yè)鏈上下游單位參與了本次交流，分享智算集群異構(gòu)混訓(xùn)的關(guān)鍵技術(shù)進(jìn)展、成功落地案例，為突破大模型異構(gòu)算力孤島難題指明了方向。

工信部電子司系統(tǒng)處處長(zhǎng)金磊、人工智能產(chǎn)業(yè)工委會(huì)秘書長(zhǎng)高宏玲、壁仞科技聯(lián)席CEO李新榮、中國(guó)信通院兩化所總工黃偉出席會(huì)議并致辭，來(lái)自壁仞科技、上海交通大學(xué)、北京智源研究院、上海人工智能實(shí)驗(yàn)室、中國(guó)信通院兩化所等單位代表做了主題分享，來(lái)自中國(guó)移動(dòng)研究院、中國(guó)電信研究院、上海智算科技、無(wú)問(wèn)芯穹及摩爾線程等人工智能行業(yè)的企業(yè)相關(guān)代表參與了圓桌討論交流，智算集群異構(gòu)混訓(xùn)工作組組長(zhǎng)代表、壁仞科技AI軟件首席架構(gòu)師丁云帆主持會(huì)議。

01智算集群異構(gòu)混訓(xùn)工作組正式成立

肩負(fù)突破異構(gòu)算力孤島使命

工信部電子司系統(tǒng)處處長(zhǎng)金磊參加智算集群異構(gòu)混訓(xùn)工作組啟動(dòng)會(huì)并致辭。他表示，電子司高度重視人工智能特別是AI芯片等產(chǎn)業(yè)發(fā)展，積極推動(dòng)產(chǎn)業(yè)技術(shù)創(chuàng)新、標(biāo)準(zhǔn)研制、生態(tài)培育、應(yīng)用推廣、國(guó)際合作等工作。希望工委會(huì)發(fā)揮好智算集群異構(gòu)混訓(xùn)工作組作用，凝聚共識(shí)，促進(jìn)發(fā)展：一是以國(guó)家戰(zhàn)略為指引，強(qiáng)化使命擔(dān)當(dāng)；二是促進(jìn)技術(shù)創(chuàng)新，突破產(chǎn)業(yè)關(guān)鍵技術(shù)；三是加強(qiáng)先進(jìn)計(jì)算芯片標(biāo)準(zhǔn)體系建設(shè)；四是推動(dòng)協(xié)同創(chuàng)新，構(gòu)建可持續(xù)發(fā)展的生態(tài)。

人工智能產(chǎn)業(yè)工委會(huì)秘書長(zhǎng)高宏玲在致辭中指出，工委會(huì)聚焦人工智能產(chǎn)業(yè)的各個(gè)環(huán)節(jié)，為產(chǎn)業(yè)鏈提供交流合作的平臺(tái)。在國(guó)際高端算力供應(yīng)鏈日益復(fù)雜形勢(shì)下，我國(guó)芯片產(chǎn)業(yè)持續(xù)自主創(chuàng)新，在AI芯片領(lǐng)域形成了多元化路徑。智算集群異構(gòu)混訓(xùn)工作組的成立，標(biāo)志我國(guó)智算產(chǎn)業(yè)在異構(gòu)混訓(xùn)技術(shù)領(lǐng)域邁出關(guān)鍵一步。異構(gòu)算力的規(guī)模化協(xié)同也成為突破算力孤島、釋放算力潛能的關(guān)鍵命題，希望工作組聯(lián)合產(chǎn)業(yè)鏈上下游共同努力，推動(dòng)異構(gòu)智算集群的規(guī)模化應(yīng)用，促進(jìn)算力資源的深度整合與高效利用。

壁仞科技聯(lián)席CEO李新榮在致辭中著重介紹壁仞科技異構(gòu)混訓(xùn)技術(shù)攻關(guān)的進(jìn)展，業(yè)界首次實(shí)現(xiàn)四種及以上異構(gòu)GPU混合訓(xùn)練同一個(gè)大模型。他表示，異構(gòu)混訓(xùn)技術(shù)棧非常復(fù)雜，需要產(chǎn)學(xué)研用協(xié)同打造異構(gòu)混訓(xùn)生態(tài)。由此，壁仞科技聯(lián)合上海智算科技和中興通訊共同發(fā)起成立智算集群異構(gòu)混訓(xùn)工作組并當(dāng)選組長(zhǎng)，希望通過(guò)突破大模型異構(gòu)算力孤島難題，加快國(guó)產(chǎn)GPU遷移落地，助力國(guó)產(chǎn)大模型創(chuàng)新發(fā)展。

中國(guó)信通院兩化所總工黃偉的致辭圍繞著異構(gòu)混訓(xùn)的相關(guān)產(chǎn)業(yè)現(xiàn)狀、問(wèn)題挑戰(zhàn)和工作計(jì)劃展開。他表示在異構(gòu)混訓(xùn)領(lǐng)域，中國(guó)信通院未來(lái)將在深化技術(shù)體系研究、推進(jìn)標(biāo)準(zhǔn)規(guī)范建設(shè)、構(gòu)建協(xié)同創(chuàng)新平臺(tái)及培育示范應(yīng)用生態(tài)四個(gè)方面重點(diǎn)開展工作。

會(huì)上，工信部電子司系統(tǒng)處金磊處長(zhǎng)和工委會(huì)高宏玲秘書長(zhǎng)一起為智算集群異構(gòu)混訓(xùn)工作組舉行了啟動(dòng)授牌儀式，壁仞科技擔(dān)任工作組組長(zhǎng)單位。智算集群異構(gòu)混訓(xùn)工作組組長(zhǎng)代表、壁仞科技AI軟件首席架構(gòu)師丁云帆匯報(bào)了工作組的目標(biāo)和規(guī)劃，智算集群異構(gòu)混訓(xùn)工作組旨在共建智算集群異構(gòu)混訓(xùn)標(biāo)準(zhǔn)和規(guī)范，開展互連互通、異構(gòu)混訓(xùn)測(cè)試驗(yàn)證和應(yīng)用落地推廣，實(shí)現(xiàn)萬(wàn)卡、十萬(wàn)卡國(guó)產(chǎn)芯片異構(gòu)智算集群，突破大模型異構(gòu)算力孤島難題，加快國(guó)產(chǎn)GPU遷移落地，助力國(guó)產(chǎn)大模型創(chuàng)新發(fā)展。

02大規(guī)模智算集群異構(gòu)混訓(xùn)成功落地

推進(jìn)異構(gòu)混訓(xùn)標(biāo)準(zhǔn)形成行業(yè)合力

丁云帆還在主題演講中重點(diǎn)介紹了壁仞科技異構(gòu)混訓(xùn)工作進(jìn)展情況。壁仞科技此前已發(fā)布自主原創(chuàng)異構(gòu)GPU協(xié)同訓(xùn)練方案HGCT，近期再次取得新突破，業(yè)界首次實(shí)現(xiàn)四種異構(gòu)芯片千卡混合訓(xùn)練同一個(gè)大模型，混訓(xùn)芯片種類、規(guī)模、效率98.5%三項(xiàng)指標(biāo)均為行業(yè)第一，將逐步邁向萬(wàn)卡異構(gòu)集群。目前，壁仞科技已聯(lián)合中國(guó)移動(dòng)、中國(guó)電信等發(fā)布了異構(gòu)混訓(xùn)相關(guān)成果，并與某實(shí)驗(yàn)室深度合作、聯(lián)合優(yōu)化，業(yè)界首次實(shí)現(xiàn)數(shù)千卡異構(gòu)混訓(xùn)落地，實(shí)現(xiàn)千億參數(shù)大模型訓(xùn)練，為異構(gòu)混訓(xùn)行業(yè)樹立了新的標(biāo)桿案例。

隨后，上海交大計(jì)算機(jī)學(xué)院常務(wù)副院長(zhǎng)、特聘教授、國(guó)家杰青吳帆發(fā)表了《大小模型端云協(xié)同智能計(jì)算》的主題演講，分享大小模型端云協(xié)同多維度創(chuàng)新成果和落地案例；北京智源研究院AI框架研發(fā)負(fù)責(zé)人敖玉龍發(fā)表了《基于FlagOS的全棧開源異構(gòu)混訓(xùn)系統(tǒng)》的主題演講，介紹基于FlagOS的異構(gòu)混訓(xùn)端到端解決方案、FlagScale異構(gòu)統(tǒng)一并行策略、FlagCX多芯片統(tǒng)一通信庫(kù)、實(shí)驗(yàn)成果；上海人工智能實(shí)驗(yàn)室編譯計(jì)算與國(guó)產(chǎn)化團(tuán)隊(duì)負(fù)責(zé)人裴芝林發(fā)表了《DeepLink針對(duì)異構(gòu)混訓(xùn)的研究與突破》的主題演講，介紹DeepLink體系已成功實(shí)現(xiàn)多種異構(gòu)芯片間的通信互通，并對(duì)異構(gòu)互聯(lián)的并行訓(xùn)練策略進(jìn)行了深度優(yōu)化，在數(shù)千卡規(guī)模的集群環(huán)境下，實(shí)現(xiàn)了高效、穩(wěn)定的深度學(xué)習(xí)訓(xùn)練任務(wù)。

為推動(dòng)異構(gòu)混訓(xùn)生態(tài)建設(shè)，壁仞科技與中國(guó)信通院兩化所聯(lián)合制定了“智能集群異構(gòu)混訓(xùn)技術(shù)要求和測(cè)試規(guī)范”標(biāo)準(zhǔn)草案。會(huì)上，中國(guó)信通院兩化所先進(jìn)計(jì)算研究部主任王駿成就該標(biāo)準(zhǔn)草案進(jìn)行了詳細(xì)介紹。他表示，標(biāo)準(zhǔn)草案按照高效率、高通用性和可擴(kuò)展性原則，設(shè)計(jì)異構(gòu)混訓(xùn)整體架構(gòu)。下一步，標(biāo)準(zhǔn)制定方將聯(lián)合各領(lǐng)軍企業(yè)共同對(duì)當(dāng)前標(biāo)準(zhǔn)草案進(jìn)行完善并啟動(dòng)相關(guān)報(bào)批流程，開展異構(gòu)混訓(xùn)相關(guān)測(cè)試驗(yàn)證，推動(dòng)異構(gòu)混訓(xùn)技術(shù)在各重點(diǎn)行業(yè)內(nèi)應(yīng)用落地，并評(píng)選出一批異構(gòu)混訓(xùn)的優(yōu)秀應(yīng)用案例，形成示范引領(lǐng)效應(yīng)。

03智算集群產(chǎn)業(yè)鏈典型代表獻(xiàn)計(jì)獻(xiàn)策

共同推動(dòng)異構(gòu)混訓(xùn)生態(tài)建設(shè)

圍繞“異構(gòu)混訓(xùn)如何突破大模型異構(gòu)算力孤島難題“，中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所所長(zhǎng)張昊、中國(guó)電信研究院云網(wǎng)融合技術(shù)研究所副總監(jiān)陳映、上海智算科技國(guó)產(chǎn)適配中心專家孫兆群、無(wú)問(wèn)芯穹技術(shù)副總裁張權(quán)路和摩爾線程AI Infra負(fù)責(zé)人陳志進(jìn)行了深入討論交流。

中國(guó)移動(dòng)研究院、中國(guó)電信研究院、上海智算科技等作為典型用戶單位一致認(rèn)為，異構(gòu)混訓(xùn)是解決異構(gòu)算力孤島的關(guān)鍵手段。各位專家認(rèn)為異構(gòu)通信能力、異構(gòu)混訓(xùn)效率、大規(guī)模集群混訓(xùn)穩(wěn)定性、異構(gòu)拆分策略自動(dòng)調(diào)優(yōu)、跨域異構(gòu)混訓(xùn)都是需要持續(xù)優(yōu)化解決的關(guān)鍵問(wèn)題，尤其是需要提升易用性和保障模型訓(xùn)練效果，這樣更有利于異構(gòu)混訓(xùn)在大規(guī)模生產(chǎn)環(huán)境中的落地應(yīng)用，期待數(shù)萬(wàn)卡異構(gòu)集群訓(xùn)練出萬(wàn)億參數(shù)大模型，突破大模型異構(gòu)算力孤島難題！

本次工作組啟動(dòng)會(huì)吸引了近五十家智算集群相關(guān)產(chǎn)業(yè)鏈上下游單位參與，包括AI芯片廠商，服務(wù)器廠商，AI Infra廠商，智算集群建設(shè)方、運(yùn)營(yíng)方和最終用戶，高校、研究機(jī)構(gòu)，以及網(wǎng)絡(luò)設(shè)備、金融機(jī)構(gòu)等，產(chǎn)、學(xué)、研、用協(xié)同打造智算集群異構(gòu)混訓(xùn)合作生態(tài)，推動(dòng)國(guó)產(chǎn)AI芯片和大模型創(chuàng)新發(fā)展。

·