女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

摩爾線程與無問芯穹宣布完成基于GPU千卡集群的3B規模大模型實訓

摩爾線程 ? 來源:摩爾線程 ? 2024-05-27 10:44 ? 次閱讀

摩爾線程聯合無問芯穹宣布,雙方已在本周正式完成基于國產全功能GPU千卡集群的3B規模大模型實訓。該模型名為“MT-infini-3B”,在摩爾線程夸娥(KUAE)千卡智算集群與無問芯穹AIStudio PaaS平臺上完成了高效穩定的訓練。

本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業內率先開啟了國產大語言模型與國產GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型訓練總用時13.2天,經過精度調試,實現全程穩定訓練不中斷,集群訓練穩定性達到100%,千卡訓練和單機相比擴展效率超過90%。目前,實訓出來的MT-infini-3B性能在同規模模型中躋身前列,相比在國際主流硬件上訓練而成的其他模型,在C-Eval,MMLU,CMMLU等3個測試集上均實現性能領先。

0bb4d878-1a48-11ef-b74b-92fbcf53809c.png

MT-infini-3B性能表現

無問芯穹聯合創始人兼CEO夏立雪表示:“國內大模型與國產芯片的軟硬件協同發展,最終目標是構建一個成熟的生態系統。無問芯穹正在打造‘M種模型’和‘N種芯片’間的‘M×N’中間層產品,實現多種大模型算法在多元芯片上的高效、統一部署。摩爾線程是第一家接入無問芯穹并進行千卡級別大模型訓練的國產GPU公司,而‘MT-infini-3B’的訓練是行業內首次實現基于國產GPU芯片從0到1的端到端大模型實訓案例。”

摩爾線程創始人兼CEO張建中表示:“無問芯穹在夸娥千卡智算集群上實現的從零開始的大模型訓練,不僅是對摩爾線程技術實力的有力認證,更是實現了國內大模型訓練的國產化閉環。摩爾線程夸娥千卡智算集群以全功能GPU為底座,提供軟硬一體化的全棧解決方案,具備高兼容性、高穩定性、高擴展性等綜合優勢,我們致力于成為AGI時代大模型訓練堅實可靠的先進基礎設施。”

此前,摩爾線程與無問芯穹已達成深度戰略合作。無問芯穹大模型開發與服務平臺“無穹Infini-AI”和摩爾線程大模型智算千卡集群夸娥已完成系統級融合適配,該平臺可以靈活調用夸娥的集群能力以完成大模型的訓練、微調與推理任務。未來,雙方還將開展更多適配與測試,推動國產大模型技術的快速發展與應用普及,為中國人工智能產業的蓬勃發展貢獻力量。



審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • GPU芯片
    +關注

    關注

    1

    文章

    305

    瀏覽量

    6120
  • 摩爾線程
    +關注

    關注

    2

    文章

    229

    瀏覽量

    5092
  • 大模型
    +關注

    關注

    2

    文章

    3022

    瀏覽量

    3816

原文標題:摩爾線程攜手無問芯穹:基于夸娥千卡智算集群的“MT-infini-3B”大模型實訓已完成

文章出處:【微信號:moorethreads,微信公眾號:摩爾線程】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    國產千卡GPU集群完成模型訓練測試,極具高兼容性和穩定性

    集群的方式成為了必然的選擇。 ? 2023年底,摩爾線程推出首個全國產千卡千億模型訓練平臺“
    的頭像 發表于 06-11 07:50 ?3965次閱讀
    國產<b class='flag-5'>千卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b><b class='flag-5'>完成</b>大<b class='flag-5'>模型</b>訓練測試,極具高兼容性和穩定性

    摩爾線程支持阿里云通義QwQ-32B開源模型

    近日,阿里云團隊正式開源全新推理模型——通義QwQ-32B摩爾線程在該
    的頭像 發表于 03-07 17:48 ?581次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>支持阿里云通義<b class='flag-5'>千</b><b class='flag-5'>問</b>QwQ-32<b class='flag-5'>B</b>開源<b class='flag-5'>模型</b>

    實現七家國產芯片DeepSeek適配

    近日,宣布了一個重大進展:其DeepSeek-R1、V3系列
    的頭像 發表于 02-13 16:04 ?566次閱讀

    天數智合作突破千卡集群訓練優化

    近日,天數智宣布達成深度合作,并在千卡
    的頭像 發表于 01-21 14:31 ?735次閱讀

    阿里通義代碼模型全系列開源

    近日,阿里云通義大模型團隊宣布了一項重大決策:將通義代碼模型全系列正式開源。此次開源的模型
    的頭像 發表于 11-14 15:26 ?870次閱讀

    性能提升近一倍!壁仞科技攜手,在千卡訓練集群等領域取得技術新突破

    隨著智能算力需求的倍增,到2024年,千卡算力集群已成為國內大模型訓練的必備場景。壁仞科技,作為國內少數擁有原創推一體架構的高端算力芯片廠商之一,與在AI算力市場具有重要影響力的
    發表于 11-05 18:45 ?1523次閱讀
    性能提升近一倍!壁仞科技攜手<b class='flag-5'>無</b><b class='flag-5'>問</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>,在<b class='flag-5'>千卡</b>訓練<b class='flag-5'>集群</b>等領域取得技術新突破

    完成5億元A輪融資

    近日,大模型基礎設施領域的創新企業宣布成功完成
    的頭像 發表于 09-03 15:41 ?523次閱讀

    摩爾線程與羽人科技完成大語言模型訓練測試

    近日,摩爾線程與羽人科技攜手宣布,雙方已成功實現夸娥(KUAE)千卡智算集群與羽人系列模型解決方
    的頭像 發表于 08-27 16:19 ?771次閱讀

    摩爾線程夸娥智算中心解決方案重磅升級

    摩爾線程重磅宣布其AI旗艦產品夸娥(KUAE)智算集群解決方案實現重大升級,從當前的千卡級別大幅擴展至萬卡
    的頭像 發表于 08-27 16:09 ?1023次閱讀

    上海獲多家投資方投資

    近日,上海智能科技有限公司宣布完成新一輪工商變更,公司股東陣容顯著增強。此次變更中,順為
    的頭像 發表于 08-08 16:27 ?1295次閱讀

    摩爾線程和樂創能源簽署戰略合作協議

    近日,摩爾線程和樂創能源簽署了戰略合作協議,雙方將聚焦能源大模型的創新與應用,圍繞新能源領域的電池、新能源發電、負荷管理、需求側響應等產品技術方向,共同研發能源大模型。依托
    的頭像 發表于 07-11 14:35 ?1027次閱讀

    發布千卡規模異構芯片混平臺

    在科技日新月異的今天,人工智能領域的每一次突破都引領著行業的新一輪變革。2024年世界人工智能大會AI基礎設施論壇上,以其卓越的創新力和前瞻視野,再次成為全場矚目的焦點。7月4
    的頭像 發表于 07-08 14:27 ?1084次閱讀

    摩爾線程與智譜AI完成模型性能測試與適配

    近日,摩爾線程與智譜AI在人工智能領域開展了一輪深入的合作,共同對GPU模型進行了適配及性能測試。此次測試不僅涵蓋了大模型的推理能力,還涉
    的頭像 發表于 06-14 16:40 ?1410次閱讀

    摩爾線程與羽人科技攜手完成7B模型訓練測試

    近日,摩爾線程與羽人科技聯合宣布了一項重要成果:雙方已成功實現夸娥(KUAE)千卡智算集群與羽人系列模型
    的頭像 發表于 06-14 16:33 ?703次閱讀

    摩爾線程與師者AI攜手完成70億參數教育AI大模型訓練測試

    近日,國內知名的GPU制造商摩爾線程與全學科教育AI大模型“師者AI”聯合宣布,雙方已成功完成
    的頭像 發表于 06-14 16:31 ?850次閱讀