女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

為大模型專門優化 浪潮信息發布分布式全閃存儲AS13000G7-N系列

全球TMT ? 來源:全球TMT ? 作者:全球TMT ? 2024-05-10 16:37 ? 次閱讀

北京2024年5月10日/美通社/ -- 近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統,搭載新一代數據加速引擎DataTurbo,通過盤控協同、GPU直訪存儲、全局一致性緩存等技術為AI大模型數據歸集、訓練、數據歸檔與管理等階段提供強大存儲支撐能力,助力用戶加速大模型系統的創新及應用落地。

wKgZomY93LqAB0zmAACk7cG7-Us233.jpg


化解大模型時代的存儲挑戰 構建堅實的數據存儲底座

大模型已經成為驅動數字經濟深度創新、引領企業業務變革、加速形成新質生產力的重要動能,隨著大模型參數量和數據量的極速膨脹,多源異構數據的傳、用、管、存,正在成為制約生成式AI落地的瓶頸之一,用戶亟需構建更加高效的存儲底座。在數據準備階段,在規模大、來源廣泛、格式多樣的原始數據中,篩選和清洗出利用于訓練的高質量數據常會耗費大量時間;在模型訓練階段,海量小文件數據加載、Checkpoint數據調用對IO處理效率提出嚴苛要求;模型訓練之后,多個數據資源池無法互通、海量冷數據歸檔帶來較高的數據管理復雜度。

作為率先在業界提出分布式融合存儲的廠商,浪潮信息聚焦行業客戶的大模型落地需求與核心痛點,基于NVMe SSD研發出高效適配和優化的分布式全閃存儲AS13000G7-N系列。硬件方面,AS13000G7-N是一款2U24盤位的全閃存儲機型,搭載英特爾?至強?第四、第五代可擴展處理器,支持400 Gb 網卡,同時每盤位可配置15.36TB 大容量NVMe SSD。軟件方面,通過集群控制服務將N個節點聯成一套具有高擴展性的文件系統;通過分布式元數據服務提升海量小文件讀寫性能;通過數控分離架構,實現東西向網絡優化,降低IO訪問時延,提升單節點帶寬。在軟硬件協同創新下,AS13000G7-N充分滿足大模型應用在存儲性能和存儲容量方面的嚴苛需求。

具體來說,在數據準備階段,通過多協議融合互通技術,面對多份、多種協議的數據,存儲底層僅保留一份數據,實現數據共享免搬遷;在模型訓練階段,通過大小IO智能識別和緩存預讀技術快速保存和恢復checkpoint(檢查點)文件,實現TB級訓練數據Checkpoint讀取耗時從10分鐘縮短至10秒內,大幅提升訓練過程中數據加載速度;RDMA/RoCE網絡連接技術和數控分離架構的設計,實現東西向數據免轉發,極限發揮大模型訓練中硬件網絡帶寬性能;基于盤控協同架構,網絡數據直通NVMe SSD,進一步提升單盤帶寬;在數據歸檔與管理階段,AS13000G7-N提供了多元異構存儲的統一納管能力,保障數據資產高效存儲與管理,大幅提升存儲資源的利用率且最大化數據基礎設施投資回報比。

wKgaomY93LqAciFxAABkxcvLaR8461.jpg


DataTurbo數據加速引擎,全力保障大模型高效訓練

在大模型的數據應用全流程中,要想使訓練效率達到極致,減少不必要的資源浪費,訓練階段的數據讀寫性能成為重中之重。而想要提升算力利用率、降低模型訓練成本,必須要在數據存儲性能上進行創新。

AS13000G7-N系列具備強大的端到端性能優化能力,這也是模型訓練階段最為核心的考量因素。浪潮信息基于計算和存儲協同的理念,依托自研分布式文件系統構建了新一代數據加速引擎DataTurbo,在緩存優化、空間均衡、縮短GPU與存儲讀取路徑等方面進行了全面升級。"

智能緩存優化,保障大模型訓練速度與質量

AS13000G7-N能夠通過對大小IO的智能識別,進行分類治理,小文件采取聚合的操作,大文件采取切片的操作,所有數據以大小均衡的模式保存到全局緩存中,實現小文件性能提升5倍,大文件性能提升10倍。在模型訓練中斷后,從Checkpoint恢復數據過程中,AS13000G7-N通過緩存預讀技術,提前識別數據的冷熱程度,加速了重復樣本數據的讀取,訓練加載速度提升10倍。無論是讀操作還是寫操作,AS13000G7-N采取了字節級(Byte)分布式鎖機制,粒度是主流并行文件系統鎖機制粒度的幾十分之一,確保多個節點訪問共享資源時能夠安全、有序地進行操作,從而保持訓練數據的強一致性和訓練質量。

智能空間均衡,高水位下性能無衰減

AS13000G7-N搭載了浪潮信息自主研發的分布式并行客戶端技術,相比通用私有客戶端,卸載了獨立的元數據,實現了元數據和數據節點的高效統一部署,有效提升存儲的并發能力,充分利用訓練節點網卡的帶寬,讓GPU算力得到完全釋放。同時在存儲端,相較于業界主流的文件系統需要在磁盤之上構筑一層文件協議,AS13000G7-N能夠直接對裸盤的空間進行均衡排布,并在管理層面設計了智能空間預分技術,能夠結合用戶前端算力節點數量、訓練模型的數量,對存儲空間分配進一步進行智能策略預埋。這套組合拳能夠使AS13000G7-N在空間利用率達到95%高水位時,依然可以平穩輸出強大的性能。在模型訓練的空間損耗上,AS13000G7-N相較傳統方案,將損耗率降低了85%左右,充分保護了客戶在大模型存儲上的投資。

GPU直通存儲,服務萬億參數大模型

當大模型參數在百億級別,GPU對存儲資源的調用效率往往差別不大。但隨著大模型從單模態走向多模態,數據量指數型增長,訓練效率隨之要求更高。從數據層面來看,AS13000G7-N具備和GPU直通的能力,數據流不經過客戶端緩存,直接到達存儲底層文件系統,縮短GPU與存儲的讀取路徑,這項技術能夠使存儲讀寫帶寬翻倍,大模型訓練加載時間縮短50%。隨著萬卡萬億參數模型時代的到來,GPU直通存儲高效提升數據讀寫訪問的能力將是大模型訓練的標配。

通過上述技術創新,分布式全閃存儲AS13000G7-N憑借領先的性能和管理優勢,能夠幫助用戶加速大模型的數據歸集、提升模型訓練效率、簡化海量異構數據的管理,從而推動業務智能化變革。浪潮信息將借助AS13000G7-N等存儲產品,與合作伙伴加快在場景化方案定制、市場拓展等方面的創新,助力用戶構筑人工智能時代最佳數據存儲底座。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4507

    瀏覽量

    87088
  • 分布式
    +關注

    關注

    1

    文章

    980

    瀏覽量

    75181
  • 算力
    +關注

    關注

    2

    文章

    1148

    瀏覽量

    15462
  • 大模型
    +關注

    關注

    2

    文章

    3033

    瀏覽量

    3835
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    曙光存儲領跑中國分布式存儲市場

    近日,賽迪顧問發布《中國分布式存儲市場研究報告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式
    的頭像 發表于 05-19 16:50 ?344次閱讀

    浪潮信息存儲SATA SSD:技術創新引領數據存儲新時代

    在智慧時代,數據存儲需求日益增長,對存儲產品的性能和穩定性提出了更高要求。浪潮信息存儲,作為行業內的佼佼者,積極響應市場需求,通過自主研發,不斷積累技術優勢,致力于
    的頭像 發表于 02-07 13:41 ?546次閱讀

    浪潮信息存儲SATA SSD:以技術創新,開啟數據存儲新篇章

    計算平臺以及個人用戶的數字化需求,迫切需要高效、可靠的存儲解決方案。 浪潮信息存儲積極響應市場需求,通過自主研發不斷積累技術優勢,推出了SATA、NVMe、雙端口、ZNS等全系列
    的頭像 發表于 01-24 10:02 ?395次閱讀

    浪潮信息與智源研究院攜手共建大模型多元算力生態

    近日,浪潮信息與北京智源人工智能研究院正式簽署戰略合作協議,雙方將緊密合作,共同構建大模型多元算力開源創新生態。 此次合作旨在提升大模型創新研發的算力效率,降低大模型應用開發的算力門檻
    的頭像 發表于 12-31 11:49 ?542次閱讀

    浪潮信息分布式存儲平臺AS13000G7的優越性能

    近年來,人工智能相關技術在社會發展中扮演著日漸重要的角色。特別是在廣告、影視等多個行業,AIGC將內容生產效率提升數倍甚至數十倍,降低人力成本50%以上,是推動企業數字化轉型的關鍵動力。然而,在AI技術快速發展和相關應用迅速增長的同時,其背后的數據基礎設施也面臨嚴峻的考驗。
    的頭像 發表于 11-12 11:42 ?804次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>平臺AS<b class='flag-5'>13000G7</b>的優越性能

    浪潮信息AI存儲性能測試的領先之道

    AI技術的無限可能。近日,在MLCommons的子項目MLPerf Storage v1.0性能基準評測中,浪潮信息再度展現了在AI存儲領域的卓越實力。
    的頭像 發表于 10-29 16:30 ?579次閱讀
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存儲</b>性能測試的領先之道

    浪潮信息源2.0大模型與百度PaddleNLP全面適配

    近日,浪潮信息宣布其開源大模型源2.0已全面適配百度PaddleNLP。這一舉措標志著大模型開發生態正加速進化,用戶提供了更加便捷、高效的大模型
    的頭像 發表于 10-17 18:15 ?897次閱讀

    浪潮信息AS13000G7榮獲MLPerf? AI存儲基準測試五項性能全球第一

    北京2024年9月27日?/美通社/ -- 9月25日,MLCommons協會發布最新MLPerf? Storage v1.0 AI存儲基準測試成績。浪潮信息分布式
    的頭像 發表于 09-28 16:46 ?374次閱讀
    <b class='flag-5'>浪潮信息</b>AS<b class='flag-5'>13000G7</b>榮獲MLPerf? AI<b class='flag-5'>存儲</b>基準測試五項性能全球第一

    浪潮信息:元腦企智EPAI助力金融大模型快速落地

    近日,2024金融科技應用創新發展大會暨農村金融機構信息化發展創新座談會在上海舉辦。浪潮信息推出元腦企智EPAI企業大模型開發平臺,面向金融業務場景,實現7天完成POC驗證、2個月上線
    的頭像 發表于 09-20 16:07 ?643次閱讀
    <b class='flag-5'>浪潮信息</b>:元腦企智EPAI助力金融大<b class='flag-5'>模型</b>快速落地

    長擎安全操作系統24與浪潮信息HF/AS存儲系列成功兼容

    在數字化轉型浪潮席卷全球的今天,信息安全與數據存儲的穩定高效成為企業不可忽視的兩大核心要素。近日,一項重要的技術兼容性測試認證結果揭曉,標志著長擎安全操作系統24與浪潮信息集中式
    的頭像 發表于 07-22 16:20 ?1003次閱讀

    澎湃認證:浪潮信息集中式存儲攜手長擎安全操作系統24完成兼容性認證

    北京2024年7月19日?/美通社/ -- 近日,長擎安全操作系統24與浪潮信息集中式存儲HF/AS系列產品完成并通過浪潮信息澎湃技術相互兼
    的頭像 發表于 07-19 13:53 ?471次閱讀
    澎湃認證:<b class='flag-5'>浪潮信息</b>集中式<b class='flag-5'>存儲</b>攜手長擎安全操作系統24完成兼容性認證

    浪潮信息發布AIStation V5,全面支持大模型開發流程與高效算力調度

    北京2024年7月11日?/美通社/ -- 7月9日,在"元腦中國行"全國巡展濟南站上,浪潮信息發布AIStation 人工智能開發平臺V5升級版,具備全面的大
    的頭像 發表于 07-12 09:37 ?611次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b>AIStation V5,全面支持大<b class='flag-5'>模型</b>開發流程與高效算力調度

    浪潮信息推出AIGC存儲解決方案

    隆重推出了基于其新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案,這一創新成果無疑為當前大模型應用面臨的
    的頭像 發表于 07-03 11:16 ?1074次閱讀

    浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

    、新一代分布式存儲AS13000G7自身產品優勢,新方案從容應對大模型應用對存儲性能、容量以及數據管理等方面的苛刻要求。同時,
    的頭像 發表于 07-01 19:00 ?1956次閱讀
    <b class='flag-5'>浪潮信息</b>推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>平臺AS<b class='flag-5'>13000G7</b>的AIGC<b class='flag-5'>存儲</b>解決方案

    浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配

    近日,浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配,實現每瓦性能提升2.3倍,以更高的效率、更優的成本滿足海量多態數據的存儲
    的頭像 發表于 06-19 10:05 ?1253次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>AS<b class='flag-5'>13000</b>完成英特爾至強6能效核處理器適配