科技云報到原創(chuàng)。
當算力芯片的摩爾定律逐漸逼近物理極限,存力開始從幕后走向臺前,成為AI領(lǐng)域下一個關(guān)鍵賽點。
長期以來,伴隨企業(yè)數(shù)字化轉(zhuǎn)型所建設(shè)的“煙囪式”AI基礎(chǔ)設(shè)施各自為戰(zhàn),數(shù)據(jù)奔流,價值卻困于“堰塞湖”。隨著大模型參數(shù)量突破萬億級、訓練數(shù)據(jù)邁向EB級,傳統(tǒng)存儲架構(gòu)短板日益凸顯。正如石油需要煉油廠,AI時代的數(shù)據(jù)亦需專屬的“存儲引擎”。
中國信通院《新型人工智能存儲研究報告(2025年)》指出,AI存儲是大模型的關(guān)鍵支撐,直接影響數(shù)據(jù)處理效率、成本與安全。存力中心作為新型的數(shù)據(jù)基礎(chǔ)設(shè)施,正成為AI時代數(shù)據(jù)流通和融合應(yīng)用的破題關(guān)鍵。
AI時代的“數(shù)據(jù)決定論”
AI技術(shù)的發(fā)展離不開三大要素:數(shù)據(jù)、算法和算力。從ImageNet的1400萬張圖像到GPT-4的45TB文本數(shù)據(jù),海量的多模態(tài)數(shù)據(jù)為AI模型提供了豐富的訓練素材。
根據(jù)《數(shù)據(jù)存儲2030白皮書》預(yù)測,到2030年,全球每年新產(chǎn)生的數(shù)據(jù)總量將超過1YB,增長速率遠超存儲容量增速。
然而,中國僅有3%左右的數(shù)據(jù)被有效保存,數(shù)據(jù)存留率只有美國等發(fā)達國家的三分之一。海量數(shù)據(jù)如指間流沙般“產(chǎn)而未采、采而未存”,其中蘊含的巨大價值最終消散于無形。作為AI時代的“燃料”,數(shù)據(jù)若存不下、用不好,再強的算力也如同無米之炊。
正如華為公司副總裁周躍峰所言,我國邁向數(shù)據(jù)強國的進程中,其關(guān)鍵已超越數(shù)據(jù)規(guī)模的單純積累,轉(zhuǎn)向?qū)?shù)據(jù)質(zhì)量的深度聚焦。如何打造高質(zhì)量數(shù)據(jù)資產(chǎn)供給能力,如何讓數(shù)據(jù)要素高效按需流通,這將直接決定國家和企業(yè)在數(shù)字經(jīng)濟浪潮中的核心競爭力。
AI時代存儲市場的三座大山
隨著AI技術(shù)持續(xù)突破,構(gòu)筑更高效、更可靠的AI存力底座成為大勢所趨。當前,存儲市場正在經(jīng)歷三個全新變化,主要聚焦在效率和成本方面。
第一,AI大模型向多模態(tài)演進,訓練數(shù)據(jù)包括互聯(lián)網(wǎng)爬蟲、AI語料庫和大數(shù)據(jù)平臺等多種來源,數(shù)據(jù)類型和格式也各不相同。在數(shù)據(jù)歸集過程中,存儲系統(tǒng)需要提供多協(xié)議支持和免數(shù)據(jù)拷貝功能,以確保高效的數(shù)據(jù)處理和利用。
第二,在數(shù)據(jù)歸集和預(yù)處理階段,通常涉及大量小文件讀取,因此要確保數(shù)據(jù)能迅速讀取。在訓練時,為防止任務(wù)異常中斷后從初始狀態(tài)重新開始,保存訓練過程中的檢查文件尤為重要。
第三,長序列推理時,計算復雜度隨序列長度而增長,內(nèi)存占用與算力消耗激增,推理速度與成本間形成“效率低、成本高”的剪刀差,如何降低大模型推理成本、提升推理效率,將影響大模型的行業(yè)應(yīng)用進程。
想要引發(fā)千行萬業(yè)的AI變革浪潮,需要有與之相配套的存力基礎(chǔ)設(shè)施支持。為此,存力無論從供給水平還是技術(shù)創(chuàng)新能力方面,都要有所創(chuàng)新和突破。
新型AI存儲成為行業(yè)應(yīng)用落地新引擎
在AI時代,存力戰(zhàn)略價值已不容有失。存儲技術(shù)的持續(xù)創(chuàng)新將加速行業(yè)變革,成為千行萬業(yè)AI落地的戰(zhàn)略新引擎。
AI時代需要與之匹配的新型AI存儲。對于何為新型AI存儲,《新型人工智能存儲研究報告(2025年)》中提到,新型AI存儲具備極致性能、數(shù)據(jù)安全、大模型數(shù)據(jù)范式、高擴展性、數(shù)據(jù)編織和綠色節(jié)能六個關(guān)鍵特征,是AI基礎(chǔ)架構(gòu)不可或缺的組成部分,從數(shù)據(jù)歸集、訓練與推理三方面,推動AI應(yīng)用落地:
對于數(shù)據(jù)歸集,數(shù)據(jù)編織技術(shù)整合多源業(yè)務(wù)信息,支持用戶隨時隨地通過任意終端訪問所需數(shù)據(jù)。通過兼容多種存儲協(xié)議,在提升數(shù)據(jù)跨域調(diào)度效率的同時,大幅降低數(shù)據(jù)治理成本。
在訓練方面,高性能并行文件系統(tǒng)可以提升大模型訓練效率,超大帶寬和容量支持超萬卡集群無瓶頸擴展,EB級擴展能力適應(yīng)海量數(shù)據(jù),加速卡直通技術(shù)使數(shù)據(jù)從存儲到算力“一跳直達”。
在推理方面,通過KV Cache多級緩存機制,讓大模型推理具備長記憶能力,能記住對話歷史和工作上下文,避免用戶反復解釋和模型重復計算,在提升大模型應(yīng)用體驗的同時,降低大模型推理成本。
新型AI存儲助力金融、制造等領(lǐng)域加速數(shù)智化轉(zhuǎn)型。以醫(yī)療為例,某醫(yī)院選擇新型AI存儲提升病理大模型的推理速度。在診斷胃癌過程中,能夠幫助醫(yī)生快速對比癌變區(qū)域與正常黏膜的特征差異,精準評估病灶風險,有效緩解醫(yī)生因人工對比帶來的工作負擔。
構(gòu)建AI時代新型“數(shù)據(jù)糧倉”
與算力聚焦在“算”不同,數(shù)據(jù)存力聚焦在“數(shù)”和“存”,是數(shù)據(jù)生產(chǎn)要素處理的綜合能力體現(xiàn),肩負著為數(shù)字經(jīng)濟各種場景提供源源不斷的“生產(chǎn)資料”的使命。
存力中心圍繞數(shù)據(jù)匯聚、存儲、治理、開發(fā)、利用、供給等數(shù)據(jù)全生命周期流程,完成從數(shù)據(jù)資源到智能價值的高效轉(zhuǎn)化,其不僅承載著大規(guī)模數(shù)據(jù)的存儲需求,也對高效數(shù)據(jù)處理、分析、挖掘等技術(shù)領(lǐng)域起到支撐作用,推動從分散的小規(guī)模數(shù)據(jù)向規(guī)模化、融合化的數(shù)據(jù)發(fā)展,成為AI時代的“數(shù)據(jù)糧倉”。
周躍峰曾表示,AI時代首先要做到數(shù)據(jù)Ready。近兩年,從國家到地方、從行業(yè)到企業(yè),正在加快存力中心的建設(shè)步伐。華為扎實做好數(shù)據(jù)工程研究和技術(shù)創(chuàng)新,和各行業(yè)伙伴緊密合作,推動我國存力中心集約化建設(shè),為AI落地提供助力。
比如華為參與建設(shè)的貴州主樞紐存力中心暨數(shù)據(jù)要素保障基地,具有50PB的存力規(guī)模,實現(xiàn)了數(shù)據(jù)智能分級、可信數(shù)據(jù)空間的構(gòu)建以及數(shù)據(jù)跨域編織,以提高數(shù)據(jù)的安全性和可用性,以數(shù)據(jù)賦能帶動了本地產(chǎn)業(yè)發(fā)展。
AI大模型正倒逼存儲技術(shù)創(chuàng)新。將目光投向更長遠,新型AI存儲很可能是撬動人工智能時代杠桿的另一個支點,“以存強算”“以數(shù)助算”亦是彎道超車的重要落點。當AI產(chǎn)業(yè)具備扎實的存力底座,才能登高遠眺,看見AI時代最美的風景。
【關(guān)于科技云報到】
企業(yè)級IT領(lǐng)域Top10新媒體。聚焦云計算、人工智能、大模型、網(wǎng)絡(luò)安全、大數(shù)據(jù)、區(qū)塊鏈等企業(yè)級科技領(lǐng)域。原創(chuàng)文章和視頻獲工信部權(quán)威認可,是世界人工智能大會、數(shù)博會、國家網(wǎng)安周、可信云大會與全球云計算等大型活動的官方指定傳播媒體之一。
審核編輯 黃宇
-
AI
+關(guān)注
關(guān)注
88文章
34520瀏覽量
276038 -
人工智能
+關(guān)注
關(guān)注
1804文章
48820瀏覽量
247276 -
算力
+關(guān)注
關(guān)注
2文章
1164瀏覽量
15496
發(fā)布評論請先 登錄
存力接棒算力,慧榮科技以主控技術(shù)突破AI存儲極限

【一文看懂】什么是端側(cè)算力?

autodl算力云在.pt轉(zhuǎn)換onnx文件時正常,但onnx轉(zhuǎn).kmodel文件時報錯,為什么?

算智算中心的算力如何衡量?

科技云報到:要算力更要“算利”,“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局?
科技云報到:洞見2025年科技潮流,技術(shù)大融合開啟“智算時代”
算力基礎(chǔ)篇:從零開始了解算力

知存科技榮獲2024中國AI算力層創(chuàng)新企業(yè)
本源量子等向北京“金融量子云實驗平臺”提供自主量子算力

存力與算力并重:數(shù)據(jù)時代的雙刃劍
九章云極DataCanvas公司「算力包」產(chǎn)品璀璨亮相2024中國算力大會!

評論