女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

美光高管看2024年AI數(shù)據(jù)中心、AI PC的存儲趨勢

花茶晶晶 ? 來源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2024-10-13 15:22 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/黃晶晶)生成式AI帶來的產(chǎn)業(yè)技術(shù)革新不僅在于性能越來越強大的GPU,它同時正在推進存儲產(chǎn)品的變化和技術(shù)的進步。近日,美光副總裁暨客戶端存儲事業(yè)部總經(jīng)理Prasad Alluri在接受包括電子發(fā)燒友網(wǎng)在內(nèi)的少數(shù)媒體采訪時指出,與過往不同,閃存和內(nèi)存曾各自為政,主要致力于提高密度。AI的興起帶來了兩大轉(zhuǎn)變,一是與系統(tǒng)架構(gòu)的協(xié)同優(yōu)化;二是將能效作為關(guān)鍵優(yōu)化參數(shù)。為此,美光科技正積極優(yōu)化存儲產(chǎn)品、賦能AI在數(shù)據(jù)中心、PC、智能手機乃至汽車等各領(lǐng)域的應(yīng)用與發(fā)展。

AI數(shù)據(jù)中心:兩大存儲池的不同存儲策略


Prasad Alluri表示,在探討AI基礎(chǔ)設(shè)施對數(shù)據(jù)中心存儲的具體影響時,我們可以將其視為兩個獨立的存儲池來分析。

首先,存在一個龐大的數(shù)據(jù)池,用于存儲供模型訓(xùn)練所需的數(shù)據(jù)。以GPT-4為例,據(jù)估算,其訓(xùn)練過程消耗了互聯(lián)網(wǎng)上約四分之一的數(shù)據(jù),這足以說明大模型所需數(shù)據(jù)的龐大規(guī)模。為了訓(xùn)練這類模型,必須具備存儲海量數(shù)據(jù)的能力,我們可以形象地稱之為“數(shù)據(jù)湖”,即所有待訓(xùn)練數(shù)據(jù)均匯聚于此。

對于這一存儲場景,最關(guān)鍵的屬性在于能夠高效且經(jīng)濟地傳輸數(shù)據(jù)。將容量與經(jīng)濟性相結(jié)合,意味著需要摒棄主要依賴大容量硬盤驅(qū)動器的傳統(tǒng)架構(gòu),轉(zhuǎn)而采用大容量SSD。此舉不僅能減少物理占用空間,還能降低能耗,從而提升整體能源經(jīng)濟性。在此方面,美光科技推出的6500 ION系列產(chǎn)品正是針對大容量存儲需求而優(yōu)化的理想解決方案。

另一方面是訓(xùn)練過程實際發(fā)生的存儲池,即緊鄰GPU的存儲池。此時,需考慮的是如何將數(shù)據(jù)湖中的數(shù)據(jù)高效送入GPU內(nèi)存以供訓(xùn)練。在此過程中,設(shè)備的讀寫性能至關(guān)重要,尤其是隨機讀取性能。對于這類靠近GPU訓(xùn)練集群的存儲,美光9550 SSD從設(shè)計之初便旨在滿足這些需求。9550 SSD隨機讀取性能領(lǐng)先業(yè)界,速率高達3,300 KIOPS,這正是訓(xùn)練集群所亟需的。

此外,美光9550 SSD提供業(yè)界領(lǐng)先的能效,并在支持各類AI工作負載方面表現(xiàn)出眾,包括使用大規(guī)模存儲加速器(BaM)進行圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練(SSD平均功耗降低高達43%,整體系統(tǒng)能耗減少高達29%)、NVIDIA Magnum IO GPUDirect Storage(每傳輸1TB數(shù)據(jù),SSD能耗降低高達81%)、MLPerf(SSD能耗降低高達35%,系統(tǒng)能耗降低高達13%)以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓(xùn)練進行微調(diào)(SSD能耗降低高達 21%)。

wKgZoWcLddKAHPtSAAOKConnGk0495.png

AI PC的存儲需求,將遠超微軟的“基準要求”


微軟為AI PC產(chǎn)品Copilot+設(shè)定了基準要求,其中NPU的算力起始于40 TOPS,內(nèi)存方面則規(guī)定了至少16GB的容量,以及256GB的存儲空間作為最低配置。不過,Prasad Alluri表示,這些僅是基礎(chǔ)指導(dǎo)線,并未全面界定AI PC的真正內(nèi)涵。

“要深入理解AI PC,我們需將焦點放在用戶體驗上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務(wù)來提升生產(chǎn)力,且這些任務(wù)需在設(shè)備上高效完成。正是這種整體體驗定義了AI PC,而非單純的技術(shù)規(guī)格。為了滿足用戶的這些期望,我們認為所需的內(nèi)存量遠超最低指導(dǎo)線。事實上,當(dāng)前多數(shù)OEM在打造AI PC時,已配備了24GB至32GB的DRAM。”

從存儲角度來看,盡管OEM目前提供的最低容量為512GB,但我們認為對于AI工作負載而言,更理想的容量應(yīng)接近1TB。

不過,這不僅僅關(guān)乎容量大小,功耗效率和性能同樣至關(guān)重要。在存儲領(lǐng)域,目標(biāo)是以最高效的方式將AI模型從存儲加載到內(nèi)存中。為此,需要在不增加功耗的前提下,獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業(yè)界領(lǐng)先的性能。

針對于AI PC,美光科技加速了LPDDR5X在AI PC中的應(yīng)用普及。與同類SODIMM產(chǎn)品相比,LPDDR5X的性能提升了約1.5倍。此外,還專為AI個人電腦設(shè)計了一種新型內(nèi)存模塊——LPCAMM2。與傳統(tǒng)SODIMM產(chǎn)品相比,LPCAMM2不僅性能提升1.5倍,而且功耗降低高達58%,空間節(jié)省達64%。這款新產(chǎn)品于今年早些時候推出,主要圍繞三大目標(biāo)設(shè)計:提升性能、降低功耗以及減小體積。在標(biāo)準PC中,通常需要兩個SODIMM并排放置,占用主板大量空間。而LPCAMM2則將這些功能集成到一個DIMM中,從而顯著提升了電源效率和性能。

在當(dāng)前的PC環(huán)境中,以我們內(nèi)部使用的Microsoft Copilot為例,它高度依賴云計算,將大部分復(fù)雜任務(wù)卸載到云端。然而,未來的AI個人電腦將能夠在本地處理部分工作負載,減少對云端的依賴。這樣,模型復(fù)雜性將降低,AI個人電腦能在保持高性能的同時,實現(xiàn)更高效的能源利用,提高數(shù)據(jù)處理的靈活性和速率。

在PC的本地存儲中完全可以放置多個模型,并根據(jù)用戶查詢的上下文加載這些模型。例如,如果用戶需要語音轉(zhuǎn)文本服務(wù),您可以加載相關(guān)模型;如果用戶需要圖像創(chuàng)建,您可以加載相應(yīng)的模型。在此過程中,關(guān)鍵在于以節(jié)能方式從存儲中加載數(shù)據(jù),因此,SSD的性能至關(guān)重要,它需在最低功耗下實現(xiàn)最高吞吐量,即充分利用PCIe 4.0 的四通道。

為此,美光科技的3500 SSD不僅在最低功耗下提供行業(yè)領(lǐng)先的性能。同時,該SSD中內(nèi)置了啟發(fā)式算法。當(dāng)檢測到AI工作負載時,驅(qū)動器可以主動加載所需的正確模型或數(shù)據(jù)。這些就是為實現(xiàn)高效能和電源效率所做的優(yōu)化。

QLC越發(fā)重要,閃存層數(shù)應(yīng)從縱橫向提升


當(dāng)本網(wǎng)記者問及當(dāng)前QLC對于AI存儲越來越重要,美光的看法與規(guī)劃,以及3D NAND閃存的層數(shù)將如何發(fā)展等問題時,Prasad Alluri也給出了詳細的分析。

Prasad Alluri表示,從NAND技術(shù)的視角來看,最關(guān)鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度(Bit Areal Density),因為這將有助于降低成本。

但是,有多種方法可以實現(xiàn)這一目的。其中一種是對單個物理單元提升容量。這正是四階存儲單元(QLC)技術(shù)大顯身手的地方,而我們在這一領(lǐng)域始終保持領(lǐng)先地位,特別是在PC市場率先推出了這一技術(shù)。目前,美光科技在該領(lǐng)域的市場占有率位居前列。盡管我們尚未宣布針對數(shù)據(jù)中心的具體計劃,但我們?nèi)栽诔掷m(xù)投資QLC技術(shù),并致力于提高容量密度,這是推動技術(shù)進步的重要途徑之一。

另外,在NAND技術(shù)中可以通過堆疊更多層來增加單位面積內(nèi)的容量。美光科技最近推出了第九代(G9)TLC NAND技術(shù)。雖然目前尚不清楚3D NAND的層數(shù)何時會達到極限,但在未來的幾代產(chǎn)品中,美光的閃存層數(shù)將繼續(xù)增加。

wKgaoWcLdeyAPoT_AAH35i87vBg197.png

但他也強調(diào),層數(shù)并非實現(xiàn)比特面密度提升的唯一關(guān)鍵因素,因為橫向擴展同樣至關(guān)重要。除了關(guān)注3D堆疊層的數(shù)量外,還需要考慮單元之間水平位置的接近程度。這種橫向優(yōu)化是美光提高比特面密度的另一個關(guān)鍵領(lǐng)域。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 存儲
    +關(guān)注

    關(guān)注

    13

    文章

    4507

    瀏覽量

    87088
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    5146

    瀏覽量

    73219
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    34294

    瀏覽量

    275479
  • 美光
    +關(guān)注

    關(guān)注

    5

    文章

    723

    瀏覽量

    52173
  • AI PC
    +關(guān)注

    關(guān)注

    0

    文章

    135

    瀏覽量

    411
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    2024存儲行業(yè)十大事件盤點

    電子發(fā)燒友網(wǎng)報道(文/黃晶晶)2024存儲行業(yè)經(jīng)歷了冰火兩重天的一AI數(shù)據(jù)中心帶動HBM內(nèi)
    的頭像 發(fā)表于 01-06 06:51 ?6275次閱讀
    <b class='flag-5'>2024</b><b class='flag-5'>年</b><b class='flag-5'>存儲</b>行業(yè)十大事件盤點

    AI PC存儲:多通道支持PCIe 5.0,PCIe 5.0 SSD越來越能打

    電子發(fā)燒友網(wǎng)報道(文/黃晶晶)調(diào)研機構(gòu)Canalys數(shù)據(jù)顯示,2024全球AI PC出貨量將達到 4800萬臺,占個人電腦(
    的頭像 發(fā)表于 07-06 00:54 ?4987次閱讀

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗】+ 入門篇學(xué)習(xí)

    很高興又有機會學(xué)習(xí)ai技術(shù),這次試讀的是「零基礎(chǔ)開發(fā)AI Agent」,作者葉濤、鍇、張心雨。 大模型的普及是近三來的一件大事,萬物皆可大模型已成為
    發(fā)表于 05-02 09:26

    適用于數(shù)據(jù)中心AI時代的800G網(wǎng)絡(luò)

    數(shù)據(jù)中心依賴數(shù)千甚至上萬個GPU集群進行高性能計算,對帶寬、延遲和數(shù)據(jù)交換效率提出極高要求。 AI云:以生成式AI為核心的云平臺,為多租戶環(huán)境提供推理服務(wù)。這類
    發(fā)表于 03-25 17:35

    DeepSeek推動AI算力需求:800G模塊的關(guān)鍵作用

    類型和功耗選項,是數(shù)據(jù)中心向800G帶寬擴展的理想選擇。 市場前景廣闊: 隨著AI算力需求的不斷增長,尤其是在超大規(guī)模數(shù)據(jù)中心AI集群的建設(shè)中,對
    發(fā)表于 03-25 12:00

    華為全新升級星河AI數(shù)據(jù)中心網(wǎng)絡(luò)

    在華為中國合作伙伴大會2025期間,以 “星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時代新動能”為主題的數(shù)據(jù)中心網(wǎng)絡(luò)分論壇圓滿落幕。本次論壇匯聚了來自全國的300多位客戶和伙伴,共同探討
    的頭像 發(fā)表于 03-24 14:46 ?373次閱讀

    Cadence顛覆AI數(shù)據(jù)中心設(shè)計

    日前舉辦的英偉達 GTC 2025 開發(fā)者大會匯聚了眾多行業(yè)精英,共同探討人工智能的未來。而人工智能正在重塑全球數(shù)據(jù)中心的格局。據(jù)預(yù)測,未來將有 1 萬億美元用于 AI 驅(qū)動的數(shù)據(jù)中心升級。然而
    的頭像 發(fā)表于 03-21 15:43 ?360次閱讀

    Solidigm高密度方案解決數(shù)據(jù)中心存儲難題,賦能AI創(chuàng)新發(fā)展

    QLC在內(nèi)的豐富產(chǎn)品組合,打破從數(shù)據(jù)中心到邊緣應(yīng)用面臨的存儲瓶頸,提升人工智能效率,釋放人工智能潛能。 當(dāng)AI的發(fā)展突破界限,算力與存力的天平被重新校準。在AI 浪潮下,傳統(tǒng)HDD
    的頭像 發(fā)表于 03-13 15:36 ?434次閱讀

    華迅光通AI計算加速800G模塊部署

    400G模塊。更多信息可以在這篇文章中找到:NVIDIA DGX H100簡介。這表明在葉脊架構(gòu)下,數(shù)據(jù)中心對高速模塊的需求呈指數(shù)級增長。隨著數(shù)據(jù)中心規(guī)模的擴大,特別是對
    發(fā)表于 11-13 10:16

    AI PC存儲遠超“基準要求”,兩大策略應(yīng)對數(shù)據(jù)中心存儲池”

    在接受包括電子發(fā)燒友網(wǎng)在內(nèi)的少數(shù)媒體采訪時指出,與過往不同,閃存和內(nèi)存曾各自為政,主要致力于提高密度。AI的興起帶來了兩大轉(zhuǎn)變,一是與系統(tǒng)架構(gòu)的協(xié)同優(yōu)化;二是將能效作為關(guān)鍵優(yōu)化參數(shù)。為此,科技正積極優(yōu)化
    的頭像 發(fā)表于 10-18 09:09 ?3199次閱讀
    <b class='flag-5'>美</b><b class='flag-5'>光</b><b class='flag-5'>高</b><b class='flag-5'>管</b>:<b class='flag-5'>AI</b> <b class='flag-5'>PC</b><b class='flag-5'>存儲</b>遠超“基準要求”,兩大策略應(yīng)對<b class='flag-5'>數(shù)據(jù)中心</b>“<b class='flag-5'>存儲</b>池”

    SK電訊將與Lambda合作打造AI數(shù)據(jù)中心

    韓國領(lǐng)先的電信巨頭SK電訊(SK Telecom)宣布了一項重要合作計劃,將與美國知名的云GPU服務(wù)提供商Lambda攜手,于202412月在首爾共同推出一個先進的人工智能(AI數(shù)據(jù)中心
    的頭像 發(fā)表于 08-23 17:29 ?1541次閱讀

    發(fā)布全新數(shù)據(jù)中心SSD

    近日,全球領(lǐng)先的存儲解決方案提供商科技股份有限公司宣布了一項重大創(chuàng)新成果——9550 NVMe? SSD的正式推出。這款專為
    的頭像 發(fā)表于 07-30 16:41 ?830次閱讀

    推出數(shù)據(jù)中心SSD產(chǎn)品9550 NVMe SSD新品

    科技股份有限公司(納斯達克股票代碼:MU)近日宣布,推出數(shù)據(jù)中心 SSD 產(chǎn)品 9550 NVMe SSD,性能業(yè)界領(lǐng)先,同時具備卓
    的頭像 發(fā)表于 07-29 18:12 ?1454次閱讀

    推出全新數(shù)據(jù)中心 SSD,性能業(yè)界領(lǐng)先

    數(shù)據(jù)中心 SSD 產(chǎn)品 9550 NVMe? SSD,性能業(yè)界領(lǐng)先,同時具備卓越的 AI 工作負載性能及能效。[1]
    發(fā)表于 07-29 15:13 ?1108次閱讀

    AI時代,我們需要怎樣的數(shù)據(jù)中心AI重新定義數(shù)據(jù)中心

    超過60%的中國企業(yè)計劃在未來12至24個月內(nèi)部署生成式人工智能。AI、模型的構(gòu)建,將顛覆數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)、運維和運營。一個全新的數(shù)據(jù)中心智能化時代已經(jīng)拉開序幕。
    發(fā)表于 07-16 11:33 ?1025次閱讀
    <b class='flag-5'>AI</b>時代,我們需要怎樣的<b class='flag-5'>數(shù)據(jù)中心</b>?<b class='flag-5'>AI</b>重新定義<b class='flag-5'>數(shù)據(jù)中心</b>