女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

生成式AI就緒 英特爾發(fā)布第五代至強可擴展處理器

科技訊息 ? 來源:科技訊息 ? 作者:科技訊息 ? 2023-12-25 10:44 ? 次閱讀

(導語)實用化 AI 算力又升上了一個新臺階。

隨著AI大模型加速迭代,智能算力已成為稀缺資源。算力是AI發(fā)展的底層土壤,大語言模型的訓練和推理都需要消耗大量的計算資源。傳統(tǒng)的通用算力往往難以滿足大模型對算力的高需求,因此,強大可靠的AI算力底座顯得尤為重要。

一些讓人始料未及的趨勢在人工智能的應用領域出現(xiàn)了:很多傳統(tǒng)企業(yè)開始選擇在CPU平臺上落地和優(yōu)化AI應用。

例如制造領域在高度精細且較為耗時的瑕疵檢測環(huán)節(jié),就導入了CPU及其他產品組合,來構建橫跨“云-邊-端”的AI?缺陷檢測方案,代替?zhèn)鹘y(tǒng)的人工瑕疵檢測方式。

再比如亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺,實現(xiàn)了從FP32到INT8/BF16的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來的1/5到1/9,效率還提升了約5-10倍。

在處理AI制藥領域最重要的算法——AlphaFold2這類大型模型上,CPU同樣也“加入群聊”。從去年開始,CPU便使AlphaFold2端到端的通量提升到了原來的23.11倍;而現(xiàn)如今,CPU讓這個數(shù)值再次提升3.02倍。

上述這些CPU,都有個共同的名字——至強,即英特爾?? 至強?? 可擴展處理器

為什么這些AI任務的推理能用CPU,而不是只考慮由GPU或AI加速器來處理?

這里歷來存在很多爭論。

很多人認為,真正落地的AI應用往往與企業(yè)的核心業(yè)務緊密關聯(lián),在要求推理性能的同時,也需要關聯(lián)到它的核心數(shù)據,因此對數(shù)據安全和隱私的要求也很高,因此也更偏向本地化部署。

而結合這個需求,再考慮到真正用AI的傳統(tǒng)行業(yè)更熟悉、更了解也更容易獲取和使用CPU,那么使用服務器CPU混合精度實現(xiàn)的推理吞吐量,就是他們能夠更快和以更低成本解決自身需求的方法了。

面對越來越多傳統(tǒng)AI應用和大模型在CPU上的落地優(yōu)化,“用CPU加速AI”這條道路被不斷驗證。這就是在數(shù)據中心中,有70%的推理運行在英特爾? 至強? 可擴展處理器上的原因。

最近,英特爾的服務器CPU完成了又一次進化。12月15日,第五代英特爾? 至強? 可擴展處理器正式發(fā)布。英特爾表示,一款為AI加速而生,而且表現(xiàn)更強的處理器誕生了。

wKgZomWI7J2AG1KjAAIVEHBCWAA58.jpeg

人工智能正在推動人類與技術交互方式的根本性轉變,這場轉變的中心就是算力。

英特爾CEO帕特·基辛格(Pat Gelsinger)在2023英特爾ON技術創(chuàng)新大會表示:“在這個人工智能技術與產業(yè)數(shù)字化轉型飛速發(fā)展的時代,英特爾保持高度的責任心,助力開發(fā)者,讓AI技術無處不在,讓AI更易觸達、更可見、透明并且值得信任。”

第五代至強 為AI加速

第五代英特爾? 至強? 可擴展處理器的核心數(shù)量增加至64個,配備了高達320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數(shù)量,它相比以往的至強都有了明顯提升。在最終性能指標上,與上代產品相比,在相同功耗下平均性能提升21%,內存帶寬提升高達16%,三級緩存容量提升到了原來的近3倍。

wKgaomWI7J-ACGqvAAN2eAA4di053.jpeg

更為重要的是,第五代至強? 可擴展處理器的每個內核均具備AI加速功能,完全有能力處理要求嚴苛的AI工作負載。與上代相比,其訓練性能提升多達29%,推理能力提升高達42%。

在重要的AI負載處理能力上,第五代英特爾? 至強? 可擴展處理器也交出了令人滿意的答卷。

首先要讓CPU學會高效處理AI負載的方法:在第四代至強? 可擴展處理器上,英特爾面向深度學習任務帶來了矩陣化的算力支持。

英特爾?? AMX就是至強CPU上的專用矩陣計算單元,可被視為CPU上的Tensor Core,從第四代至強? 可擴展處理器開始成為內置于CPU的AI加速引擎。

第五代至強?? 可擴展處理器利用英特爾?? AMX與英特爾?? AVX-512指令集,配合更快的內核,以及速度更快的內存,可以讓生成式AI更快地在其上運行,無需獨立的AI加速器就能執(zhí)行更多工作負載。

借助在自然語言處理 (NLP) 推理方面實現(xiàn)的性能飛躍,這款全新的至強? 可支持響應更迅速的智能助手、聊天機器人、預測性文本、語言翻譯等工作負載,可以在運行參數(shù)量200億的大語言模型時,做到時延不超過100毫秒。

據了解,11.11期間,京東云便通過基于第五代英特爾? 至強? 可擴展處理器的新一代服務器,成功應對了業(yè)務量激增。與上一代服務器相比,新一代京東云服務器實現(xiàn)了23%的整機性能提升,AI計算機視覺推理性能提升了38%,Llama v2推理性能也提高了51%,輕松hold住用戶訪問峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。

wKgZomWI7KCAOjGWAADZysZJhkA43.jpeg

除此之外,第五代英特爾? 至強? 可擴展處理器也在能效、運營效率、安全及質量等方面實現(xiàn)了全面提升,提供了向前代產品的軟件和引腳兼容性支持,以及硬件級安全功能和可信服務。

國內云服務大廠阿里云也在發(fā)布會上披露了其實測體驗數(shù)據,基于第五代英特爾? 至強? 可擴展處理器及英特爾? AMX、英特爾? TDX加速引擎,阿里云打造了 “生成式AI模型及數(shù)據保護”的創(chuàng)新實踐,使第八代ECS實例在實現(xiàn)了全場景加速和全能力提升情況下,更加固了安全性能,且保持實例價格不變,普惠客戶。

數(shù)據顯示,其在數(shù)據全流程保護的基礎上,AI推理性能提高25%、QAT加解密性能提升20%、數(shù)據庫性能提升25%,以及音視頻性能提升15%。

wKgaomWI7KCAeexuAAEAIX7L96c81.jpeg

英特爾表示,第五代至強? 可擴展處理器可為AI、數(shù)據庫、網絡和科學計算工作負載帶來更強大的性能和更低的TCO,將目標工作負載的每瓦性能提升高達10倍。

對先進AI模型實現(xiàn)原生加速

為讓CPU能夠高效處理AI任務,英特爾把AI加速的能力提升到了「開箱即用」的程度。

英特爾?? AMX除了可以加速深度學習的推理、訓練以外,現(xiàn)在已經支持了流行的深度學習框架。在深度學習開發(fā)者常用的TensorFlow、PyTorch上,英特爾? oneAPI深度神經網絡庫 (oneDNN) 提供了指令集層面的支持,使開發(fā)人員能夠在不同硬件架構和供應商之間自由遷移代碼,可以更輕松地利用芯片內置的AI加速能力。

在保證了AI加速直接可用之后,英特爾利用高性能開源深度學習框架OpenVINO? 工具套件,幫助開發(fā)者實現(xiàn)了一次開發(fā)、多平臺部署。它可以轉換和優(yōu)化使用熱門框架訓練好的模型,在多種英特爾硬件的環(huán)境中快速實現(xiàn),幫用戶最大程度地利用已有資源。

OpenVINO? 工具套件最新的版本也加入了對大型語言模型 (LLM) 性能的改進,可以支持生成式AI工作負載,包括聊天機器人、智能助手、代碼生成模型等。

wKgZomWI7KGAdUcAAALc72OFKlk172.png

OpenVINO? 工具套件2

通過這一系列技術,英特爾讓開發(fā)者們能夠在幾分鐘內調優(yōu)深度學習模型,或完成對中小型深度學習模型的訓練,在不增加硬件和系統(tǒng)復雜性的前提下獲得媲美獨立AI加速器的性能。

比如在先進的預訓練大語言模型上,英特爾的技術就可以幫助用戶完成快速部署。

用戶可以從最熱門的機器學習代碼庫Hugging Face中下載預訓練模型LLaMA2,然后使用英特爾?? PyTorch、英特爾?? Neural Compressor等將模型轉換為BF16或INT8精度版本以降低延遲,再使用PyTorch進行部署。

英特爾表示,為了能夠緊跟AI領域的潮流,有數(shù)百名軟件開發(fā)人員正在不斷改進常用的模型加速能力,讓用戶能夠在跟上最新軟件版本的同時,獲得對于先進AI模型的支持。

第五代至強? 可擴展處理器的實力,目前已在部分大廠進行了驗證。火山引擎與英特爾合作升級了第三代彈性計算實例。

目前,火山引擎已通過獨有的潮汐資源并池能力,構建百萬核彈性資源池,能夠以近似包月的成本提供按量使用體驗,降低上云成本。基于第五代英特爾? 至強? 可擴展處理器,火山引擎第三代彈性計算實例整機算力再次提升了39%,應用性能最高提升了43%。

wKgaomWI7KGASmmTAAE_94O5CLA75.jpeg

這只是個開始。可以預見,很快會有更多科技公司的應用能夠從第五代至強?? 可擴展處理器的性能中獲益。

下一代至強已經現(xiàn)身

未來,人們對于生成式AI的需求還將不斷擴大,更多的智能化應用將會改變我們的生活。以計算能力為基礎,萬物感知、萬物互聯(lián)、萬物智能的時代正在加速到來。

面對這樣的趨勢,英特爾正在加緊打造再下一代的至強CPU,它們面向AI的「專業(yè)化」程度還會更高。

在最近披露的英特爾數(shù)據中心路線圖上,下一代至強? 處理器將對不同工作負載、場景配備不同的核心,其中主打計算密集型與AI任務的型號會使用側重性能輸出的核「P-core」,面向高密度與橫向擴展負載的型號則會使用有更高能效的核「E-core」,這兩種不同的核心架構并存的設計,既滿足部分用戶對極致性能的追求,也能兼顧到可持續(xù)發(fā)展綠色節(jié)能的需求。

未來,英特爾還將如何實現(xiàn)晶體管和芯片性能的飛躍,在AI算力上還能有什么樣的躍升?

讓我們拭目以待。

審核編輯 黃宇


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19795

    瀏覽量

    233414
  • 英特爾
    +關注

    關注

    61

    文章

    10163

    瀏覽量

    173852
  • AI
    AI
    +關注

    關注

    87

    文章

    34090

    瀏覽量

    275197
  • 生成式AI
    +關注

    關注

    0

    文章

    524

    瀏覽量

    701
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    1.9倍性能提升!英特爾至強6在MLPerf基準測試中表現(xiàn)卓越

    第五代至強處理器相比,英特爾至強6性能核的性能平均提高了1.9倍。 今日,MLCommons公布了最新的MLPerf推理v5.0基準測試結
    的頭像 發(fā)表于 04-07 10:58 ?181次閱讀

    英特爾至強6處理器助力數(shù)據中心整合升級

    繼去年9月重磅推出英特爾 至強 6900性能核處理器后,英特爾進一步擴充至強6產品家族,于近期發(fā)布
    的頭像 發(fā)表于 03-13 17:36 ?750次閱讀

    英特爾展示基于至強6處理器的基礎網絡設施

    ; 與5G核心網解決方案合作伙伴的深度合作,加快了英特爾至強6能效核處理器在整個生態(tài)系統(tǒng)中的應用; 基于5G核心網工作負載的獨立驗證確認了英特爾至強
    的頭像 發(fā)表于 03-08 09:24 ?423次閱讀

    聯(lián)想發(fā)布基于第五代AMD EPYC處理器的服務產品

    近日,聯(lián)想攜手AMD共同舉辦“異構智算,穩(wěn)定高效——聯(lián)想算力基礎設施新品發(fā)布會”。本次發(fā)布會上,聯(lián)想重磅發(fā)布8款基于第五代AMD EPYC處理器
    的頭像 發(fā)表于 12-16 16:23 ?754次閱讀

    面向科學計算,第五代英特爾至強擴展處理器優(yōu)勢何在

    與上一產品相比:第五代英特爾?至強?處理器的平均科學計算性能提升高達1.22倍,可以幫助企業(yè)顯著提升基礎設施的價值1;平均每瓦性能提升高達
    的頭像 發(fā)表于 12-07 10:56 ?1137次閱讀

    英特爾發(fā)布全新企業(yè)AI一體化方案

    近日,英特爾正式推出了全新的企業(yè)AI一體化方案。該方案以英特爾至強處理器英特爾Gaudi 2D
    的頭像 發(fā)表于 12-03 11:20 ?510次閱讀

    英特爾至強品牌新戰(zhàn)略發(fā)布

    品牌是企業(yè)使命和發(fā)展的象征,也承載著產品特質和市場認可。在英特爾GTC科技體驗中心的英特爾 至強 6 能效核處理器發(fā)布會上,
    的頭像 發(fā)表于 10-12 10:13 ?754次閱讀

    英特爾發(fā)布至強6性能核處理器

    近日,英特爾正式推出了其全新的英特爾? 至強? 6性能核處理器(代號Granite Rapids),旨在為AI、數(shù)據分析、科學計算等計算密集
    的頭像 發(fā)表于 09-30 16:22 ?638次閱讀

    英特爾?至強?擴展處理器助力智慧醫(yī)療的數(shù)字化轉型

    在現(xiàn)代醫(yī)療行業(yè),人工智能(AI)、物聯(lián)網(IoT)和5G網絡等前沿技術正在重新定義醫(yī)療服務的提供方式。英特爾?至強?擴展
    發(fā)表于 09-29 11:13 ?6281次閱讀
    <b class='flag-5'>英特爾</b>?<b class='flag-5'>至強</b>?<b class='flag-5'>可</b><b class='flag-5'>擴展</b><b class='flag-5'>處理器</b>助力智慧醫(yī)療的數(shù)字化轉型

    128核性能猛獸,劍指云數(shù)據中心算力升級!英特爾發(fā)布至強6性能核處理器

    9月26日,在全國五十多家媒體和多家合作伙伴的見證下,英特爾發(fā)布英特爾至強6性能核處理器(代號Granite Rapids),這是繼今年6
    的頭像 發(fā)表于 09-29 07:53 ?7210次閱讀
    128核性能猛獸,劍指云數(shù)據中心算力升級!<b class='flag-5'>英特爾</b><b class='flag-5'>發(fā)布</b><b class='flag-5'>至強</b>6性能核<b class='flag-5'>處理器</b>

    英特爾發(fā)布至強6處理器產品

    以“綠色向新,釋放新質生產力”為主題的英特爾至強6能效核處理器新品發(fā)布會在北京舉行。會上,英特爾重磅推出首款配備能效核的
    的頭像 發(fā)表于 09-23 15:48 ?598次閱讀

    Snap發(fā)布第五代Spectacles AR眼鏡

    9月19日最新資訊,科技巨頭Snap近日隆重推出了其第五代Spectacles AR眼鏡,這款前沿產品不僅標志著Snap在增強現(xiàn)實(AR)領域的又一重大突破,也預示著智能穿戴設備與AI技術的深度融合將開啟全新篇章。
    的頭像 發(fā)表于 09-19 15:14 ?1290次閱讀

    第五代AMD EPYC處理器預計下半年發(fā)布

    近日,在Computex 2024上,AMD董事會主席及首席執(zhí)行官Lisa Su博士向大家預覽了具有超強性能的下一 EPYC 處理器——第五代 AMD EPYC 處理器(代號“Tur
    的頭像 發(fā)表于 09-18 11:06 ?900次閱讀

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    。 中國電子技術標準化研究院賽西實驗室依據國家標準《人工智能服務系統(tǒng)性能測試規(guī)范》(征求意見稿)相關要求,使用AISBench?2.0測試工具,完成了第五代英特爾至強
    的頭像 發(fā)表于 09-06 15:33 ?677次閱讀
    開箱即用,AISBench測試展示<b class='flag-5'>英特爾</b><b class='flag-5'>至強</b><b class='flag-5'>處理器</b>的卓越推理性能

    【機器視覺】歡創(chuàng)播報 | 比亞迪第五代DM混動技術正式發(fā)布

    1 比亞迪第五代DM混動技術正式發(fā)布 5月28日,比亞迪第五代DM技術發(fā)布暨秦L DM-i、海豹06 DM-i發(fā)布會在西安舉行。
    的頭像 發(fā)表于 05-30 10:53 ?1086次閱讀