女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

英特爾? AMX助金山云為用戶提供更高效經濟的AI服務,Stable-Di?usion模型推理性能提升近5倍

英特爾中國 ? 來源:未知 ? 2023-08-04 20:55 ? 次閱讀

人工智能已經成為推動數字化創(chuàng)新的重要動力,伴隨著 AIGC 等應用的快速落地,深度學習模型規(guī)模與復雜度不斷提升,數據量也持續(xù)增長,人工智能算力供給與需求之間的矛盾正在日趨凸顯。用戶希望優(yōu)化硬件、軟件和算法,在保證模型精度和時延等指標的前提下,提升人工智能端到端流程的性能表現,從而充分釋放硬件的潛能,并降低系統(tǒng)總體擁有成本 (TCO),加速人工智能技術的創(chuàng)新。

生成式人工智能(AIGC) 等創(chuàng)新浪潮驅動了人工智能的新一輪增長,模型訓練和模型推理成為云服務器的重要負載。要滿足人工智能領域的市場需求,云服務提供商需要解決以下挑戰(zhàn):如何加速數據清理、模型推理等人工智能端到端工作流程中的多種工作負載,加快平臺的一站式性能。如何高效使用CPU等現有的硬件資源,并且利用客戶公有云、私有云和混合云中的服務器資源,以降低硬件成本。如何增強云服務器的靈活性,使其能夠在復雜場景中敏捷擴展,支撐傳統(tǒng)負載與人工智能等新型工作負載高效運行的需求。

為了幫助用戶加速人工智能端到端流程,特別是提升人工智能推理性能,基于第四代英特爾 至強 可擴展處理器的金山云第七代性能保障型云服務器X7進行了針對性優(yōu)化。服務器采用了處理器內置的英特爾 高級矩陣擴展(英特爾 AMX)加速器,并融合了金山云自主創(chuàng)新的加速技術,能夠有效提高人工智能模型的推理性能,同時發(fā)揮云服務器在敏捷性、擴展性等方面的優(yōu)勢,助力客戶挖掘人工智能時代的價值。

第四代英特爾 至強 及英特爾 AMX使金山云服務器模型推理性能提升3.97倍 - 4.96倍

金山云第七代性能保障型云服務器 X7 搭載英特爾 至強 鉑金 8458P 處理器,網絡帶寬升級至100G,同時支持掛載極速云盤 ESSD ,整體機型在計算、網絡、存儲多維度進行了深度優(yōu)化,可為用戶提供計算速度更快、網絡吞吐更大以及存儲更加高效的云服務。

第四代英特爾 至強 可擴展處理器通過創(chuàng)新架構增加了每個時鐘周期的指令,每個插槽多達 60個核心,支持 8 通道DDR5內存,有效提升了內存帶寬與速度,并通過PCIe 5.0 (80個通道)實現了更高的PCIe帶寬提升。第四代英特爾 至強 可擴展處理器提供了出色性能和安全性,可根據用戶的業(yè)務需求進行擴展。借助內置的加速器,用戶可以在人工智 能、分析、云和微服務、網絡、數據庫、存儲等類型的工作負載中獲得優(yōu)化的性能。通過與強大的生態(tài)系統(tǒng)相結合,第四代英特爾 至強 可擴展處理器能夠幫助用戶構建更加高效、安全的基礎設施。

wKgaomToPQOAVK3pAAKLtfLF2KM098.png

圖:第四代英特爾 至強 可擴展處理器

第四代英特爾至強可擴展處理器在人工智能性能上更進一步,內置了創(chuàng)新的英特爾 AMX 加速引擎。英特爾 AMX 針對廣泛的硬件和軟件優(yōu)化,進一步增強了前代技術——矢量神經網絡指令 (VNNI) 和 BF16,從一維向量發(fā)展為二維矩陣,能夠有效利用計算資源,提高高速緩存利用率,以及避免潛在的帶寬瓶頸,從而可顯著增加人工智能應用程序的每時鐘指令數 (IPC),為人工智能工作負載 中的訓練和推理帶來顯著的性能提升。

在計算方面,通過采用最新的第四代英特爾至強 可擴展處理器,金山云新一代云服務器X7計算性能較上一代最大提升60%5 ,同時借助內置的英特爾AMX 原生人工智能加速能力,大幅提高了云服務器的整體性能,更加適用于計算密集型、深度學習等業(yè)務場景。 在內存方面,金山云新一代云服務器 X7 支持八通道 DDR5 內存,單條內存帶寬高達 4800MT/s,對比上一代實例性能提升50%6 ,更加適用于內存計算等數據密集型業(yè)務場景,服務深度學習以及人工智能相關領域。 在網絡方面,金山云新一代云服務器 X7 的物理網絡升級至 2x 100G,單虛機內網吞吐最高提升至 100G,PPS 提升至最高 2400 萬,連接數最高支持 400 萬,網絡性能大幅提升7 在存儲方面,金山云新一代云服務器 X7 支持掛載極速云盤 ESSD,單盤吞吐最高提升至 4GB/s,IOPS 提升至最高 100 萬,訪問延時降低至 0.2ms ,存儲能力顯著優(yōu)化8

得益于第四代英特爾至強 可擴展處理器內置的英特爾AMX 技術,金山云新一代云服務器 X7 加速了人工智能推理性能,并在AIGC等負載中有著卓越的表現。

金山云測試了金山云新一代云服務器 X7在Stable-Di?usion模型推理中的性能表現。Stable- Di?usion是一種基于機器學習的生成 式人工智能模型,能夠根據文本生成高分辨率圖像。Stable-Di?usion一般需要數秒完成圖片生成,計算量極大,其主要性能瓶頸在多頭注意力計算部分 (MHA)。

第四代英特爾至強 可擴展處理器在Stable-Di?usion模型推理中有著卓越的性能表現,這源于其在算法上面的優(yōu)化。針對該模型的 MHA 計算瓶頸,英特爾基于PyTorch 優(yōu)化的 Intel-Extension-for-PyTorch (IPEX) 插件在2.0 版本發(fā)布了基于至強 可擴展處理器平臺的Flash Attention算法,主要內容包括以合適的尺寸拆分矩陣計算,實現更高效的緩存利用;使用張量 AMX- BF16 加速MHA矩陣計算,達到更快的速度;將計算緩存區(qū)與線程綁定,實現更少的內存開銷。

在搭載英特爾至強 鉑金 8458P處理器的金山云新一代云服務器X7上,雙方對 Stable-Di?usion模型推理性能進行了測試。測試數據如圖所示,相較優(yōu)化之前的模型,在使用 IPEX 2.0 BF16優(yōu)化之后,Stable-Di?usion模型推理性能提升了3.97倍- 4.96倍9

wKgaomToPQOAKaQFAAFILaX_UTU759.png

圖:Stable-Diffusion 模型優(yōu)化前后性能對比10

賦能云服務器AI性能提升,英特爾攜手合作伙伴為云上AI用戶提供既高效又經濟的解決方案

云服務器已經成為用戶擴展人工智能創(chuàng)新,承載模型訓練、模型推理等應用需求的重要選擇,通過采用內置英特爾AMX 加速器的四代英特爾 至強 可擴展處理器,金山云第七代性能保障型云服務器X7能夠顯著加速AIGC等模型的性能表現,在端到端人工智能流程中的優(yōu)勢突出。而且,該方案不需要部署獨立的加速器,因此在經濟性方面有著更佳的表現。具體來講,它為用戶的云上業(yè)務帶來的收益包括:

更高的性能,能夠滿足廣泛實際應用場景的對于性能的需求。特別是在人工智能性能方面,金山云新一代云服務器 X7 能夠有效加速AIGC等應用的運行。 通過英特爾 AMX 的應用以及算法優(yōu)化,充分釋放了硬件潛力,有效利用服務器資源,從而降低了端到端人工智能應用流程的TCO。 不受限于特定應用類型,能夠靈活應對深度學習、數據庫、高網絡收發(fā)包等負載的支撐需求,實現更高的敏捷性與擴展性。

在當前合作成果的基礎上,英特爾與金山云還將對第七代性能保障型云服務器X7進行進一步合作優(yōu)化,包括驗證服務器在更多場景中的性能表現、通過軟件與算法優(yōu)化進一步釋放硬件潛力等,進而為用戶提供更加卓越的云服務。同時,英特爾也將通過更多云服務合作伙伴,為云上的AI用戶提供更高效、經濟的解決方案。

參考資料:

1 數據來源自第四代英特爾 至強 可擴展處理器的最大核數(60 核)與第三代英特爾 至強 可擴展處理器的最大核數(40 核)的比較。

2 詳細配置信息請訪問:intel.com/processorclaims,選擇 “第四代英特爾 至強 可擴展處理器”,查看編號“G2”。實際性能受使用情況、配置和其他因素的差異影響。

3 數據來源自第四代英特爾 至強 可擴展處理器(80 條 PCIe 5.0 通道)與第三代英特爾 至強 可擴展處理器(64 條 PCIe 4.0 通道)的比較。

4詳細配置信息請訪問:intel.com/processorclaims,選擇 “第四代英特爾 至強 可擴展處理器”,查看編號“G1”。實際性能受使用情況、配置和其他因素的差異影響。

5,6,7,8 https://www.ksyun.com/nv/activity/X7launch,截止 2023 年 6 月。

9,10 數據援引自截止 2023 年 6 月金山云內部測試結果。測試配置:英特爾 至強 鉑金 8458P 處理器,48vcore,HuggingFace stabilityai/stable-diffusion-2-1。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    10169

    瀏覽量

    173972
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11040

    瀏覽量

    216042

原文標題:英特爾? AMX助金山云為用戶提供更高效經濟的AI服務,Stable-Di?usion模型推理性能提升近5倍

文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    英特爾發(fā)布全新GPU,AI和工作站迎來新選擇

    英特爾推出面向準專業(yè)用戶AI開發(fā)者的英特爾銳炫Pro GPU系列,發(fā)布英特爾? Gaudi 3 AI
    發(fā)表于 05-20 11:03 ?1471次閱讀

    首創(chuàng)開源架構,天璣AI開發(fā)套件讓端側AI模型接入得心應手

    的端側部署,Token產生速度提升了40%,讓端側大模型擁有更高的計算效率和推理性能,使端側AI交互響應更及時,
    發(fā)表于 04-13 19:52

    1.9性能提升英特爾至強6在MLPerf基準測試中表現卓越

    關鍵項目中,性能表現卓越。測試結果顯示,相較于上一代產品,該處理器的AI性能實現了高達1.9的顯著提升,這也充分顯示了至強6處理器作為現代
    的頭像 發(fā)表于 04-07 10:58 ?208次閱讀

    英特爾?獨立顯卡與OpenVINO?工具套件結合使用時,無法運行推理怎么解決?

    使用英特爾?獨立顯卡與OpenVINO?工具套件時無法運行推理
    發(fā)表于 03-05 06:56

    英特爾至強6助力HPE Gen12,AI推理性能提升3

    ,CPU處理器永遠都是C位的存在,沒有它的基礎性支撐,其他一切都是空中樓閣。 當然,CPU處理器也在積極適應新的時代趨勢,既要不斷增強計算性能,也要低碳環(huán)保提高能效,但它們倆如同硬幣的正反面,不可能完美兼顧,那該怎么辦呢? 對此,英特爾的解決方案是兵分
    的頭像 發(fā)表于 02-18 14:18 ?277次閱讀
    <b class='flag-5'>英特爾</b>至強6助力HPE Gen12,<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b><b class='flag-5'>提升</b>3<b class='flag-5'>倍</b>!

    英特爾Gaudi 2D AI加速器助力DeepSeek Janus Pro模型性能提升

    Pro模型進行了深度優(yōu)化。 這一優(yōu)化舉措使得AI開發(fā)者能夠以更低的成本和更高的效率實現復雜任務的部署與優(yōu)化。英特爾Gaudi 2D AI
    的頭像 發(fā)表于 02-10 11:10 ?553次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能零售、電信等行業(yè)節(jié)省了數百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?624次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>

    英特爾與扣子平臺合作推出AI PC Bot專區(qū)和端側插件商店

    通過創(chuàng)新的端協(xié)同技術,開發(fā)者提供更為便捷、高效的智能應用開發(fā)環(huán)境。 通過扣子的“端插件”機制,英特爾
    的頭像 發(fā)表于 12-31 10:24 ?873次閱讀

    英特爾助力百度智能千帆大模型平臺加速LLM推理

    “大模型在各行業(yè)的廣泛應用驅動了新一輪產業(yè)革命,也凸顯了在AI算力方面的瓶頸。通過攜手英特爾釋放英特爾 至強 可擴展處理器的算力潛力,我們
    的頭像 發(fā)表于 11-25 16:59 ?857次閱讀
    <b class='flag-5'>英特爾</b>助力百度智能<b class='flag-5'>云</b>千帆大<b class='flag-5'>模型</b>平臺加速LLM<b class='flag-5'>推理</b>

    英特爾AI PC無所不能的實力

    百業(yè)的最后一公里問題。而客戶端的AI能力也在不斷提升,最終將解決個人AI的數據隱私和個性化問題。可見,AI非常適合邊端三級架構,按照
    的頭像 發(fā)表于 10-12 10:26 ?700次閱讀

    英特爾?至強?可擴展處理器助力智慧醫(yī)療的數字化轉型

    在現代醫(yī)療行業(yè),人工智能(AI)、物聯(lián)網(IoT)和5G網絡等前沿技術正在重新定義醫(yī)療服務提供方式。英特爾?至強?可擴展處理器通過在醫(yī)院從
    發(fā)表于 09-29 11:13 ?6289次閱讀
    <b class='flag-5'>英特爾</b>?至強?可擴展處理器助力智慧醫(yī)療的數字化轉型

    英特爾與百度共同為AI時代打造高性能基礎設施

    可持續(xù)發(fā)展等領域的實踐與探索,并圍繞AI時代的產業(yè)發(fā)展和升級提供“芯”動力等話題進行深入探討。 英特爾市場營銷集團副總裁、中國區(qū)與行業(yè)解
    的頭像 發(fā)表于 09-27 09:48 ?398次閱讀
    <b class='flag-5'>英特爾</b>與百度共同為<b class='flag-5'>AI</b>時代打造高<b class='flag-5'>性能</b>基礎設施

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    。 中國電子技術標準化研究院賽西實驗室依據國家標準《人工智能服務器系統(tǒng)性能測試規(guī)范》(征求意見稿)相關要求,使用AISBench?2.0測試工具,完成了第五代英特爾至強可擴展處理器的AI
    的頭像 發(fā)表于 09-06 15:33 ?701次閱讀
    開箱即用,AISBench測試展示<b class='flag-5'>英特爾</b>至強處理器的卓越<b class='flag-5'>推理性能</b>

    英特爾新一代AI PC酷睿Ultra處理器強勢來襲

    近日,在臺北國際電腦展上,英特爾展示了大力加速AI生態(tài)的前沿技術和架構,遍及數據中心、與網絡邊緣和PC。得益于更高計算處理性能、出色的能效
    的頭像 發(fā)表于 06-15 11:39 ?1081次閱讀

    金山發(fā)布第九代高效服務器SE9

    近日,金山正式發(fā)布了基于英特爾?至強?6能效核處理器的第九代服務高效型SE9。這款新型
    的頭像 發(fā)表于 06-11 09:31 ?1081次閱讀