女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

7nm制程,比GPU效率高,Meta發(fā)布第一代AI推理加速器

AI智勝未來 ? 來源:機(jī)器之心 ? 2023-05-26 15:41 ? 次閱讀

近日,Meta 透露了其在人工智能方面取得的最新進(jìn)展。

人們提起 Meta 時(shí),通常會(huì)想到其應(yīng)用程序,包括 Facebook、Instagram、WhatsApp 或即將推出的元宇宙。但許多人不知道的是這家公司設(shè)計(jì)和構(gòu)建了非常復(fù)雜的數(shù)據(jù)中心來運(yùn)營這些服務(wù)。

與 AWS、GCP 或 Azure 等云服務(wù)提供商不同,Meta 不需要披露有關(guān)其硅芯選擇、基礎(chǔ)設(shè)施或數(shù)據(jù)中心設(shè)計(jì)的細(xì)節(jié),除了其 OCP 設(shè)計(jì)用來給買家留下深刻印象。Meta 的用戶希望獲得更好、更一致的體驗(yàn),而不關(guān)心它是如何實(shí)現(xiàn)的。

在 Meta,AI 工作負(fù)載無處不在,它們構(gòu)成了廣泛用例的基礎(chǔ),包括內(nèi)容理解、信息流、生成式 AI 和廣告排名。這些工作負(fù)載在 PyTorch 上運(yùn)行,具有一流的 Python 集成、即時(shí)模式(eager-mode)開發(fā)和 API 簡潔性。特別是深度學(xué)習(xí)推薦模型(DLRMs),對于改善 Meta 的服務(wù)和應(yīng)用體驗(yàn)非常重要。但隨著這些模型的大小和復(fù)雜性的增加,底層的硬件系統(tǒng)需要在保持高效的同時(shí)提供指數(shù)級增長的內(nèi)存和計(jì)算能力。

Meta 發(fā)現(xiàn),對于目前規(guī)模的 AI 運(yùn)算和特定的工作負(fù)載,GPU 的效率不高,并不是最佳選擇。因此,該公司提出了推理加速器 MTIA,幫助更快地訓(xùn)練 AI 系統(tǒng)。

MTIA V1

4ca17d8c-fb2c-11ed-90ce-dac502259ad0.png

MTIA v1(推理)芯片(die)

2020 年,Meta 為其內(nèi)部工作負(fù)載設(shè)計(jì)了第一代 MTIA ASIC 推理加速器。該推理加速器是其全棧解決方案的一部分,整個(gè)解決方案包括芯片、PyTorch 和推薦模型。

MTIA 加速器采用 TSMC 7nm 工藝制造,運(yùn)行頻率為 800 MHz,在 INT8 精度下提供 102.4 TOPS,在 FP16 精度下提供 51.2 TFLOPS。它的熱設(shè)計(jì)功耗 (TDP) 為 25 W。

MTIA 加速器由處理元件 (PE)、片上和片外存儲器資源以及互連組成。該加速器配備了運(yùn)行系統(tǒng)固件的專用控制子系統(tǒng)。固件管理可用的計(jì)算和內(nèi)存資源,通過專用主機(jī)接口與主機(jī)通信,協(xié)調(diào)加速器上的 job 執(zhí)行。

內(nèi)存子系統(tǒng)使用 LPDDR5 作為片外 DRAM 資源,可擴(kuò)展至 128 GB。該芯片還有 128 MB 的片上 SRAM,由所有 PE 共享,為頻繁訪問的數(shù)據(jù)和指令提供更高的帶寬和更低的延遲。

MTIA 加速器網(wǎng)格包含以 8x8 配置組織的 64 個(gè) PE,這些 PE 相互連接,并通過網(wǎng)狀網(wǎng)絡(luò)連接到內(nèi)存塊。整個(gè)網(wǎng)格可以作為一個(gè)整體來運(yùn)行一個(gè) job,也可以分成多個(gè)可以運(yùn)行獨(dú)立 job 的子網(wǎng)格。

每個(gè) PE 配備兩個(gè)處理器內(nèi)核(其中一個(gè)配備矢量擴(kuò)展)和一些固定功能單元,這些單元經(jīng)過優(yōu)化以執(zhí)行關(guān)鍵操作,例如矩陣乘法、累加、數(shù)據(jù)移動(dòng)和非線性函數(shù)計(jì)算。處理器內(nèi)核基于 RISC-V 開放指令集架構(gòu) (ISA),并經(jīng)過大量定制以執(zhí)行必要的計(jì)算和控制任務(wù)。

每個(gè) PE 還具有 128 KB 的本地 SRAM 內(nèi)存,用于快速存儲和操作數(shù)據(jù)。該架構(gòu)最大限度地提高了并行性和數(shù)據(jù)重用性,這是高效運(yùn)行工作負(fù)載的基礎(chǔ)。

該芯片同時(shí)提供線程和數(shù)據(jù)級并行性(TLP 和 DLP),利用指令級并行性 (ILP),并通過允許同時(shí)處理大量內(nèi)存請求來實(shí)現(xiàn)大量的內(nèi)存級并行性 (MLP)。

4d2fdce4-fb2c-11ed-90ce-dac502259ad0.png

MTIA v1 系統(tǒng)設(shè)計(jì)

MTIA 加速器安裝在小型雙 M.2 板上,可以更輕松地集成到服務(wù)器中。這些板使用 PCIe Gen4 x8 鏈接連接到服務(wù)器上的主機(jī) CPU,功耗低至 35 W。

4d5ef182-fb2c-11ed-90ce-dac502259ad0.png

帶有 MTIA 的樣品測試板

托管這些加速器的服務(wù)器使用來自開放計(jì)算項(xiàng)目的 Yosemite V3 服務(wù)器規(guī)范。每臺服務(wù)器包含 12 個(gè)加速器,這些加速器連接到主機(jī) CPU,并使用 PCIe 交換機(jī)層級相互連接。因此,不同加速器之間的通信不需要涉及主機(jī) CPU。此拓?fù)湓试S將工作負(fù)載分布在多個(gè)加速器上并并行運(yùn)行。加速器的數(shù)量和服務(wù)器配置參數(shù)經(jīng)過精心選擇,以最適合執(zhí)行當(dāng)前和未來的工作負(fù)載。

MTIA 軟件棧

MTIA 軟件(SW)棧旨在提供給開發(fā)者更好的開發(fā)效率和高性能體驗(yàn)。它與 PyTorch 完全集成,給用戶提供了一種熟悉的開發(fā)體驗(yàn)。使用基于 MTIA 的 PyTorch 與使用 CPU 或 GPU 的 PyTorch 一樣簡單。并且,得益于蓬勃發(fā)展的 PyTorch 開發(fā)者生態(tài)系統(tǒng)和工具,現(xiàn)在 MTIA SW ??梢允褂?PyTorch FX IR 執(zhí)行模型級轉(zhuǎn)換和優(yōu)化,并使用 LLVM IR 進(jìn)行低級優(yōu)化,同時(shí)還支持 MTIA 加速器自定義架構(gòu)和 ISA。

下圖為 MTIA 軟件??蚣軋D:

4e236b98-fb2c-11ed-90ce-dac502259ad0.png

作為 SW 棧的一部分,Meta 還為性能關(guān)鍵型 ML 內(nèi)核開發(fā)了一個(gè)手動(dòng)調(diào)整和高度優(yōu)化的內(nèi)核庫,例如完全連接和嵌入包運(yùn)算符。在 SW 棧的更高層級可以選擇在編譯和代碼生成過程中實(shí)例化和使用這些高度優(yōu)化的內(nèi)核。

此外,MTIA SW 棧隨著與 PyTorch 2.0 的集成而不斷發(fā)展,PyTorch 2.0 更快、更 Python 化,但一如既往地動(dòng)態(tài)。這將啟用新功能,例如 TorchDynamo 和 TorchInductor。Meta 還在擴(kuò)展 Triton DSL 以支持 MTIA 加速器,并使用 MLIR 進(jìn)行內(nèi)部表示和高級優(yōu)化。

MTIA 性能

Meta 比較了 MTIA 與其他加速器的性能,結(jié)果如下:

4e597684-fb2c-11ed-90ce-dac502259ad0.png

Meta 使用五種不同的 DLRMs(復(fù)雜度從低到高)來評估 MTIA

此外,Meta 還將 MTIA 與 NNPI 以及 GPU 進(jìn)行了比較,結(jié)果如下:

4e63c922-fb2c-11ed-90ce-dac502259ad0.png

評估發(fā)現(xiàn),與 NNPI 和 GPU 相比,MTIA 能夠更高效地處理低復(fù)雜度(LC1 和 LC2)和中等復(fù)雜度(MC1 和 MC2)的模型。此外,Meta 尚未針對高復(fù)雜度(HC)模型進(jìn)行 MTIA 的優(yōu)化。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 加速器
    +關(guān)注

    關(guān)注

    2

    文章

    824

    瀏覽量

    38941
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4913

    瀏覽量

    130694
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    809

    瀏覽量

    13776

原文標(biāo)題:7nm制程,比GPU效率高,Meta發(fā)布第一代AI推理加速器

文章出處:【微信號:AI智勝未來,微信公眾號:AI智勝未來】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    直擊Computex 2025:英特爾重磅發(fā)布一代GPU,圖形和AI性能躍升3.4倍

    電子發(fā)燒友原創(chuàng)? 章鷹 5月19日,在Computex 2025上,英特爾發(fā)布了最新全新圖形處理GPU)和AI加速器產(chǎn)品系列。包括全新英
    的頭像 發(fā)表于 05-21 00:57 ?5405次閱讀
    直擊Computex 2025:英特爾重磅<b class='flag-5'>發(fā)布</b>新<b class='flag-5'>一代</b><b class='flag-5'>GPU</b>,圖形和<b class='flag-5'>AI</b>性能躍升3.4倍

    直擊Computex2025:英特爾重磅發(fā)布一代GPU,圖形和AI性能躍升3.4倍

    5月19日,在Computex 2025上,英特爾發(fā)布了最新全新圖形處理GPU)和AI加速器產(chǎn)品系列。包括全新英特爾銳炫? Pro B系
    的頭像 發(fā)表于 05-20 12:27 ?4157次閱讀
    直擊Computex2025:英特爾重磅<b class='flag-5'>發(fā)布</b>新<b class='flag-5'>一代</b><b class='flag-5'>GPU</b>,圖形和<b class='flag-5'>AI</b>性能躍升3.4倍

    英特爾發(fā)布全新GPU,AI和工作站迎來新選擇

    英特爾推出面向準(zhǔn)專業(yè)用戶和AI開發(fā)者的英特爾銳炫Pro GPU系列,發(fā)布英特爾? Gaudi 3 AI加速器機(jī)架級和PCIe部署方案 ? 2
    發(fā)表于 05-20 11:03 ?1471次閱讀

    第一代半導(dǎo)體被淘汰了嗎

    在半導(dǎo)體產(chǎn)業(yè)的百年發(fā)展歷程中,“第一代半導(dǎo)體是否被淘汰”的爭議從未停歇。從早期的鍺晶體管到如今的硅基芯片,以硅為代表的第一代半導(dǎo)體材料,始終以不可替代的產(chǎn)業(yè)基石角色,支撐著全球95%以上的電子設(shè)備
    的頭像 發(fā)表于 05-14 17:38 ?227次閱讀
    <b class='flag-5'>第一代</b>半導(dǎo)體被淘汰了嗎

    谷歌第七TPU Ironwood深度解讀:AI推理時(shí)代的硬件革命

    谷歌第七TPU Ironwood深度解讀:AI推理時(shí)代的硬件革命 Google 發(fā)布了 Ironwood,這是其第七張量處理單元 (TP
    的頭像 發(fā)表于 04-12 11:10 ?1596次閱讀
    谷歌第七<b class='flag-5'>代</b>TPU Ironwood深度解讀:<b class='flag-5'>AI</b><b class='flag-5'>推理</b>時(shí)代的硬件革命

    FPGA+AI王炸組合如何重塑未來世界:看看DeepSeek東方神秘力量如何預(yù)測......

    。? AI加速器的開發(fā):FPGA被廣泛用于開發(fā)專為AI算法優(yōu)化的加速器,例如深度學(xué)習(xí)推理加速器
    發(fā)表于 03-03 11:21

    從圖形處理到AI加速,文看懂Imagination D系列GPU

    Imagination的D系列于2022年首次發(fā)布,見證了生成式AI從云端到智能手機(jī)等消費(fèi)設(shè)備中普及。在云端,由于GPU的可編程性、可擴(kuò)展性和快速處理AI工作負(fù)載的能力,
    的頭像 發(fā)表于 02-27 08:33 ?395次閱讀
    從圖形處理到<b class='flag-5'>AI</b><b class='flag-5'>加速</b>,<b class='flag-5'>一</b>文看懂Imagination D系列<b class='flag-5'>GPU</b>

    DeepSeek發(fā)布Janus Pro模型,英特爾Gaudi 2D AI加速器優(yōu)化支持

    Gaudi 2D AI加速器現(xiàn)已針對該模型進(jìn)行了全面優(yōu)化。這優(yōu)化舉措使得AI開發(fā)者能夠更輕松地實(shí)現(xiàn)復(fù)雜任務(wù)的部署與優(yōu)化,從而有效滿足行業(yè)應(yīng)用對于
    的頭像 發(fā)表于 02-08 14:35 ?564次閱讀

    英偉達(dá)AI加速器新藍(lán)圖:集成硅光子I/O,3D垂直堆疊 DRAM 內(nèi)存

    加速器設(shè)計(jì)的愿景。 英偉達(dá)認(rèn)為未來整個(gè) AI 加速器復(fù)合體將位于大面積先進(jìn)封裝基板之上,采用垂直供電,集成硅光子 I/O 器件,GPU 采用多模塊設(shè)計(jì),3D 垂直堆疊 DRAM 內(nèi)存
    的頭像 發(fā)表于 12-13 11:37 ?571次閱讀
    英偉達(dá)<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>新藍(lán)圖:集成硅光子I/O,3D垂直堆疊 DRAM 內(nèi)存

    所謂的7nm芯片上沒有個(gè)圖形是7nm

    最近網(wǎng)上因?yàn)楣饪虣C(jī)的事情,網(wǎng)上又是陣熱鬧。好多人又開始討論起28nm/7nm的事情了有意無意之間,我也看了不少網(wǎng)上關(guān)于國產(chǎn)自主7nm工藝的文章。不過這些文章里更多是抒情和遐想,卻很少
    的頭像 發(fā)表于 10-08 17:12 ?735次閱讀
    所謂的<b class='flag-5'>7nm</b>芯片上沒有<b class='flag-5'>一</b>個(gè)圖形是<b class='flag-5'>7nm</b>的

    RISC-V擁有巨大市場潛力的原因

    發(fā)布了第三“香山”開源高性能RISC-V處理核,其性能水平已進(jìn)入全球第一梯隊(duì),可廣泛應(yīng)用于服務(wù)芯片、
    發(fā)表于 09-30 14:20

    英特爾發(fā)布Gaudi3 AI加速器,押注低成本優(yōu)勢挑戰(zhàn)市場

    英特爾近期震撼發(fā)布了專為AI工作負(fù)載設(shè)計(jì)的Gaudi3加速器,這款新芯片雖在速度上不及英偉達(dá)熱門型號H100與H200 GPU,但英特爾巧妙地將競爭優(yōu)勢聚焦于其更為親民的價(jià)格與總擁有成
    的頭像 發(fā)表于 09-26 16:16 ?1119次閱讀

    AMD助力HyperAccel開發(fā)全新AI推理服務(wù)

    提高成本效率。HyperAccel 針對新興的生成式 AI 應(yīng)用提供超級加速的芯片 IP/解決方案。HyperAccel 已經(jīng)打造出個(gè)快速、高效且低成本的
    的頭像 發(fā)表于 09-18 09:37 ?774次閱讀
    AMD助力HyperAccel開發(fā)全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務(wù)<b class='flag-5'>器</b>

    一代功能新一代AI加速器(DRP-AI3):10x在高級AI系統(tǒng)高級AI中更快的嵌入處理

    電子發(fā)燒友網(wǎng)站提供《下一代功能新一代AI加速器(DRP-AI3):10x在高級
    發(fā)表于 08-15 11:06 ?0次下載
    下<b class='flag-5'>一代</b><b class='flag-5'>高</b>功能新<b class='flag-5'>一代</b><b class='flag-5'>AI</b><b class='flag-5'>加速器</b>(DRP-<b class='flag-5'>AI</b>3):10x在高級<b class='flag-5'>AI</b>系統(tǒng)高級<b class='flag-5'>AI</b>中更快的嵌入處理

    什么是神經(jīng)網(wǎng)絡(luò)加速器?它有哪些特點(diǎn)?

    )和圖形處理GPU)雖然可以處理神經(jīng)網(wǎng)絡(luò)計(jì)算,但在能效和計(jì)算密度上往往難以滿足特定應(yīng)用場景的需求。因此,神經(jīng)網(wǎng)絡(luò)加速器應(yīng)運(yùn)而生,它通過優(yōu)化硬件架構(gòu)和算法實(shí)現(xiàn),針對神經(jīng)網(wǎng)絡(luò)計(jì)算的特
    的頭像 發(fā)表于 07-11 10:40 ?891次閱讀