女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

“AI算力荒”解困的短、中、長策

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2023-04-19 09:12 ? 次閱讀

AI算力不夠,已經是老大難問題。ChatGPT等大語言模型,掀起了新一輪“大煉模型”和“煉大模型”的熱潮,又讓本就不足的算力雪上加霜。

適用于AI計算的GPU供不應求,買不到卡的企業和科研機構嗷嗷待哺,買到了卡的企業不得不面對漲價,也被架在成本的火上烤。

目前,英偉達的GPU是AI計算最主流的硬件。有業內人士估算過,GPT-4模型僅滿足日訪問量的計算需求,就需要六萬張英偉達A100,每一張價格在60-100萬人民幣,而A100和更強大的H100,這兩款芯片此前都被列入了美國的禁止出口清單里。還好在英偉達的游說下,又能夠在 2023 年 3 月 1 日之前繼續給大陸提供 A100 產品。

現在緩沖期已經到了,AI算力的局面是蠟燭兩頭燒,一邊是越來越少的海外高性能芯片,一邊是越來越多的大模型訓推需求,究竟怎么辦呢?

我知道很多普通網友很急,覺得又被卡脖子了,但大家確實不用那么急,為AI算力荒解困,業內其實已經探索出了短策、中策和長策。今天就來講講,如何見招拆招。

短策:開源節流,過緊日子

實事求是來說,最關鍵的AI芯片GPU被國際廠商壟斷,市場占有率達到80%以上。而國產廠商雖然也有相應的產品,但要么還沒有量產,無法滿足規模應用的需求;要么性能跟海外先進產品的差異很大,實用中大概只能達到60%左右的水平。而中美博弈,短期內是不會有方向性的轉變的,未來高性能芯片的封禁可能是常態。

所以結論就是,放棄幻想,接下來要準備過AI算力的緊日子了。

目前業內的應付辦法有兩種:

一是開源。

對于N卡,繼續買,抓緊囤貨。

國內頭部互聯網公司,尤其是已經推出了大模型的企業,都會進行20%左右的戰略備貨,儲備了萬片級別的英偉達A100芯片,所以算力基礎都不差。某一線云廠商透露,現在自家有10萬片的A100,能夠滿足好幾個客戶復現GPT的AI算力需求。

pYYBAGQ-h3iACMdZAABZ6Fou8yk726.jpg

此前國內區塊鏈火爆,礦機廠商和數字貨幣販子也買了大量英偉達GPU用來“挖礦”,聽說也被一些AI公司緊急收了過來。而且,雖然緩沖期已到,但只要交付模式上商務合規,還是有可能繼續用到先進產品的。

對于國產芯,加快上馬,落地部署。

目前,國內的頭部科技公司,已經開始籌備或落實,將寒武紀MLU370/590、燧原、百度昆侖芯、阿里平頭哥等,部署到算力集群中,盡管占比還比較少,但國產芯的使用和適配已經開始了,隨著合規及產能提速,也能滿足AI并行計算的需求。

芯片的國產化替代,這一步遲早要走,大模型成了那個提前上馬的變量。

二是節流。

既然AI基礎設施跟大模型建設熱潮之間有剪刀差,咱能不能把錢花在刀刃上呢?還真能。

OpenAI選擇訓大語言模型來實現通用人工智能,超大規模參數來達到“智能涌現”,堪稱為“敗家子兒式創新”。微軟公司的博客中透露,2019 年微軟宣布向 OpenAI 投資 10 億美元,為了讓OpenAI 能訓練出越來越強大的模型,將28.5萬個CPU和10000個GPU聯接起來,造了一個超級計算集群。

背靠家大業大的微軟,這么燒無可厚非。但放到中國語境下,或許我們還可以想一想,等這波GPT式熱度消退,基礎模型已經成型,那些燒錢打造的算力基礎設施該何去何從?百億萬億參數的大模型,部署到工廠、礦區、城市之類的行業場景,是不是也有相應的算力支撐?

冷靜下來后,為AI算力“節流”,才是大模型真正落地的必經之路。

節流,有兩個辦法:一是大模型“瘦身”,通過剪枝讓模型稀疏化、知識蒸餾對模型進行壓縮,通過權重共享來減少參數量……總之,一旦一種技術路線被證明有效,那么很快就會有多種技術手段對其進行優化,讓模型成本大幅下降。

最近加州大學伯克利分校打造的icuna (小羊駝)模型,就只用8張A100訓練了一天時間,將130億參數模型的訓練成本,從1000美元降低至300美元。所以,模型“瘦身”可以有效減少單個模型的算力資源消耗。

二是硬件“壓榨”,通過端到端優化,從AI芯片中“壓榨”出更多性能,把有限的硬件用到極致,也是一種節流。

舉個例子,主流的大模型,包括ChatGPT、GPT-4,都是以Transformer 架構為主,微軟通過ONNX開源推理引擎的優化,可以將大語言模型的推理性能提高17倍。某***廠商針對Transformer結構特性進行優化,將芯片性能提升到原本的五倍以上,壓縮顯存30%以上。資源利用率更高,相當于在AI訓練和推理時單位部署成本更低了。

總的來說,面對短期內“AI算力荒”,我們只能接受現實,正視差距,廣積糧食,開源節流。

承認這一點沒有什么好憋屈的,畢竟中國AI從零起步,到今天能跟no.1站在同一張牌桌,這才是我們熟悉的故事。

中策:兼容并包的全國算網

一雙眼睛全盯著高性能GPU,會發現差距簡直無從彌補,還在越拉越大。英偉達、英特爾、AMD等已經將AI芯片支撐推進到了4nm,而***禁運,制程追不上,國內14nm制程將將量產,巧婦難為無米之炊。

但換個角度,可能就柳暗花明又一村。

大家可能還記得,去年東數西算工程正式啟動,新型國家算力網絡成了新的熱點,我們也做過很多報道和分析。

當時我們就提到:實現先進算力的一體化、集約化、多樣化供給,是“全國算力一盤棋”的題中之義。而這只是全國一體化大數據中心協同創新體系中的一環。

今天看來,通過幾年時間,構建數網、數紐、數鏈、數腦、數盾,對于AI大模型的數據、算力、聯接、商業化等多種挑戰,是一種持續釋放影響的“中策”。

本質上說,AI模型的訓練推理是CPU+加速芯片。GPU的高并行性,可以成規模地處理AI工作負載,為深度學習加速,在進行模型的訓練和推斷時會更具有效率優勢。英偉達的A100,在AI推理時吞吐量是CPU的249倍。

但這并不意味著,CPU不能做并行計算,加速芯片沒有其他選擇。

生成式AI的模型訓練通常是在云端完成的,云端芯片以CPU+GPU異構計算為主。一些小型的模型是完全可以CPU訓練的,可能訓練速度慢一點,但確實可以用。

此外,ASIC芯片也很適合AI計算,目前還沒有明顯的頭部廠商,國產廠商還有機會,很多企業開始推出自研的ASIC加速芯片。比如谷歌的TPU、英特爾的DPU、國內寒武紀的NPU、地平線的BPU等。

模型訓練好之后,需要結合數據計算“推理”出各種結論。手機人臉識別認出“你是你”這個環節就是“端側推理”,iPhone將相冊上傳到云端進行用戶行為分析就是“云端推理”。

相對模型訓練而言,推理階段處理的是小批量數據,這時候GPU并行計算的性價比就不那么明顯了,尤其是在邊緣和終端大規模部署AI算法,是難以承受如此高的成本的。FPGA、ASIC等加速芯片,協助CPU來滿足推理的計算需求,是具有競爭優勢的。

這跟算網有什么關系呢?

劃重點,在全國一體化算力網絡體系的各種政策文件中,“算力多元化”的出現頻率是非常高的。

多元化,一方面體現在多種計算架構,支持CPU、GPU、ASIC、FPGA等多種芯片的混合部署,充分發揮不同體系架構的優勢;

另一方面,體現在多種算力,模型訓練、邊緣推理、數值模擬的不同場景需要不同的算力,AI算力、通用算力、高性能算力等綜合配給,才能很好地支撐各類行業AI應用。

正如微軟Azure高性能計算和人工智能產品負責人Nidhi Chappell所說,“讓更大的模型訓練更長的時間,意味著你不僅需要擁有最大的基礎設施,還必須能夠長期可靠地運行它”。

要長期可靠地保障AI算力資源,自然要發揮中國智慧——東方不亮西方亮,黑了南方有北方。通過全國一體化算力網絡的建設,充分推動多種架構的落地部署,***的同步發展。

未來幾年算網成型,對于保障算力供給,應對不可抗力,會起到非常關鍵的作用。

長策:長出那雙手

理想化的角度來說,緩解AI算力荒的終極解決思路,肯定是造出對標國際一流水平的自研芯片。但這就像“中國什么時候能有自己的OpenAI”一樣,是一個漫長的暢想。

漫長,指的不只是足夠長的時間和耐心,給半導體行業足夠多的錢,還要能吸納全球頂尖的技術人才、全球優質的風險投資機構、計算機基礎人才的培養、允許失敗試錯的創新氛圍和兜底機制、充分信息化數字化的優質數據基礎、繁榮的商業市場……這是一個社會工程。

那么,我們是不是就得一直這么憋屈呢?

當然不是。咱們除了“脖子”,還有“手”啊,就不能用自己的長處,去卡別人的脖子呢?

這雙手,可能是新的計算體系。

今天,經典計算的“摩爾定律”已死,英偉達提出的“新摩爾定律”也面對AI算力供需的剪刀差有心無力。

光計算、類腦計算、量子計算等新計算體系,正在成為各國的重點布局方向。以量子計算為例,有望徹底解決經典計算的算力不足問題。

當然,總想著“彎道超車”大概率會翻車,提到這點只是想提醒一下,不要只盯著CPU/GPU這些已經被卡脖子的焦點領域,而忽視了其他路線,將路走窄了。畢竟誰能想到,當年游戲宅們追捧的顯卡能卡住今天的AI計算市場呢?

英偉達GPU被發現可以用來跑AI之前,只有游戲發燒友會對N卡津津樂道,這種“無心插柳柳成蔭”的結果,恰好說明了多技術路線創新的重要性,或許會在某條路上就發現驚喜。

這雙手,也可能產業生態。

AI本來就是一個工程性、交叉性很強的學科,AI芯片要充分釋放能力,除了更高制程的工藝,也離不開深刻理解行業用戶的使用習慣,才能把軟硬件做到位。

英偉達GPU的主流地位,與CUDA生態有直接關系。而CUDA的護城河正是軟件堆棧,可以讓研究人員和軟件開發者更好地在GPU上編程,構建應用。

如果說AI算力問題,國產硬件的差距是明線,軟件生態就是那條更難的暗線。

首先是軟件,就拿大模型來說,下接底層算力硬件、操作系統和框架,上接行業應用,需要提供一整套從開發、應用、管理的全流程服務和工程化方法,而目前積累了全面技術棧的只有少數國內頭部企業。

其次是生態,CUDA生態經過多年積累,在AI計算的絕對主導地位,而國內幾個頭部企業都有各自的AI生態。我們就曾遇到過這樣的采訪對象,一個工業企業的數字化案例中,既有A生態的一些軟硬件,又有B生態的一些解決方案。多個生態并存,增加了產業的選項自由和安全感,也難免帶來適配上的復雜度,以及一些重復性工作。

***硬件的突破或在旦夕之間,但軟件生態的爆發卻需要漫長的時間去醞釀。而一旦生態如同齒輪一樣轉起來了,吸納更多產業資源和人才力量,很多軟硬件創新都能加速發展。

大語言模型的這波熱鬧中,我有聽到一些聲音,說中國AI行業“渾身上下都是脖子”“一卡脖子就翻白眼,一開源就全球領先”。

很能理解大家“怒其不爭”的心情,但實事求是地看,中國AI走到今天,靠的從來不是誰的施舍,是真的有一群人,在卡脖子時沒有翻白眼,而是與禁令搶時間,與海外合作伙伴想對策,把***扶上馬送一程。

如果說,無需擔心“AI算力荒”,這是一種無視現實差距的盲目自信。但也確實不用一提算力、一提芯片,就縈繞著“生于憂患死于安樂”的焦慮氣息。

星光不問趕路人,與其花時間自憐自哀,不如在有限的規則里,做力所能及的事。短策、中策、長策久久為功,這才是中國緩解“AI算力荒”的真實選擇。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4912

    瀏覽量

    130681
  • AI
    AI
    +關注

    關注

    87

    文章

    34294

    瀏覽量

    275480
  • 算力
    +關注

    關注

    2

    文章

    1148

    瀏覽量

    15463
  • ChatGPT
    +關注

    關注

    29

    文章

    1588

    瀏覽量

    8810
  • 大模型
    +關注

    關注

    2

    文章

    3033

    瀏覽量

    3837
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    即國力,比克電池如何為AI時代“蓄能

    引擎》明確提出,“是數字經濟時代的新質生產,更是國家競爭的重要指標?!彪S著AI大模型訓
    的頭像 發表于 06-04 14:22 ?226次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>即國力,比克電池如何為<b class='flag-5'>AI</b>時代“蓄能

    摩爾線程與AI平臺AutoDL達成深度合作

    近日,摩爾線程與國內領先的AI平臺AutoDL宣布達成深度合作,雙方聯合推出面向個人開發者的“摩爾線程專區”,首次將國產GPU開放至
    的頭像 發表于 05-23 16:10 ?503次閱讀

    芯片的生態突圍與革命

    電子發燒友網報道(文 / 李彎彎)大芯片,即具備強大計算能力的集成電路芯片,主要應用于高性能計算(HPC)、人工智能(AI)、數據中心、自動駕駛等需要海量數據并行計算的場景。隨著 AI
    的頭像 發表于 04-13 00:02 ?1494次閱讀

    DeepSeek推動AI需求:800G光模塊的關鍵作用

    集群的部署過程,帶寬瓶頸成為制約發揮的關鍵因素,而光模塊的速率躍升成為突破這一瓶頸的核心驅動力。 光模塊速率躍升 隨著
    發表于 03-25 12:00

    接棒,慧榮科技以主控技術突破AI存儲極限

    電子發燒友網報道(文/黃山明)在AI的高速增長下,尤其是以DeepSeek為代表的AI大模型推動存儲需求激增,增長倒逼存升級。而存儲是
    的頭像 發表于 03-19 01:29 ?1614次閱讀
    存<b class='flag-5'>力</b>接棒<b class='flag-5'>算</b><b class='flag-5'>力</b>,慧榮科技以主控技術突破<b class='flag-5'>AI</b>存儲極限

    AI 報告來了!2025AI市場將達 259 億美元

    報告來源:IDC、浪潮信息2月13日,國際數據公司(IDC)攜手浪潮信息,重磅發布《2025年國人工智能計算發展評估報告》。當下,大模型與生成式人工智能熱度飆升,需求水漲船高,
    的頭像 發表于 03-07 13:27 ?597次閱讀
    <b class='flag-5'>AI</b> <b class='flag-5'>算</b><b class='flag-5'>力</b>報告來了!2025<b class='flag-5'>中</b>國<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>市場將達 259 億美元

    信而泰CCL仿真:解鎖AI極限,智中心網絡性能躍升之道

    中心RoCE網絡提供精準評估方案,助力企業突破瓶頸,釋放AI澎湃動力! 什么是智中心 智中心(AIDC,Artificial Int
    的頭像 發表于 02-24 17:34 ?385次閱讀
    信而泰CCL仿真:解鎖<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>極限,智<b class='flag-5'>算</b>中心網絡性能躍升之道

    中心的如何衡量?

    作為當下科技發展的重要基礎設施,其的衡量關乎其能否高效支撐人工智能、大數據分析等智能應用的運行。以下是對智中心算衡量的詳細闡述:一、
    的頭像 發表于 01-16 14:03 ?1916次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    企業AI租賃模式的好處

    構建和維護一個高效、可擴展的AI基礎設施,不僅需要巨額的初期投資,還涉及復雜的運維管理和持續的技術升級。而AI
    的頭像 發表于 12-24 10:49 ?1138次閱讀

    企業AI租賃是什么

    企業AI租賃是指企業通過互聯網向專業的提供商租用所需的計算資源,以滿足其AI應用的需求。
    的頭像 發表于 11-14 09:30 ?2315次閱讀

    知存科技榮獲2024AI層創新企業

    科技入榜【2024AI層創新企業】,憑借在創新存內計算芯片領域的高能效創新實踐和亮眼
    的頭像 發表于 11-06 15:30 ?834次閱讀

    GPU開發平臺是什么

    隨著AI技術的廣泛應用,需求呈現出爆發式增長。AI租賃作為一種新興的服務模式,正逐漸成為
    的頭像 發表于 10-31 10:31 ?579次閱讀

    九章云極DataCanvas公司「包」產品璀璨亮相2024大會!

    九章云極DataCanvas公司技術專家向與會者詳細介紹包的產品能力和創新模式,收獲行業伙伴的高度認可。力作為AI時代的數字能源,將在行業應用和技術創新互相驅動下,邁入“
    的頭像 發表于 09-29 14:44 ?1125次閱讀
    九章云極DataCanvas公司「<b class='flag-5'>算</b><b class='flag-5'>力</b>包」產品璀璨亮相2024<b class='flag-5'>中</b>國<b class='flag-5'>算</b><b class='flag-5'>力</b>大會!

    大模型時代的需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
    發表于 08-20 09:04