生成式AI火爆全球之后,英偉達的AI芯片一張難求,就在英偉達重量級選手H100 AI芯片目前依然是一貨難求的情況下,英偉達推出新款AI芯片H200。
H100目前算是算力市場硬通貨,而H200則更強大,也是H100的升級版,號稱性能飆升90%;全球最強 AI 芯片。
據英偉達的消息,H200擁有141GB的內存、4.8TB/秒的帶寬,并將與H100相互兼容,推理速度幾乎達到H100的兩倍。H200預計將于明年二季度開始交付。
H200將在深度學習和大型語言模型(LLM)方面發揮更重要的作用,比如 OpenAI 的 GPT-4的訓練。H200芯片相比上一代H100有了顯著的飛躍,將被用于數據中心和超級計算機,處理諸如天氣和氣候預測、藥物發現、量子計算等任務。
H200芯片基于英偉達的“Hopper”架構的 HGX H200 GPU,也是英偉達第一款使用 HBM3e 內存的芯片,這種內存速度更快,容量更大,因此更適合大型語言模型。英偉達稱:“借助 HBM3e,英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存,與 A100 相比,容量幾乎是其兩倍,帶寬增加了 2.4 倍。” 在人工智能方面,英偉達表示,HGX H200 在 Llama 2(700 億參數 LLM)上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供,與 H100 系統中的軟件和硬件兼容。
H200在大模型Llama 2、GPT-3.5的輸出速度上分別是H100的1.9倍和1.6倍。而在高性能計算HPC方面的速度更是達到了雙核x86 CPU的110倍。
H200的價格目前可能并不是最關心的,能不能拿到貨才是關鍵,當然目前英偉達也沒有公布價格。
此外還會有下一代升級版的Blackwell B100 GPU也在路上。
有數據稱英偉達的H100的嚴重缺貨問題至少會持續到2024年底?,F在推出H200可能會占用一部分的產能,當然有會有一部分客戶轉投H200。這次英偉達推出新款AI芯片H200估計又是要賣斷貨的節奏。
但是10月份美國商務部工業和安全局(BIS)發布了針對芯片的出口管制新規,對高算力的AI芯片進行了更嚴格的管控。
所以不出意外的是,估計英偉達最強AI 芯片 H200還是會被美國限制進入我國市場,或者即使進入也是閹割版,而英偉達并不想放棄中國市場 ,所以也會針對性的推出滿足法規的改良版AI芯片,不止是英偉達;英特爾也計劃推出改良版。
此前,英偉達A100及H100兩款型號被限制出口中國后,為中國專供的“閹割版”的A800和H800就是為了符合規定。
有消息報道稱英偉達的改良版AI芯片由H100改良而來,HGX H20、L20 PCle和L2 PCle這三款改良版AI芯片很快就會發布。但是預測理論上整體算力要比英偉達 H100 GPU芯片降80%左右。
-
英偉達
+關注
關注
22文章
3921瀏覽量
93109 -
AI芯片
+關注
關注
17文章
1968瀏覽量
35689 -
LLM
+關注
關注
1文章
319瀏覽量
680
發布評論請先 登錄
AMD最強AI芯片,性能強過英偉達H200,但市場仍不買賬,生態是最大短板?

今日看點丨英偉達將為中國市場推出新AI芯片 售價大幅低于H20;中科曙光與海光信息宣布戰略重組
特朗普要叫停英偉達對華特供版 英偉達H20出口限制 或損失55億美元
今日看點丨英偉達H20出口至中國需“無限期”申請許可證;特斯拉即將實現純AI自動駕駛
GMI Cloud推出基于英偉達H200的DeepSeek系列模型
一顆芯片面積頂4顆H200,博通推出3.5D XDSiP封裝平臺

評論