NVIDIA Blackwell 架構為生成式 AI 和加速計算帶來的突破性進步。Blackwell 基于多代** NVIDIA 技術構建,以出眾的性能、效率和規模揭開了生成式 AI 領域的新篇章。
NVIDIA Blackwell Architecture Technical Brief免費下載
*附件:NVIDIA Blackwell Architecture Technical Brief.doc
新型 AI 超級芯片
Blackwell 架構 GPU 具有 2080 億個晶體管,采用專門定制的臺積電 4NP 工藝制造。所有 Blackwell 產品均采用雙倍光刻極限尺寸的裸片,通過 10 TB/s 的片間互聯技術連接成一塊統一的 GPU。
第二代 Transformer 引擎
第二代 Transformer 引擎將定制的 Blackwell Tensor Core技術與 NVIDIA? TensorRT? -LLM 和 NeMo? 框架創新相結合,加速大語言模型 (LLM) 和專家混合模型 (MoE) 的推理和訓練。
為了強效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社區定義的微縮放格式),可提供較高的準確性并輕松替換更大的精度。Blackwell Transformer 引擎利用稱為微張量縮放的細粒度縮放技術,優化性能和準確性,支持 4 位浮點 (FP4) AI。這將內存可以支持的新一代模型的性能和大小翻倍,同時保持高精度。
安全 AI
Blackwell 內置 NVIDIA 機密計算技術,可通過基于硬件的強大安全性保護敏感數據和 AI 模型,使其免遭未經授權的訪問。Blackwell 是業內首款具備可信執行環境 (TEE) I/O 功能的 GPU,它不僅能夠與具備 TEE-I/O 功能的主機一同提供性能卓越的機密計算解決方案,還能通過 NVIDIA? NVLink? 技術提供實時保護。與未加密模式相比, Blackwell 機密計算功能供了幾乎相同的吞吐量性能。現在,除了保護 AI 知識產權 (IP) 和安全地實現機密 AI 訓練、推理和聯邦學習,企業甚至還能以高性能的方式保護最大的模型。
NVLink、NVSwitch 和 NVLink Switch 系統
是否能釋放百億億級計算和萬億參數 AI 模型的全部潛力取決于服務器集群中每個 GPU 之間能否快速、順暢的通信。第五代 NVIDIA? NVLink? 可擴展至 576 個 GPU,為萬億和數萬億參數 AI 模型釋放加速性能。
NVIDIA NVLink 交換機芯片可在一個有 72 個 GPU 的 NVLink 域 (NVL72) 中實現 130TB/s 的 GPU 帶寬,并通過 NVIDIA SHARP? 技術對 FP8 的支持實現 4 倍于原來的帶寬效率。NVIDIA NVLink 交換機芯片能以驚人的 1.8TB/s 互連速度為多服務器集群提供支持。采用 NVLink 的多服務器集群可以在計算量增加的情況下同步擴展 GPU 通信,因此 NVL72 可支持的 GPU 吞吐量是單個 8 卡 GPU 系統的 9 倍。
解壓縮引擎
過去,數據分析和數據庫工作流依賴 CPU 進行計算。加速數據科學可以顯著提高端到端分析性能,加速價值創造,同時降低成本。Apache Spark 等數據庫在接手、處理和分析大量數據等數據分析工作上發揮著關鍵作用。
Blackwell 擁有的解壓縮引擎以及通過 900GB/s 雙向帶寬的高速鏈路訪問 NVIDIA Grace? CPU 中大量內存的能力,可加速整個數據庫查詢工作流,從而在數據分析和數據科學方面實現更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新壓縮格式。
可靠性、可用性和可服務性 (RAS) 引擎
Blackwell 通過專用的可靠性、可用性和可服務性 (RAS) 引擎增加了智能恢復能力,以識別早期可能發生的潛在故障,從而更大限度地減少停機時間。NVIDIA AI 驅動的預測管理功能持續監控硬件和軟件中數千個數據點的整體運行狀況,以預測和攔截停機時間和低效的來源。這建立了智能可靠性技術,節省時間、能源和計算成本。
NVIDIA 的 RAS 引擎提供深入的診斷信息,可以識別關注領域并制定維護計劃。RAS 引擎通過快速定位問題來源縮短周轉時間,并通過促進有效的補救最大限度地減少停機時間。
-
NVIDIA
+關注
關注
14文章
5238瀏覽量
105766
發布評論請先 登錄
進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片
jAVA語言環境白皮書
最新的智能電網的白皮書資料
簡儀科技怒對LabVIEW的白皮書
NVIDIA 推出 Blackwell 架構 DGX SuperPOD,適用于萬億參數級的生成式 AI 超級計算

評論