2023年的AWS re:Invent大會上，AWS和NVIDIA宣布AWS將成為第一個提供NVIDIA GH200 Grace Hopper超級芯片的云服務提供商。這一超級芯片通過NVIDIA DGX Cloud與NVIDIA NVLink技術相連，將在Amazon Elastic Compute Cloud（Amazon EC2）上運行，為云計算帶來了一場技術革命。

一）大殺器NVIDIA GH200 NVL32

NVIDIA GH200 NVL32 是針對 NVIDIA GH200 Grace Hopper 超級芯片的機架級參考設計，通過 NVLink 連接，面向超大規(guī)模數(shù)據(jù)中心。支持 16 個與 NVIDIA MGX 機箱設計兼容的雙 NVIDIA Grace Hopper 服務器節(jié)點，并且可以采用液體冷卻，以最大限度地提高計算密度和效率。

NVIDIA GH200 NVL32 的主要特點如下：

●擁有 32 個 GPU NVLink 域，每個 GPU NVLink 域包含一個 GH200 Grace Hopper 超級芯片，可以訪問網(wǎng)絡中任何其他 Grace Hopper 超級芯片的內(nèi)存，從而提供 19.5 TB 的 NVLink 可尋址內(nèi)存。這意味著它可以突破單個系統(tǒng)的內(nèi)存限制，實現(xiàn)更大的并行性和可擴展性。

●使用 9 個 NVLink 交換機，每個交換機包含一個第三代 NVSwitch 芯片，將 32 個 GH200 GPU 連接在一起，形成一個完全連接的胖樹網(wǎng)絡。這意味著它可以實現(xiàn)高速的通信和低延遲的同步，提高人工智能的性能和效率。

●由 NVIDIA HPC SDK 以及全套 CUDA、NVIDIA CUDA-X 和 NVIDIA Magnum IO 庫支持，可加速超過 3,000個 GPU 應用程序。這意味著它可以提供豐富的軟件生態(tài)系統(tǒng)，讓開發(fā)者和研究者可以輕松地開發(fā)和部署人工智能應用程序。

二）NVIDIAGH200 NVL32的應用場景

NVIDIA GH200 NVL32 非常適合以下幾種人工智能應用場景：

1）AI推理和訓練：生成式人工智能模型可以根據(jù)給定的文本或上下文生成自然語言，廣泛應用于聊天機器人、文本摘要、文本生成、機器翻譯等領域，為用戶提供智能的交互和服務。法學碩士需要大規(guī)模、多 GPU 訓練，參數(shù)數(shù)量非常龐大，例如 GPT-3 有 1750 億個參數(shù)，GPT-4 有 1.5 萬億個參數(shù)。NVIDIA GH200 NVL32 專為推理和訓練下一代法學碩士而構建。該系統(tǒng)利用 32 個 NVLink 連接的 GH200 Grace Hopper 超級芯片突破了內(nèi)存、通信和計算瓶頸，訓練萬億參數(shù)模型的速度比 NVIDIA HGX H100 快 1.7 倍 以上。在 GPT-530B 推理模型上，NVIDIA GH200 NVL32 系統(tǒng)的性能比四個 H100 NVL8 系統(tǒng)高出 2 倍。

2）推薦系統(tǒng)：人工智能模型可以根據(jù)用戶的偏好和行為，向用戶推薦最相關和最感興趣的內(nèi)容或產(chǎn)品。它們廣泛用于電子商務和零售、媒體和社交媒體、數(shù)字廣告等領域，以實現(xiàn)內(nèi)容個性化。

這推動了收入和商業(yè)價值。推薦器使用代表用戶、產(chǎn)品、類別和上下文的嵌入，大小可達數(shù)十 TB。高度準確的推薦器將提供更具吸引力的用戶體驗，但也需要更大的嵌入和更精確的推薦器。嵌入對于人工智能模型具有獨特的特征，需要大量內(nèi)存、高帶寬和閃電般快速的網(wǎng)絡。NVIDIA GH200 NVL32 可提供 7 倍 的快速訪問內(nèi)存，并且與基于 x86 的傳統(tǒng)設計中與 GPU 的 PCIe Gen5 連接相比，可提供 7 倍 的帶寬。與采用 x86 的 H100 相比，它可以實現(xiàn) 7 倍 詳細的嵌入。NVIDIA GH200 NVL32 還可以為具有大量嵌入表的模型提供高達 7.9 倍 的訓練性能。

3）圖神經(jīng)網(wǎng)絡：圖神經(jīng)網(wǎng)絡是一種人工智能模型，可以將深度學習的預測能力應用于豐富的數(shù)據(jù)結(jié)構，這些數(shù)據(jù)結(jié)構將對象及其關系描述為圖中由線連接的點。科學和工業(yè)的許多分支已經(jīng)將有價值的數(shù)據(jù)存儲在圖數(shù)據(jù)庫中。深度學習用于訓練預測模型，從圖表中挖掘新的見解。

總結(jié)：

Amazon和NVIDIA推動NVIDIA DGX Cloud即將在AWS上推出，將成為首家在DGX云中提供NVIDIA GH200 NVL32，并將其作為EC2實例的云服務提供商。NVIDIA GH200 NVL32解決方案包含32個GPU NVLink域和19.5 TB的大容量統(tǒng)一內(nèi)存。在GPT-3的訓練和LLM推理方面明顯優(yōu)于先前的模型。NVIDIA GH200 NVL32的CPU-GPU內(nèi)存互連速度非常快，提高了應用程序的內(nèi)存可用性。該技術是超大規(guī)模數(shù)據(jù)中心可擴展設計的一部分，由NVIDIA軟件和庫提供支持，可加速數(shù)千個GPU應用程序。NVIDIA GH200 NVL32特別適用于LLM訓練和推理、推薦系統(tǒng)、GNN等任務，為人工智能和計算應用程序帶來顯著的性能改進。

審核編輯：劉清