NVIDIA 及其生態系統合作伙伴正在為 AI 推理時代構建大規模 AI 工廠，而每家企業都將需要一個這樣的工廠。

AI 正在推動新一輪工業革命——這是一場由 AI 工廠驅動的革命。

與傳統數據中心不同，AI 工廠不僅僅存儲和處理數據，它們還大規模地生產智能，將原始數據轉化為實時見解。對于全球各地的企業和各國而言，這意味著價值實現的速度大幅提升，即將 AI 從長期投資轉變為實現競爭優勢的直接驅動力。目前投資于專門建設 AI 工廠的企業將在創新、效率和市場差異化方面占據領先地位。

傳統數據中心面向通用計算，通常處理各種各樣的工作負載，而 AI 工廠則經過優化，以便利用 AI 來創造價值。它們涵蓋 AI 的整個生命周期，從數據采集到訓練、微調，以及最為關鍵的大規模推理。

對 AI 工廠來說，智能并非副產品，而是主要產品。這種智能通過 AI token 吞吐量來衡量，也就是那些驅動決策、自動化和全新服務的實時預測。

傳統數據中心短期內不會消失，但其未來是將演變成 AI 工廠還是連接到 AI 工廠，將取決于企業的商業模式。

無論企業如何選擇，NVIDIA 驅動的 AI 工廠已經在大規模地生產智能，正在改變 AI 的構建、優化和部署方式。

驅動計算需求的擴展定律

在過去幾年里，AI 領域的熱點是訓練大模型。但隨著近期 AI 推理模型大量涌現，推理已經成為 AI 經濟的主要驅動力。三條關鍵的擴展定律（scaling law）揭示了其中的原因：

預訓練擴展：更大的數據集和更多的模型參數能夠帶來可預見的智能水平提升，但這需要在專業技術專家、數據整理和計算資源方面進行大量投入。在過去五年中，預訓練擴展使計算需求增長了 5000 萬倍。不過，一旦模型訓練完成，就會大幅降低其他人在此基礎上進行開發的門檻。

后訓練擴展：針對特定真實應用對 AI 模型進行微調時，在 AI 推理過程中所需的算力是預訓練的 30 倍。隨著各機構根據自身獨特需求而調整現有模型，對 AI 基礎設施的累積需求也會急劇飆升。

測試時擴展（又稱長思考）：像代理式 AI 或物理 AI 這類先進的 AI 應用需要進行迭代推理，即模型在做出最佳響應之前會探索多種可能的答案。這個過程所需的算力比傳統推理多出 100 倍。

傳統數據中心并非為 AI 新時代而設計。AI 工廠則專門進行了優化以持續滿足這種巨大的算力需求，為 AI 推理和部署提供了一條理想的發展路徑。

用 Token 重塑產業與經濟

全球范圍內，各國政府與企業都在競相建設 AI 工廠，以刺激經濟增長、促進創新并提升效率。

歐洲高性能計算聯合體（EuroHPC JU）近期宣布，計劃與 17 個歐盟成員國攜手打造 7 座 AI 工廠。

在此之前，全球已掀起 AI 工廠投資熱潮，各個企業和國家都在加速利用 AI 驅動各行業、各地區的經濟增長：

印度：Yotta Data Services 與 NVIDIA 合作推出了 Shakti 云平臺，致力于讓更多人能夠獲得先進的 GPU 資源。通過集成 NVIDIA AI Enterprise 軟件與開源工具，Yotta 為 AI 開發與部署打造了一個無縫的環境。

日本：包括 GMO Internet、Highreso、KDDI、Rutilea 和 SAKURA internet 在內的多家日本領先的云服務提供商，正在構建 NVIDIA 驅動的 AI 基礎設施，以推動機器人、汽車、醫療和電信等行業的變革。

挪威：Telenor 集團推出了一座基于 NVIDIA 打造的 AI 工廠，目的是在北歐地區加快 AI 應用，重點關注勞動力技能提升與可持續發展。

這些行動充分表明，AI 工廠正在全球范圍內迅速成為與電信、能源同樣重要的國家基礎設施。

走進 AI 工廠：生產智能的地方

基礎模型、安全的客戶數據以及 AI 工具就是 AI 工廠的原材料。在 AI 工廠中，推理服務、原型設計和微調塑造出強大的定制化模型，可以隨時投入實際應用。

當這些模型被部署到真實的應用場景中時，它們會不斷地從新數據中學習。這些新數據通過數據飛輪進行存儲、優化，然后再反饋到系統中。這種優化循環確保了 AI 能夠持續地適應變化、保持高效并不斷改進，以前所未有的規模推動企業智能化發展。

NVIDIA 驅動的 AI 工廠正在大規模地生產企業智能

利用全棧 NVIDIA AI 打造 AI 工廠的優勢

NVIDIA 提供完整、集成的 AI 工廠堆棧，從芯片到軟件的每一層都針對大規模訓練、微調及推理進行了優化。這種全棧式方法確保企業能夠部署經濟高效、高性能且面向未來的 AI 工廠，以應對 AI 的指數級增長。

通過生態系統合作伙伴，NVIDIA 打造了全棧 AI 工廠的構建模塊，這一全棧方案包括以下模塊：

強大的計算性能

先進的網絡

基礎設施管理和工作負載編排

最龐大的 AI 推理生態系統

存儲和數據平臺

設計與優化的各種藍圖

參考架構

適用于各類企業的靈活部署方案

強大的計算性能

任何 AI 工廠的核心都在于其算力。從 NVIDIA Hopper 到 NVIDIA Blackwell，NVIDIA 為這場新的工業革命提供全球最強大的加速計算。借助基于 NVIDIA Blackwell Ultra 的 NVIDIA Grace Blackwell 機架式解決方案，AI 工廠的 AI 推理輸出最高可提升 50 倍，樹立了效率和規模的新標桿。

NVIDIA DGX SuperPOD 是交鑰匙式企業 AI 工廠的典范，聚合了 NVIDIA 加速計算的優勢。NVIDIA DGX Cloud 提供的 AI 工廠能在云端提供高性能的 NVIDIA 加速計算。

全球各地的系統合作伙伴正利用 NVIDIA 加速計算技術，為其客戶打造全棧 AI 工廠。目前的加速計算平臺包括了基于 Blackwell 和 Blackwell Ultra 的 NVIDIA Grace Blackwell 機架式解決方案。

先進的網絡

大規模地傳輸智能需要在整個 AI 工廠堆棧中實現高性能的無縫連接。NVIDIA NVLink 和 NVLink Switch 支持高速的多 GPU 通信，加速節點內部和節點之間的數據傳輸。

AI 工廠還需要強大的網絡骨干。NVIDIA Quantum InfiniBand、NVIDIA Spectrum-X 以太網網絡平臺和 NVIDIA BlueField 網絡平臺可減少瓶頸，確保在大規模 GPU 集群上實現高效、高吞吐量的數據交換。這種端到端的集成對于將 AI 工作負載擴展到百萬 GPU 級別至關重要，實現了突破性的訓練和推理性能。

基礎設施管理和工作負載編排

企業需要既能利用超大規模云服務提供商那樣敏捷、高效且大規模的 AI 基礎設施，又無需承擔高昂成本、復雜性且具備 IT 專業知識等的負擔。

借助 NVIDIA Run:ai，企業能夠無縫實現 AI 工作負載編排和 GPU 管理，在加速 AI 實驗進程和擴展工作負載的同時，還可以優化資源利用率。NVIDIA Mission Control 軟件集成了 NVIDIA Run:ai 技術，優化了從工作負載到基礎設施的 AI 工廠運營流程，通過全棧智能實現業界領先的基礎設施韌性。

NVIDIA Mission Control 簡化了整個 AI 工廠堆棧的工作流

最龐大的 AI 推理生態系統

AI 工廠需要合適的工具才能將數據轉化為智能。NVIDIA AI 推理平臺（涵蓋了 NVIDIA TensorRT 生態系統）、NVIDIA Dynamo 以及 NVIDIA NIM 微服務——這些均已成為或即將成為 NVIDIA AI Enterprise 軟件平臺的一部分，可提供行業內最全面的 AI 加速庫和經過優化的軟件套件，同時提供非凡的推理性能、超低延遲以及高吞吐量。

存儲和數據平臺

數據是 AI 應用的驅動力，但企業數據迅速增長且越來越復雜，常常使得有效利用這些數據的成本過高且耗時過長。為了在 AI 時代蓬勃發展，企業必須充分釋放其數據的全部潛力。

NVIDIA AI 數據平臺是一個可定制的參考設計，用于為要求苛刻的 AI 推理工作負載構建新型 AI 基礎設施。NVIDIA 認證存儲合作伙伴正與 NVIDIA 合作，開發定制化的 AI 數據平臺，這些平臺能夠充分利用企業數據，針對復雜的查詢進行推理并提供答案。

設計與優化藍圖

為了設計和優化 AI 工廠，團隊可以使用用于 AI 工廠設計和運營的 NVIDIA Omniverse Blueprint。它讓工程師能夠在部署前利用數字孿生技術對 AI 工廠基礎設施進行設計、測試和優化。通過降低風險和不確定性，它有助于避免代價高昂的停機，這對于 AI 工廠的運營者來說是一個關鍵因素。

對于規模達到 1 吉瓦的 AI 工廠而言，停機一天造成的損失可能超過 1 億美元。通過提前消除復雜性并讓 IT、機械、電氣、電力和網絡工程等團隊能夠并行工作，用于 AI 工廠設計和運營的 NVIDIA Omniverse Blueprint 加快了部署速度，并確保了運營的韌性。

參考架構

NVIDIA 企業參考架構和 NVIDIA 云合作伙伴參考架構為設計和部署 AI 工廠的合作伙伴提供了路線圖。借助包含 NVIDIA AI 軟件堆棧的 NVIDIA 認證系統以及合作伙伴生態系統，企業和云服務提供商將能夠構建可擴展、高性能且安全的 AI 基礎設施。

基于 NVIDIA 參考架構打造的 NVIDIA 全棧 AI 工廠

（*NVIS = NVIDIA 基礎設施專家）

AI 工廠堆棧的每一層都依賴高效的計算來滿足不斷增長的 AI 需求。NVIDIA 加速計算是整個堆棧的基礎，它提供最高的每瓦性能，確保 AI 工廠保持最高的能效。借助節能的架構和液冷技術，企業在擴展 AI 規模的同時，還能控制能源成本。

適用于各類企業的靈活部署方案

借助 NVIDIA 的全棧技術，企業能夠輕松地構建和部署 AI 工廠，使之契合客戶偏好的 IT 使用模式和運營需求。

一些機構選擇搭建本地 AI 工廠，以便完全掌控數據和性能，而另一些機構則采用云端解決方案，以實現可擴展性和靈活性。許多企業還會從其信賴的全球系統合作伙伴那里購買預集成解決方案，以加快部署進程。

采用 NVIDIA Grace Blackwell Ultra 超級芯片的 NVIDIA DGX 系統是性能最高、規模最大的 AI 工廠基礎設施，它適用于企業，專為 AI 推理時代而打造

本地部署

NVIDIA DGX SuperPOD 是交鑰匙式 AI 工廠基礎設施解決方案，為要求最嚴苛的 AI 訓練和推理工作負載提供具有可擴展性能的加速基礎設施。它的特點是將 AI 計算、網絡架構、存儲和 NVIDIA Mission Control 軟件進行了優化設計組合，使企業能夠在幾周內（而非數月）讓 AI 工廠投入使用，并且具備一流的正常運行時間、韌性和利用率。

通過 NVIDIA 的全球企業技術合作伙伴生態系統，AI 工廠解決方案也以 NVIDIA 認證系統的形式提供。這些合作伙伴提供領先的硬件和軟件技術，結合數據中心系統專業知識和液冷創新技術，幫助企業降低 AI 項目的風險，并更快地從 AI 工廠投資中獲得回報。

這些全球系統合作伙伴正在基于 NVIDIA 參考架構提供全棧解決方案，將 NVIDIA 加速計算、高性能網絡和 AI 軟件集成在一起，幫助其客戶成功地部署 AI 工廠并大規模地生產智能。

云端部署

對于希望采用云端 AI 工廠解決方案的企業，NVIDIA DGX Cloud 在領先的云上提供了一個統一的平臺，用于構建、定制和部署 AI 應用。DGX Cloud 的每一層都進行了優化并由 NVIDIA 全面管理，它具備 NVIDIA AI 在云端的優勢，并依托領先的云服務提供商構提供企業級軟件和構建大規模的連續集群，尤其適合為要求最嚴苛的 AI 訓練工作負載提供可擴展的計算資源。

DGX Cloud 還包括一個動態、可擴展的無服務器推理平臺，該平臺在混合云和多云環境中提供極高的 AI token 吞吐量，顯著降低了基礎設施的復雜性和運營開銷。

通過提供一個集成了硬件、軟件、生態系統合作伙伴和參考架構的全棧平臺，NVIDIA 正在幫助企業構建經濟高效、可擴展、高性能的 AI 工廠，使其有能力迎接下一次工業革命。