借助 NVIDIA AI Enterprise

構建 MaaS 平臺

本案例中，九州未來的團隊基于NVIDIA AI Enterprise的全棧軟件套件，構建其 MaaS 大模型一體化開發及部署平臺，該平臺同時支持云端部署和私有化部署，通過九州未來開發的算力調度平臺軟件，實現云端資源與大模型一體機的算力協調和開發協同。

兼顧企業級的

安全性、可靠性和性能

隨著大模型的持續發展，特別是垂直領域大模型，對于數據安全性及私密性、模型工具鏈及平臺的通用性和可靠性、模型上線部署的易用性及推理性能等諸多方面提出了更多的訴求。面對快速增長的市場及客戶需求，九州未來基于 NVIDIA AI Enterprise 自主開發了其大模型 MaaS 平臺，不僅支持端到端的垂直領域大模型的開發全流程，同時支持線下一體機部署與云端資源協調模式，在最大化保護企業數據安全性的同時，兼顧靈活的算力調度與協調供給。

九州未來創始人兼 CEO 張淳先生表示，“AIGC 促進智能算力爆發式增長，并正加速邁入全面應用時代，今后一定不是裸算力簡單的資源管理方式，一定需要用軟件定義精算力來多元化地管理并提升 GPU 的附加價值，助力加速垂直模型和應用落地的效率。”

為構建自定義

生成式 AI 應用提供支持

NVIDIA AI Enterprise 是一個為企業提供生產就緒型全棧的軟件解決方案，提供并保證其可靠的 AI 正常運行和不間斷的 AI 卓越表現，實現利用生成式 AI 進行創新的企業加速開發。

九州未來通過 10 余年云邊自主研發軟件的技術積累，結合近年來賦能智算中心的不斷落地，通過 NVIDIA AI Enterprise 深度的技術整合，以大模型為基礎、輕量化微調的 MaaS 服務作為其核心服務能力之一，基于基礎模型訓練后的行業大模型，使用相關行業數據進行微調或知識檢索能力的導入，再通過NVIDIA TensorRT-LLM及NVIDIA Triton推理服務器的推理優化和實現一鍵部署后，可以為特定行業提供高質量高性能的大模型 AI 應用。

上圖的大模型 MaaS 平臺，端到端包含 Animbus PaaS 平臺（集成NVIDIA GPU Operator和Network Operator）、NVIDIA AI Enterprise 軟件套件（包括NeMo Framework– Training Container 和 Inference Container）、MaaS 大模型服務及應用 UI 交互界面，以上所有的軟件以及對應的操作系統鏡像會打包到一個 U 盤里面，實現一個 U 盤即可快速啟動大模型一體機的服務。

NVIDIA NeMo Framework

加速行業大模型開發

LLM（大型語言模型）的全面解決方案

在 MaaS 平臺的二次開發和深度整合的過程中，九州未來團隊使用 NVIDIA AI Enterprise 中的 NeMo Framework，一款端到端面向企業級交付、云原生大模型的框架，可以靈活地構建、定制和部署生成式 AI 模型。

該平臺承載了諸多優質的大模型精選體驗，結合特有的行業知識快速導入能力，用戶能夠很好地訓練、微調、評估、優化及部署模型。對于選擇好基礎模型的用戶，提供全流程的向導式服務，訓練過程中的訓練數據實時可查，用戶可輕松基于數據集、使用最好的超參數完成微調任務，在模型完成評估后，實現大模型的一鍵優化部署。

主要支持訓練及優化功能：

基礎大模型倉庫

SFT/PEFT/提示詞工程

推理優化及一鍵部署

知識導入及向量數據庫服務

通過 NVIDIA AI Enterprise 整體軟件棧的加速，大模型微調和推理性能相比開源推理框架有大幅提升。

線形圖代表在不同 Batch 的情況下完成每次推理請求的平均時延，越低代表越好；

柱狀圖代表在不同 Batch 情況下的每秒鐘生成的 Token 數量，越高代表越好

準備好開始了嗎？

審核編輯：湯梓紅