Canonical、Nutanix 和 Red Hat 等廠商的開(kāi)源 Kubernetes 平臺(tái)集成了 NVIDIA NIM，將允許用戶通過(guò) API 調(diào)用來(lái)大規(guī)模地部署大語(yǔ)言模型。

在企業(yè)中部署生成式 AI 將變得空前簡(jiǎn)單。

NVIDIA NIM是一套生成式 AI 推理微服務(wù)，將支持 KServe 開(kāi)源軟件，可以自動(dòng)將 AI 模型以云計(jì)算應(yīng)用的規(guī)模運(yùn)行。

NVIDIA NIM 與 KServe 的組合確保了生成式 AI 可以像任何其他大型企業(yè)級(jí)應(yīng)用一樣進(jìn)行部署，還讓用戶能夠通過(guò) Canonical、Nutanix 和 Red Hat 等數(shù)十家公司的平臺(tái)廣泛使用 NIM。

NIM 在 KServe 上的集成將使 NVIDIA 的技術(shù)擴(kuò)展到開(kāi)源社區(qū)、生態(tài)系統(tǒng)合作伙伴和客戶。借助 NIM，他們可以通過(guò) API 調(diào)用（即現(xiàn)代編程的一鍵式操作）來(lái)獲得NVIDIA AI Enterprise軟件平臺(tái)的性能、支持和安全性。

在 Kubernetes 上提供 AI

KServe 最初是基于 Kubernetes 的機(jī)器學(xué)習(xí)工具包 Kubeflow 的一部分。Kubernete 是一個(gè)開(kāi)源系統(tǒng)，用于部署和管理包含大型分布式應(yīng)用組件的軟件容器。

隨著 Kubeflow 在 AI 推理方面的不斷擴(kuò)展，KServe 誕生了，并最終演變成為獨(dú)立的開(kāi)源項(xiàng)目。

許多公司都為 KServe 軟件做出了貢獻(xiàn)并采用了該軟件。目前，運(yùn)行 KServe 軟件的公司包括亞馬遜云科技、彭博、Canonical、思科、慧與、IBM、Red Hat、Zillow 和 NVIDIA 等。

深入解析 KServe

KServe 本質(zhì)上是 Kubernetes 的擴(kuò)展，它像一個(gè)強(qiáng)大的云應(yīng)用一樣運(yùn)行 AI 推理。它使用標(biāo)準(zhǔn)協(xié)議，以經(jīng)過(guò)優(yōu)化的性能運(yùn)行，并支持 PyTorch、Scikit-learn、TensorFlow 和 XGBoost，而用戶無(wú)需了解這些 AI 框架的細(xì)節(jié)。

在新的大語(yǔ)言模型（LLM）層出不窮的情況下，該軟件尤其有用。

KServe 讓用戶可以輕松地在模型之間來(lái)回切換，測(cè)試哪一個(gè)最符合他們的需求。當(dāng)模型的新版本發(fā)布時(shí)，KServe 的 “金絲雀發(fā)布（canary rollouts）” 功能會(huì)自動(dòng)執(zhí)行詳細(xì)驗(yàn)證，并逐步將其部署到生產(chǎn)系統(tǒng)中。

其另一項(xiàng)功能 “GPU 自動(dòng)縮放” 可以隨著服務(wù)需求的起伏來(lái)高效地管理模型的部署方式，從而使客戶和服務(wù)提供商獲得最佳體驗(yàn)。

生成式 AI 的 API 調(diào)用

KServe 的優(yōu)勢(shì)現(xiàn)在將通過(guò) NVIDIA NIM 的便捷性提供。

使用 NIM ，只需一個(gè)簡(jiǎn)單的 API 調(diào)用即可應(yīng)對(duì)所有的復(fù)雜性。企業(yè) IT 管理員能夠獲得確保應(yīng)用以最佳性能和效率運(yùn)行所需的指標(biāo)，無(wú)論應(yīng)用是在他們的數(shù)據(jù)中心還是在遠(yuǎn)程云服務(wù)上，即使是在更改了 AI 模型的情況下。

NIM 讓 IT 專(zhuān)家成為生成式 AI 專(zhuān)家，變革了公司的運(yùn)營(yíng)。這就是為什么 Foxconn 和 ServiceNow 等眾多企業(yè)都正在部署 NIM 微服務(wù)的原因。

NIM 支持?jǐn)?shù)十個(gè) Kubernetes 平臺(tái)

由于 NIM 與 KServe 的集成，用戶將能夠在數(shù)十個(gè)企業(yè)平臺(tái)上訪問(wèn) NIM，比如 Canonical 的 Charmed KubeFlow 和 Charmed Kubernetes、Nutanix GPT-in-a-Box 2.0、Red Hat 的 OpenShift AI 等等。

KServe 貢獻(xiàn)者、Red Hat 首席軟件工程師 Yuan Tang 表示：“Red Hat 一直在與 NVIDIA 合作，以便讓企業(yè)更輕松地使用開(kāi)源技術(shù)來(lái)部署 AI。通過(guò)增強(qiáng) KServe 并在 Red Hat OpenShift AI 中增加對(duì) NIM 的支持，我們能夠讓 Red Hat 的客戶更方便地訪問(wèn) NVIDIA 的生成式 AI 平臺(tái)。”

“通過(guò)將 NVIDIA NIM 推理微服務(wù)與 Nutanix GPT-in-a-Box 2.0 集成，客戶將能夠從云端到邊緣以一致的方式去構(gòu)建可擴(kuò)展、安全、高性能的生成式 AI 應(yīng)用。” Nutanix 工程副總裁 Debojyoti Dutta 表示，其團(tuán)隊(duì)為 KServe 和 Kubeflow 做出了貢獻(xiàn)。

Canonical 的 MLOps 產(chǎn)品經(jīng)理 Andreea Munteanu 表示：“作為一家對(duì) KServe 做出重大貢獻(xiàn)的公司，我們很高興通過(guò) Charmed Kubernetes 和 Charmed Kubeflow 提供 NIM。在我們的共同努力下，用戶將能夠輕松地使用生成式 AI 的全部功能，并使其保持最高的性能和效率。”

數(shù)十家其他軟件提供商都能感受到 NIM 的好處，因?yàn)樗麄兊漠a(chǎn)品中也包含了 KServe。

服務(wù)開(kāi)源社區(qū)

NVIDIA 一直積極地參與 KServe 項(xiàng)目。正如最近的一篇技術(shù)博客中所提到的，KServe 的開(kāi)放推理協(xié)議已經(jīng)被用于NVIDIA Triton 推理服務(wù)器，可以幫助用戶跨多個(gè) GPU、框架和操作模式同時(shí)運(yùn)行許多 AI 模型。

基于 KServe，NVIDIA 專(zhuān)注于在多個(gè) GPU 上一次運(yùn)行一個(gè) AI 模型的用例。

作為 NIM 集成的一部分，NVIDIA 計(jì)劃在其開(kāi)源軟件（包括 Triton 和TensorRT-LLM）的基礎(chǔ)上，成為 KServe 的積極貢獻(xiàn)者。NVIDIA 還是云原生計(jì)算基金會(huì)（CNCF）的活躍成員，該基金會(huì)支持生成式 AI 和其他項(xiàng)目的開(kāi)源代碼。

立即通過(guò) NVIDIA API 目錄試用 Llama 3 8B 或 Llama 3 70B 大語(yǔ)言模型的 NIM API。全球數(shù)百家 NVIDIA 合作伙伴也正在使用 NIM 來(lái)部署生成式 AI。