生成式 AI 為 PC 和工作站帶來了全新功能,包括游戲助手、增強的內(nèi)容創(chuàng)作和生產(chǎn)力工具等。
現(xiàn)已推出的 NVIDIA NIM 微服務(wù)和即將推出的 AI Blueprints 可加速 AI 開發(fā)和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供針對 NVIDIA RTX 平臺優(yōu)化的預打包先進 AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服務(wù)易于下載及運行。微服務(wù)涵蓋了頂級 PC 開發(fā)模態(tài),并與頂級生態(tài)系統(tǒng)應用和工具兼容。
在計算領(lǐng)域的關(guān)鍵時刻,突破性的 AI 模型和全球開發(fā)者社區(qū)正在推動 AI 賦能工具和工作流的爆炸式增長,NIM 微服務(wù)和 AI Blueprint 正助力為 PC 帶來關(guān)鍵創(chuàng)新。
NIM 助您馬上出發(fā)
盡管 AI 的創(chuàng)新速度驚人,但 PC 開發(fā)者社區(qū)仍然很難上手這項技術(shù)。
將 AI 模型從研究引入 PC 需要模型變體管護、輸入輸出數(shù)據(jù)的自適應管理和量化以優(yōu)化資源的使用。此外,模型必須轉(zhuǎn)化為與優(yōu)化的推理后端軟件配合使用,并連接到全新的 AI 應用編程接口(API)。這需要付出巨大的努力,可能會減緩 AI 的普及。
NVIDIA NIM 微服務(wù)通過提供預打包、經(jīng)優(yōu)化,易于下載且連接到行業(yè)標準 API 的 AI 模型,幫助解決了這一問題。它們針對 RTX AI PC 和工作站上的性能進行了優(yōu)化,并包含了來自社區(qū)的頂級 AI 模型以及 NVIDIA 開發(fā)的模型。
NIM 微服務(wù)支持各種 AI 應用,包括大語言模型(LLMs)、視覺語言模型、圖像生成、語音處理、基于檢索增強生成(RAG)的搜索、PDF 提取和計算機視覺。提供十種面向 RTX 的 NIM 微服務(wù),支持各種應用,包括語言和圖像生成、計算機視覺、語音 AI 等。
立即訪問https://www.nvidia.cn/ai/開始使用以下 NIM:
語言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct
圖像生成:Flux.dev
音頻:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice
RAG:Llama-3.2-NV-EmbedQA-1B-v2
計算機視覺和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1
NIM 微服務(wù)還可以通過頂級 AI 生態(tài)系統(tǒng)工具和框架提供。
對于 AI 發(fā)燒友,AnythingLLM 和 ChatRTX 現(xiàn)在支持NIM,可以通過簡單、友好的用戶界面輕松與 LLM 和 AI 智能體聊天。借助這些工具,用戶可以創(chuàng)建個性化 AI 助手并集成自己的文檔和數(shù)據(jù),幫助自動化任務(wù)并提高生產(chǎn)力。
對于希望構(gòu)建、測試和集成 AI 到其應用中的開發(fā)者,F(xiàn)lowiseAI 和 Langflow 現(xiàn)在支持 NIM,并提供帶有視覺界面的低代碼和無代碼解決方案,以最低限度的編程專業(yè)知識設(shè)計 AI 工作流。即將推出對 ComfyUI 的支持。借助這些工具,開發(fā)者可以輕松創(chuàng)建復雜的 AI 應用,如聊天機器人、圖像生成器和數(shù)據(jù)分析系統(tǒng)。
此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 現(xiàn)在支持 NIM,并提供將微服務(wù)集成到應用代碼中的高級功能,有助于確保無縫集成和優(yōu)化。
NVIDIA AI Blueprint,提供預構(gòu)建工作流
NVIDIA AI Blueprint 為 AI 開發(fā)者提供了借助 NVIDIA NIM 微服務(wù)構(gòu)建生成式 AI 工作流的先機。
Blueprint(藍圖)是即用、可拓展的參考樣本,可以打包所有必要元素(源代碼、示例數(shù)據(jù)、文檔和演示應用),以創(chuàng)建和自定義本地運行的高級 AI 工作流。開發(fā)者可以修改和拓展 AI Blueprint,以調(diào)整其行為、使用不同的模型或?qū)崿F(xiàn)全新的功能。
PDF 轉(zhuǎn)播客 AI Blueprint可以將文檔轉(zhuǎn)換為音頻內(nèi)容,以便用戶可以隨時隨地學習。通過從 PDF 中提取文本、圖像和表格,工作流利用 AI 生成信息豐富的播客。為了更深入地探討主題,用戶可以與由 AI 賦能的播客主持人進行互動式討論。
借助適用于 Linux 的 Windows 子系統(tǒng),在 RTX 上運行 NVIDIA NIM 和 AI Blueprint
使 NIM 微服務(wù)能夠在 PC 上運行,關(guān)鍵技術(shù)之一是適用于 Linux 的 Windows 子系統(tǒng)(WSL)。
微軟和 NVIDIA 合作 為 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上運行優(yōu)化的、容器化的微服務(wù)成為可能。從 PC 和工作站到數(shù)據(jù)中心和云計算,這使得相同的 NIM 微服務(wù)可以隨時隨地運行。
構(gòu)建、創(chuàng)造、創(chuàng)新
用于 RTX 的 NVIDIA NIM 微服務(wù) 和 AI Blueprint 現(xiàn)已在www.nvidia.cn/ai/提供,為開發(fā)者和 AI 發(fā)燒友構(gòu)建 AI 應用提供功能強大、隨時可用的工具。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5309瀏覽量
106348 -
AI
+關(guān)注
關(guān)注
88文章
35099瀏覽量
279539 -
微服務(wù)
+關(guān)注
關(guān)注
0文章
145瀏覽量
7739
原文標題:NVIDIA NIM 微服務(wù)現(xiàn)已推出,可簡化 RTX AI PC 和工作站上的智能體工作流
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
NVIDIA發(fā)布全新NIM AI Guardrail微服務(wù)
NVIDIA NeMo Guardrails引入三項全新NIM微服務(wù)
NVIDIA 發(fā)布保障代理式 AI 應用安全的 NIM 微服務(wù)
NVIDIA NIM微服務(wù)登陸亞馬遜云科技
全新NVIDIA NIM微服務(wù)實現(xiàn)突破性進展
NVIDIA助力企業(yè)創(chuàng)建定制AI應用
日本企業(yè)借助NVIDIA產(chǎn)品加速AI創(chuàng)新
NVIDIA 攜手全球合作伙伴推出 NIM Agent Blueprints,助力企業(yè)打造屬于自己的 AI

NVIDIA NIM微服務(wù)帶來巨大優(yōu)勢
借助NVIDIA NIM微服務(wù)助力可口可樂公司擴展生成式AI內(nèi)容
全新NVIDIA NIM微服務(wù)將生成式AI引入數(shù)字環(huán)境
采用OpenUSD和NVIDIA NIM微服務(wù)創(chuàng)建精準品牌視覺
全新 NVIDIA NeMo Retriever微服務(wù)大幅提升LLM的準確性和吞吐量

評論