NeMo Guardrails 幫助企業確保建立在大型語言模型上的應用符合其功能安全和信息安全要求。
全新發布的開源軟件能夠幫助開發者指導生成式 AI 應用生成令人印象深刻的文本響應,并保持在正軌上。
NeMo Guardrails有助于確保大型語言模型(LLM)驅動的智能應用準確、恰當、符合主題且安全。該軟件包含了企業為提高可以生成文本的 AI 應用程序的安全性所需的所有代碼、示例和文檔。
LLM 正在被用于回答客戶的問題、總結冗長的文件,甚至編寫軟件和加速藥物研發。作為這些 AI 應用背后的強大引擎,LLM 正在被越來越多的行業所采用,此次發布恰逢其時。
NeMo Guardrails 專為幫助用戶保證這類新型 AI 賦能的應用的安全性而開發。
強大的模型,強大的護欄
生成式 AI 的安全性是人們普遍關心的問題。NVIDIA 設計 NeMo Guardrails 是為了讓它適用于所有 LLM,例如 OpenAI 的 ChatGPT。
該軟件可以讓開發者調整 LLM 驅動的應用,以確保模型的安全性并在公司的專業領域內。
NeMo Guardrails 使開發者能夠構建三種邊界:
主題護欄防止應用偏離進非目標領域,例如防止客服助理回答關于天氣的問題。
功能安全護欄確保應用能夠以準確、恰當的信息作出回復。它們能過濾掉不希望使用的語言,并強制要求模型只引用可靠的來源。
信息安全護欄限制應用只與已確認安全的外部第三方應用建立連接。
幾乎每個軟件開發人員都可以使用 NeMo Guardrails,他們不需要成為機器學習專家或數據科學家,只需幾行代碼就可以快速創建新的規則。
與熟悉的工具集成
NeMo Guardrails 是開源的,因此它可以與企業應用開發人員使用的所有工具搭配使用。
例如,它可以在 LangChain 上運行。LangChain 是一個開源工具包,越來越多的開發者用它來將第三方應用嵌入到 LLM 中。
LangChain 工具包的創建者 Harrison Chase 表示:“用戶可以輕松地將 NeMo Guardrails 添加到 LangChain 工作流程中,以快速為其 AI 應用設置安全邊界。”
此外,NeMo Guardrails 專為適用于廣泛的基于 LLM 的應用而設計,例如 Zapier。Zapier 是一個被超過 200 萬家企業使用的自動化平臺,它見證了用戶如何將 AI 集成到他們的工作中。
Zapier 的 AI 首席產品經理 Reid Robinson 表示:“功能安全,信息安全和信任是負責任的 AI 開發的基石,我們對 NVIDIA 主動將這些護欄嵌入 AI 智能系統感到興奮”
“我們期待著讓 AI 成為未來可靠并值得信賴的一部分所帶來的益處。”
由 NVIDIA 提供,現已開源可用
NVIDIA 正在將 NeMo Guardrails 整合到 NVIDIA NeMo 框架中,該框架包含用戶使用公司的專有數據來訓練和調整語言模型所需的一切。
NeMo 框架的大部分內容已在 GitHub 上作為開放源碼提供。作為 NVIDIA AI Enterprise 軟件平臺的一部分,它還可以以完整的支持包的形式提供給企業。
NeMo 還可作為一項服務使用。作為 NVIDIA AI Foundations 的一部分,這套云服務面向希望基于自己的數據集和領域知識創建、運行自定義生成式 AI 模型的企業。
通過使用 NeMo,韓國領先的移動運營商構建了一個智能助手,該助手目前已經與客戶進行了 800 萬次對話;瑞典的一個研究團隊使用 NeMo 創建了 LLM,為該國醫院、政府和商業機構自動生成文本。
需要整個社區的長期共同努力
為生成式 AI 構建有效的護欄是一項難題,隨著 AI 的發展將需要大量持續的研究。
NVIDIA 將其多年研究成果——NeMo Guardrails 開源,為釋放開發者社區的巨大能量及推動 AI 安全工作作出了貢獻。
NVIDIA 在護欄方面的努力將幫助企業確保他們的智能服務滿足功能安全、隱私和信息安全的要求,從而使這些創新引擎保持在正軌上。
審核編輯:湯梓紅
-
NVIDIA
+關注
關注
14文章
5257瀏覽量
105832 -
AI
+關注
關注
88文章
34378瀏覽量
275596 -
聊天機器人
+關注
關注
0文章
348瀏覽量
12719
原文標題:將 AI 保持在正軌:NVIDIA 開源軟件幫助開發者為 AI 聊天機器人添加護欄
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
開源鴻蒙開發者大會2025·AI分論壇圓滿閉幕,探索開源鴻蒙AI無限可能

評論