Project Mellon 是一個輕量級的 Python 軟件包，能夠利用強大的語音 AI（NVIDIA Riva）和大型語言模型（LLMs）（NVIDIA NeMo 服務），簡化沉浸式環(huán)境中的用戶交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 現(xiàn)已支持開發(fā)者進行測試。基于此，開發(fā)者可開始探索如何創(chuàng)建由自然語言語音指令控制的、解放雙手的擴展現(xiàn)實（XR）體驗。

正如 J·R·R·托爾金（J.R.R.Tolkien）在《都林之門（Doors of Durin）》中的謎語—“請說，朋友，而后進入”所示，文字可以移山倒海。Project Mellon 背后蘊含著一個基本理念，即以更實用有效的方式來利用語音 AI 和 LLM 之力打開虛擬世界的大門，并在其中完成更多的事情。

在 XR 中，用戶界面可能非常復雜且難以使用，會破壞虛擬、混合和增強現(xiàn)實的本質(zhì)—即沉浸式體驗的自然感。Project Mellon 可賦能多類應用程序（無論是 XR 還是平板生態(tài)）開發(fā)者，輕松地將自然語言理解作為以人為本且可解放雙手的新型用戶界面，添加至其開發(fā)的軟件之中。

Project Mellon 平臺包含以下組成部分：

• Project Mellon SDK（軟件開發(fā)套件）

• NVIDIA Riva（ASR 、TTS 、NMT）

• NeMo 服務（其他 LLM 也可獲取支持）

Project Mellon 1.0 發(fā)布的主要功能包括：

• 輕量且易于集成的 Python 庫

• 保持自然語言理解準確性的 LLM

• 無需特定指令進行訓練的零樣本語言模型

• 具有對話和視覺上下文的自然語言指令支持

• 支持詢問有關(guān)指令和情境的問題，并提供自然語言回答

• 用于理解和執(zhí)行指令的簡單 Python API

• 基于 Web 的測試應用程序

• 可以在本地或遠程托管 ASR、TTS、LLM 和神經(jīng)網(wǎng)絡機器翻譯（NMT），以實現(xiàn)低延遲響應

ESI 集團解決方案和技術(shù)專家 Jan Wurster 在 GTC 主題演講—“在虛擬現(xiàn)實中與 AI 協(xié)作：沉浸式數(shù)字助手（會議代碼：[S51355]）”中表示：“我們發(fā)現(xiàn)，通過集成對話式 AI 與 NVIDIA Project Mellon，可以降低使用 XR 展開協(xié)作的技術(shù)門檻，并為 IC.IDO Weave 用戶提供更加人性化的體驗。通過輸入自然語音，我們的虛擬 AI 助手可以幫助團隊完成復核任務、查詢可用情況或發(fā)現(xiàn)相關(guān)問題，這些功能無需記住特定指令、僅需輸入自然語言就可使用。”

（2023 年 4 月 10 日前登錄 GTC 官網(wǎng)，即可觀看演講回放，了解其團隊如何在動態(tài)、協(xié)作的 XR 環(huán)境中，在使用對話式 AI 的過程中受益）

Project Mellon 現(xiàn)已可供開發(fā)人員使用。觀看 Project Mellon 相關(guān)演示，了解如何利用自然語音指令，驅(qū)動設(shè)計審查、更改實時配置、控制機器人以及操縱相機和場景元素。

了解如何啟用 Project Mellon 進行開發(fā)

人工智能正在改變?nèi)祟惻c工作及工具進行交互的方式。開發(fā)人員可以通過語音 AI 和 Project Mellon，簡化并提升用戶體驗的人性化水平，且不再需要培訓用戶操作虛擬現(xiàn)實（VR）中的每一項功能。用戶可以在虛擬現(xiàn)實應用程序中，用自己的語言來控制 XR 體驗。

點擊“閱讀原文”，申請試用 Project Mellon。

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！