AI 的深入發展推動人機交互領域的技術不斷革新，“數字人”市場快速升溫。隨著用戶對人機交互智能化提出了更高的要求，加之計算機視覺和自然語言處理等技術的迭代升級和互相融合，多模態人機交互成為新的發展趨勢。

中科深智聚焦動作和表情的實時生成引擎研發，打造了數字人多模態實時驅動引擎 Motionverse，賦能各類元宇宙和數字人業務發展。中科深智將 Motionverse 引入 NVIDIA Omniverse 平臺，借助 Omniverse 平臺的開源模塊化架構，加速功能開發，為 Motionverse 創建了更多落地場景。

多模態數字人實時驅動開發：細節成為“攔路虎”

當前多模態技術仍存在語義鴻溝、異構鴻溝、數據缺失三大難點，后續開發仍需持續突破技術難點。多模態數字人開發覆蓋文字、語音、視覺的理解和生成，動作識別和驅動，環境感知等多方面，對視覺、語音、自然語言處理等提出了更高的算法和技術需求。

Motionverse 引擎在最初的設定中，包括了面部、上半身、聲音、DM 等多種方式，但在實際開發過程中也會遇到很多細節問題。因此，如何在引擎中實現技術融合、推動實現更為高效的多模態人機交互需要更為全面的底層技術支持。

Omniverse 模組化設計賦能數字人開發

NVIDIA Omniverse 是可實現 3D 設計協作和真實模擬的可擴展式多 GPU 虛擬世界平臺。中科深智依靠 Omniverse 平臺的模組化設計，借助 Omniverse 底層技術支持 AI 生成動作表情后的驅動，使驅動過程更為高效、清晰。

中科深智與 NVIDIA 開展深度合作，將其多模態數字人表情和動作生成及實時驅動平臺——Motionverse 接入 3D 模擬和協作平臺 NVIDIA Omniverse，同時結合 NVIDIA 多個 SDK 提供的強大 AI 能力（如 Avatar Cloud Engine 和 Maxine 等），為全球設計師和開發者提供完整的數字人全套即插即用的解決方案。

NVIDIA Omniverse Avatar Cloud Engine（ACE）是基于云的 AI 模型和服務的集合，建立在 NVIDIA 統一計算框架（UCF）之上，其豐富的軟件工具和 API 可供開發者輕松構建、自定義和部署生動的交互式虛擬形象。

NVIDIA Maxine 是 Omniverse ACE 的一部分，是一套由 GPU 加速的 AI 軟件開發套件（SDK）和云原生微服務，用于部署經過優化和加速的 AI 功能。Maxine 云原生微服務允許開發者構建實時 AI 應用。微服務還可以獨立管理，開發者可以在云端進行無縫部署，縮短開發周期。

Omniverse 助力 Motionverse 加速落地場景構建

Motionverse 借助 Omniverse 平臺，可助力 Omniverse 用戶以更簡便、更精準的方式驅動數字人，實現高效率、低成本、大批量、全自動的多模態動作數據解析、生成、影像渲染及內容輸出，讓數字人的動作和表情變得生動、靈活、真實。

中科深智借助 Omniverse 平臺加速引擎功能開發，更加高效地上線了面部驅動、上半身驅動和聲音驅動等功能，同時還將借助 Omniverse 平臺的 3D 設計協作及可擴展的多 GPU 實時逼真仿真，針對當前互動效果進行持續更新，著力擴展更多的驅動模態。

同時中科深智還加入了 NVIDIA 初創加速計劃，其聯合創始人兼 CTO 宋健表示，“作為 NVIDIA 初創加速計劃會員，我們獲得了市場、技術等多方面的支持。我們還獲邀參與了 2022 NVIDIA 初創企業展示活動，并進入了最終展示。通過與 NVIDIA 的深度合作，中科深智將公司的多模態數字人表情和動作生成及實時驅動平臺——Motionverse 接入設計師協同設計平臺 NVIDIA Omniverse，同時結合 NVIDIA 多個 SDK 提供的強大 AI 能力，包括 Maxine 以及 ACE 數字人為全球設計師和開發者提供完整的數字人全套即插即用的解決方案。”

審核編輯：湯梓紅