案例介紹

• 通過全面的 GPU 優化，星瀾的端到端響應時間少于 2 秒，實現了近實時交互。

• 在角色的口型表情上，結合 NVIDIA Audio2Face 能力與 TensorRT 框架的性能優化，實現了毫秒級逼真地基于音頻的面部 Rig 參數合成

• 訓練提速比一般狀況下提升了 2-3 倍

客戶簡介

朝夕光年是一家面向全球用戶與開發者的游戲研發與發行公司。通過提供頂級游戲和打造玩家社群，朝夕光年致力于服務全球玩家，為每位玩家帶來有趣和激勵人心的體驗。

朝夕光年江南游戲工作室，成立于 2019 年 2 月。工作室主要聚焦中重度游戲和虛擬偶像研發，面向全球市場。

使用 GPU 實現數字人實時交互

在《星球：重啟》游戲中，李星瀾是游戲中每位幸存者最好的伙伴。她將是新手玩家的“引導員”，亦是玩家在歷險中的“好助手”，更是跌宕劇情中的“女主角”。她也將為了拯救世界，犧牲自己回到 21 世紀。這科幻色彩十足的游戲設定，賦予了李星瀾鮮活的人設，讓她的“靈魂”得以誕生。

李星瀾不僅僅只是簡單的游戲 NPC，她更是首位由江南游戲工作室所打造的真·元宇宙虛擬人，不僅在游戲中引導玩家，平時在游戲外，也會不定時在抖音上發布抖音直播、擔任代言人、主持人等角色，人氣爆棚的她也曾受邀領獎。

李星瀾也不是傳統意義上的“數字人”（Digital Human)，不僅外形更加仿真，更重要的是，驅動她的內核并非大家所認知的中之人（操縱虛擬主播進行直播的人），而是最新的 NVIDIA AI 技術。

朝夕光年江南游戲工作室提出建構了一個由 NVIDIA GPU 驅動的 AI 系統，包括文本到語音、音頻到全身動畫、視頻分析、渲染和聊天機器人，基于這些不同的應用模塊，團隊成功構建出一個逼真的實時交互數字人。2023 年 7 月，李星瀾甚至與玩家們在抖音平臺上成功連線，完成了一場直播，其直播總曝光量共高達 1.5 千萬，互動彈幕數量峰值 171 條/分鐘，為朝夕光年首次 AI 數字人實時互動直播創造了亮眼佳績。

從模型搭建、訓練、推理到部署，

解密數字人背后 AI 推手

江南游戲工作室與 NVIDIA 團隊為數字虛擬人的互動共同設計未來“AI 大腦”——一個可擴展性的 AI 系統。這個系統能通過 NVIDIA Omniverse 平臺連接李星瀾和后端負責生成聊天文本內容，以及通過聊天文本內容生成動畫的深度定制神經網絡。換言之，無論是她說話的內容、傳遞的表情、肢體的動作，都是通過定制開發的神經網絡來完成的。

為了加快在創造李星瀾中使用的深度學習模型的訓練周期，江南游戲工作室使用了 NVIDIA Ampere 架構 GPU 執行部署，并通過由 FasterTransformer 優化的自動語音識別（ASR）模塊，可以實時地將語音轉錄成文本。同時通過部署在 NVIDIA A30 Tensor Core GPU 上的動畫生成模塊，其使用一系列深度學習模型，可根據語音及文本響應生成逼真的面部表情和身體姿勢。除了通過 NVIDIA 硬件的支持，李星瀾團隊還利用了 FP16 混合精度訓練和 Megatron-LM 風格的模型并行方案，在不犧牲收斂質量的情況下，進一步提升訓練吞吐量。目前該系統能夠在兩天內完全訓練 Audio2Motion 和 Text2Speech 模型，并在五天內完全訓練基于 Transformer 的 Chatbot 模型，超過 10TB 的訓練數據。為了快速提升李星瀾的能力，所有模型均在 NVIDIA A100 Tensor Core 80GB GPU 上使用 DeepSpeed 訓練，實現了高吞吐量的持續學習，助力模型的快速演進。NVIDIA AI 解決方案使李星瀾具備了參與自然的實時會話的能力并能夠進行逼真的情緒表達。

在推理方面，團隊利用了另一部署在 NVIDIA A100 GPU 上的回復生成模塊，使用類似 GPT 的自回歸結構的大型語言模型（LLM）快速生成自然回復，并通過 FasterTransformer 加速，從而將推理延遲減半，使李星瀾能夠以高度響應的方式與觀眾互動。

部署在 NVIDIA A30 GPU 上的文本到語音（TTS）模塊，通過 cuBLAS 和 CUTLASS 編寫的高性能自定義 kernels 來進行加算，高效的將文本轉換成逼真的語音。

通過 NVIDIA GPU 的算力支持，并結合 NVIDIA 團隊量身定制的 AI 系統進行優化，江南游戲工作室在幾個月時間內就完成了打造高質量虛擬人的端到端迭代。

讓 AI 走進生活，

為各行業打造多元的應用場景

憑借其逼真的外觀和出色的會話能力，像李星瀾這樣的數字人為許多行業開辟了新的可能：

• 虛擬助手和聊天機器人：數字人可以在客戶服務等場景中作為互動的 AI 助手提供幫助和服務。

• 數字內容創作：逼真的視頻動畫為電影、電視、AR/VR 內容創作開辟了新的道路，可定制數字角色。

• 醫療保健：數字人可以模擬患者和醫生的互動來訓練醫療專業人員。

• 教育：數字人可以扮演虛擬導師或老師的角色，提供互動課程。

• 社交聯系：對于護理院等隔離群體，數字人可以通過自然對話提供陪伴。

視頻 1. 星瀾情感交互產品概念-雷鳥合作視頻

視頻 2. 星瀾情感交互產品概念-老人篇

通過江南游戲工作室的 AI 技術演進、NVIDIA 的底層算力支持，以及 NVIDIA Omniverse 平臺，我們能夠充分利用這些快速發展的前沿技術。隨著李星瀾的能力不斷提升，更多的應用將成為可能，從根本上改變人類與 AI 技術的互動方式。在不久的將來，李星瀾將給大家帶來更多的驚喜。

江南游戲工作室產品經理肉山（金昱含）表示：“基于 NVIDIA 軟硬件的支持，數字人 AI 產品的表現力將不斷突破原有上限。我們致力于在超寫實數字人和 AI 產品的探索上，不僅能越來越接近用戶訴求，也能真正實際應用于各式場景中。”

*本文中的圖片與視頻均來源于江南游戲工作室，若您有任何疑問或需要使用本文中的圖片與視頻，請聯系江南游戲工作室。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。