深圳望塵科技公司擁有國內領先的 AI 視覺算法團隊和實時渲染引擎，十年來一直專注于體育游戲與其相關 AI 視覺技術的研發，積累了巨量的球員角色數據庫，不僅有所有在國際足聯注冊的 2 萬名職業球員精確到厘米的球員體型、骨長、BMI、體脂肌肉比等數據，還有數千名頂級球員高精度的 3D 模型，幾乎全球所有主要球場的高精度模型。

基于這些高質量結構化的數據，Arena4D 可將捕捉結果在實時渲染引擎中以接近照片級真實的質量渲染，用完全自由的鏡頭特效和運鏡方式實現前所未有的震撼體驗。

基于以上挑戰，望塵科技選擇了采用 NVIDIA AI 計算平臺來提供支持，使用后給研發和項目落地帶來了巨大的支持和提升。

1、基于 GalaSports 體育游戲渲染生成巨量的合成數據，在 NVIDIA 數據中心 GPU 上進行加速訓練。首先在有 GT 的合成數據上訓練基礎網絡，然后再在手工標注的真實數據上進行 finetune。

2、Arena4D 采用了 NVIDIA TensorRT 推理加速引擎，TensorRT 首先對神經網絡進行量化處理，然后再優化、合并算子，最后經過 Batch 化，推理處理速度較原來提升了 4-12 倍，能高效地處理多路攝像頭 4k 高清數據，實時提取球員的 3D Pose 和外貌特征并進行匹配計算。

3、將原有基于 CPU 運行的數據拷貝，圖像格式轉換，圖像 crop/resize 等耗時較多的操作流水線，利用 CUDA 進行實現，完全切換到 GPU 處理，比起 CPU 實現的方案，加速 50~100 倍。

4、針對體育場景中運動員速度快、運動幅度大、圖像中尺寸小的特點，改進了網絡結構和算子，使其適合體育場這種稀疏變化，追蹤角色小的場景；提升了 MOT 算法，通過多個視圖的 fusion 網絡對 2D 追蹤結果進行 finetune，實現多視圖在 3D 空間的追蹤。

圖2：計算延遲解決思路

圖片來源及所屬：Galasports 望塵科技

6、整個流水線經過 TensorRT 編譯運行在 NVIDIA 數據中心 GPU 上，每路視頻信號由一張 GPU 進行實時計算，最后在 CPU 中對多路計算結果降噪融合。最終，以足球場場景為例，追蹤目標為 1 個足球 + 22 名球員 + 3 名教練的位置與骨骼，在一張 NVIDIA 數據中心 GPU 設備上我們實現了平均 50ms/幀的速度，在二張 NVIDIA 數據中心 GPU 設備上能達到平均 30ms/幀的速度，整個流水線比原型提升了 18 倍。

使用了 NVIDIA TensorRT 推理加速引擎和 NVIDIA 數據中心計算卡，Arena4D 整個流水線可實時運行，進一步提升了用戶使用體驗，為擴展 AI 體育方向的其他業務、甚至是 XR 場景的加入打下了良好的基礎。

Arena4D 通過 NVIDIA TensorRT 等技術，實現了多視圖在 3D 空間的追蹤、提升了識別骨長度和 BMI 等球員特征的準確率、完成了內存拷貝與數據處理的并行化、改進了網絡結構和算子使其適合體育場的稀疏變化，最終實現全流程 GPU 加速，速度提升超過 50～100 倍。

AI 體育行業是最受關注的人工智能應用領域之一，傳統的體育企業也開始擁抱科技，紛紛引入人工智能產業。一個集技術、人才與場景優勢的科技企業必須與一個優秀的合作伙伴一起積極開拓和長期發展。NVIDIA 提供的 GPU 解決方案，解決了深度學習和機器學習的技術難題，使得望塵科技在 AI 體育領域能夠持續不斷地創新產品，拓寬 AI 應用場景，為觀眾和球迷提供新時代的數字化全新觀賽體驗。

NVIDIA 初創加速計劃

望塵科技是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。NVIDIA 初創加速計劃為免費會員制、旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構，創業孵化器，創業加速器，行業合作伙伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業務推薦等一系列服務，加速創業公司的發展。

想獲得 NVIDIA 初創加速生態助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯系。