Facebook人工智能研究院日前通過博文簡述了如何通過集成式機器學習來實現低延遲的移動VR圖形。具體來說，團隊介紹了一個為VR一體機的渲染管道運行機器學習的全新低延遲高效能框架。這個架構允許所述設備利用機器學習來顯著提升圖像質量和視頻渲染。

研究人員根據這一框架創建了一個示例應用，它能夠重建更高分辨率的渲染（稱為超分辨率），以最少的計算資源提高移動芯片組的VR圖形保真度。這個全新框架同時可以用于執行面向的流式傳輸內容時的壓縮偽影去除，幀預測，特征分析，以及針對引導式注視點渲染的反饋。

1. 工作原理

在典型的移動VR渲染系統中，應用引擎在每個幀的開頭檢索運動追蹤數據，并使用所述信息為每只眼睛生成圖像。為了支持VR應用的有效工作，系統通常會嚴格限制整個圖形管道的處理時間。例如為了90Hz的刷新率，兩個眼圖緩沖區的渲染時間預算為11毫秒。

為了克服所述限制，團隊研發的新架構減輕了模型執行的負擔，所以專用處理器能夠實現異步化。在這種設計中，數字信號處理器（DSP）或神經處理單元（NPU）與圖形處理單元（GPU）實現管道化，并獲取部分渲染緩沖區或整個渲染緩沖區以進行進一步的處理。系統異步拾取內容，方式是在將其發送到顯示器之前GPU為延遲補償而扭曲線程。

上圖說明了如何在圖形顯示管道中將DSP的機器學習模型執行與其他處理器并行化。

為了提高性能，Facebook修改了操作系統中的圖形內存分配系統，將專用分配器用于GPU-DSP共享內存。這比直接映射更為有效，因為圖形幀緩沖區通常是優化僅GPU的訪問（并且在CPU上的表現不佳），同時需要特殊的內存注冊過程來避免在運行時通過遠程調用所進行的復制。

團隊使用所述示例應用對管道進行了測試，它應用了深度學習來改善中心區域的圖像質量，但對場景其他部分使用了更高效，分辨率更低的渲染。超分辨內容在異步時間扭曲中與周圍區域混合。如果在每個方向上將分辨率降低大約70％，則可以節省大約40％的GPU時間，并且開發者可以使用節省的資源來生成更優的內容。為了在VR中實現時間連貫且視覺愉悅的結果，Facebook通過專門設計的時間損失函數來訓練循環網絡。

2. 意義

創建下一代VR和AR體驗需要尋找新的、更有效的方法來渲染高質量低延遲圖形。由于時間偽影更易感知，VR頭顯中的低視覺暫留顯示器難以接受傳統的渲染和超分辨率技術。Facebook人工智能團隊提供了利用AI來幫助移動芯片設備應對所述挑戰的一種新方法。

他們表示：“除了AR/VR應用外，通過消除內存限制并在圖像質量增強，偽影去除和幀外推等方面實現其他創新，我們相信這個新框架可以為移動計算圖形領域的創新打開大門。”

編輯：hfy