如何讓AR／VR設備更易于讓消費者接受一直是各大廠商需要應對的問題，除了價格外，設備的舒適度、功能和效果都是消費者很看重的因素。而當前市場上的設備大部分從外形上來看都較為笨重，也并不適合長時間佩戴。從視覺效果來說，越好的設備就需要越強的運算能力并消耗更大的電量，這也就意味著設備在外形設計上處處受制。那么該如何降低設備功耗，令設備可以更加輕便的同時又不影響圖像質量？

為此，Facebook的研究部門Facebook Reality Labs基于神經網絡開發了一款名為DeepFovea的圖形渲染系統，以應對這個挑戰。以下是Facebook在其博客上發表的完整文章： 在Facebook Reality Labs，我們正在建立一個未來，讓現實世界和虛擬世界可以自由地混合在一起，使我們的日常生活更輕松，生產力更高，并相互連接在一起。功耗是實現該未來的挑戰之一。為了獲得可以在任意長時間（包括整天）內舒適佩戴的增強現實和虛擬現實（AR ／ VR）設備，VR頭戴設備都必須具有更高的能效，而AR眼鏡必須消耗較少的電量。作為構建達到更高級別的AR ／ VR系統的一部分，我們正在開發可顯著降低功耗而又不影響圖像質量的圖形系統。

DeepFovea是我們為應對這一挑戰而開發的幾種基于神經網絡的方法之一。DeepFovea是一種渲染系統，它應用了最近發明的AI生成對抗網絡（GAN）概念，以模仿我們的外圍視覺在日常生活中感知世界的方式，并利用可感知匹配的架構來提供前所未有的圖形效率。

DeepFovea的神經渲染遠遠超出了當今Oculus產品中使用的傳統的凹版渲染系統，從而可以生成與全分辨率圖像在視覺上無法區分的圖像，而渲染的像素數卻不到10％。現有的集中式渲染方法需要渲染的像素大約是全分辨率圖像的一半，因此DeepFovea降低渲染要求的數量級代表了感知渲染的新里程碑。 我們首先在2019年11月的SIGGRAPH Asia上展示了DeepFovea。今天，我們將完整的演示發布到我們的DeepFovea存儲庫中，以幫助圖形研究社區加深對最新感知渲染的探索。

DeepFovea：以AI為動力的外圍視覺建模

DeepFovea的關鍵是利用人眼的生理功能。當人們的眼睛直接看著物體時，來自該物體的光子會落在視網膜的中央凹區域，簡稱中央凹。中央凹是視網膜中唯一具有高分辨率的部分，并且它僅占整個視網膜中很小一部分。在人眼超過150度的視野中，最高分辨率的區域僅跨越3度，在距中央凹中心10度以內的分辨率下降了一個數量級。我們覺得我們擁有更廣闊的高分辨率視野，但這是因為我們的大腦保存了周圍環境的模型并填充了缺失的細節，同時又將中央凹迅速移至我們任何感興趣的對象上。實際上，我們只有一個很小的高分辨率視野區域，而對圍繞它的一切事物的感知卻非常模糊。

但這并不是說外圍視覺并不重要。外圍視覺對于平衡、運動檢測和周圍環境感知非常重要，并可以提示大腦下一步該去哪里。但是它區分細節的能力受到極大限制。 DeepFovea使用最少的必要數據量來生成與視網膜分辨率匹配的圖像。給定一個稀疏渲染的圖像，其可變分辨率與在任何給定時刻指向中央凹的位置的每個點處的視網膜分辨率相匹配，DeepFovea會推斷丟失的數據。至關重要的是，在給定視網膜的分辨率和圖像處理特性的情況下，所產生的結果在感覺上與全分辨率圖像沒有區別。但這并不意味著結果是相同的－實際上，如在下例中看到的那樣，當人們使用中央凹觀察時，所看到的圖像與全分辨率圖像通常并不接近－但外圍視覺的較低分辨率處理可以讓人察覺不到差異。

DeepFovea通過使用生成對抗網絡（GAN）推斷丟失的外圍信息。我們通過提供數百萬個具有人為降低的外圍質量的真實視頻來訓練DeepFovea的神經網絡。人工降級的視頻模擬了外圍圖像的降級，基于GAN的設計可幫助網絡根據所看到的所有視頻的統計信息來學習如何填充缺失的細節。 結果，渲染器可以少渲染幾個數量級的像素，甚至更少——像素密度可以在60×40度視場的外圍減少多達99％的像素，從而節省了大量的時間功耗。得益于DeepFovea和眼動追蹤技術，觀看者才能以完全相同的質量感知完全相同的場景。 DeepFovea還可以確保人眼不會察覺到周圍的閃爍，混疊和其他視頻偽像。

此動圖演示了DeepFovea如何在頭顯設備佩戴者的注視（由光標表示）下，在場景中的元素之間移動時重建偏心的視覺效果。觀察輸入像素的數量如何遠離中心視覺區域減少，從而匹配視網膜的分辨率，然后DeepFovea如何在像素落在視網膜外圍區域的情況下以與全分辨率呈現的像素不同，但在感知上卻相同的方式重建圖像，且最終效果與理想圖像無法區分。

未來是光明且高效的

我們的最終目標是使實時集中式渲染在輕便、高能效的AR ／ VR設備上運行，該設備可以讓用戶整天佩戴。DeepFovea建立了新的感知渲染效率標準，這標志著朝向該目標邁出的重要一步，該方法證明了感知的質量損失，同時渲染的像素數不到傳統渲染器的10％。這種方法也與硬件無關，這使DeepFovea能夠與各種AR ／ VR研究系統兼容。

盡管DeepFovea解鎖了在AR和VR中進行有效渲染的重要方法，但這僅僅是探索超低功耗感知渲染的開始。通過發布除我們的研究論文外的DeepFovea演示，我們希望為有興趣為感知和神經渲染技術的發展做出貢獻的圖形和視覺科學研究人員提供一個有用的框架。

責任編輯：gt