您最后一次在 PC 或游戲機上玩視頻游戲是什么時候？如果它是最受歡迎的游戲之一，您可能已經(jīng)注意到圖形的逼真程度。今天，最先進的 PC 和主機游戲中的圖形正在接近我們在電影中看到的真實感。

創(chuàng)建逼真的實時計算機生成圖形的最重要元素之一是場景的照明。渲染 3D 圖形的傳統(tǒng)方式（光柵化）在模擬逼真的光照和陰影方面并不是最強大的技術(shù)。這是因為光柵化的工作原理是將虛擬多邊形網(wǎng)格化為 3D 模型，然后將這些模型分解為必須單獨著色的像素，而這個過程需要大量的工作和計算資源，并且經(jīng)常需要復(fù)雜的開發(fā)人員技術(shù)。

電影動畫師早就知道這一點，轉(zhuǎn)而使用光線追蹤技術(shù)來制作全局照明、陰影和反射等效果。光線追蹤是一種輕松準確地模擬光線行為的方法，可以讓場景看起來更逼真，并且創(chuàng)建工作量更少。該技術(shù)更符合人眼看待世界的方式，光線從環(huán)境中的物體反射回來，并根據(jù)物體的材料成分吸收/反射光線。

因為光線追蹤可以實現(xiàn)更逼真的效果，開發(fā)人員可以使用它為游戲玩家創(chuàng)造更加身臨其境的體驗。而且由于使用光線追蹤比使用傳統(tǒng)光柵化更容易創(chuàng)建這些效果，因此它可以騰出開發(fā)人員的時間來處理游戲的其他方面。

然而，在游戲中使用光線追蹤技術(shù)的缺點是，要獲得真正身臨其境的體驗，光線追蹤必須實時完成。這意味著必須在幾分之一秒內(nèi)渲染圖像，這使得它在處理和資源方面的成本高得令人望而卻步。

今天，市場上的硬件可以在控制臺和 PC 游戲中啟用實時光線追蹤效果，但它被選擇性地用于僅照亮場景中最關(guān)鍵的對象，并且在某些情況下，用戶可以決定如何使用它。考慮到性能限制，他們可以決定是否要使用它來生成反射與陰影，或者完全使用它——他們可能會選擇關(guān)閉它以優(yōu)化幀速率。底線是存在性能權(quán)衡。

當前具有光線追蹤功能的硬件通過提供比前幾代更多的光線追蹤處理來提高性能，但它需要更多的硅面積和更多的功率。如今，在功率受限的設(shè)備中實現(xiàn)實時光線追蹤極具挑戰(zhàn)性，因此該技術(shù)還沒有為手機游戲玩家的屏幕增添光彩。然而，由于移動游戲?qū)⒃?2021 年占全球游戲市場的 52% ，因此這是一個不容忽視的圖形人口統(tǒng)計數(shù)據(jù)。

當今移動設(shè)備中的圖形

盡管尚未獲得光線追蹤技術(shù)的幫助，移動圖形質(zhì)量仍在繼續(xù)提高。隨著圖形變得越來越逼真，使用傳統(tǒng)技術(shù)制作它們的能力變得越來越復(fù)雜，這將性能、帶寬和功率要求推向了移動處理器的極限。

陰影的產(chǎn)生就是一個很好的例子。陰影生成傳統(tǒng)上是通過級聯(lián)陰影貼圖完成的——這個過程需要大量的幾何處理、大量緩沖區(qū)的分配、以高分辨率處理多個渲染目標以及昂貴的著色器操作。在處理周期、功耗和帶寬方面的成本是巨大的。而且，在所有這些投資之后，結(jié)果仍然不如通過使用光線追蹤以更容易的方式創(chuàng)建的結(jié)果那么現(xiàn)實。

使用光線追蹤技術(shù)，光線從單個像素發(fā)送到光源，如果光線擊中某物，該區(qū)域就會處于陰影中。每像素一條射線使這成為一個簡單、廉價且直接的過程，尤其是在使用專用硬件的情況下。傳統(tǒng)光柵化遇到的許多分辨率問題、偽影和其他挑戰(zhàn)（例如避免浮動幾何所需的偏置）在光線追蹤中不存在。只要可以有效地實現(xiàn)專用硬件，創(chuàng)建光照和陰影效果就變成了一個微不足道的挑戰(zhàn)。

今天，該行業(yè)正處于一個交叉點，使用陰影貼圖和其他傳統(tǒng)技術(shù)進行的近似變得如此昂貴，以至于實時光線追蹤實際上正在成為一種更有效的選擇。此外，隨著我??們接近摩爾定律的終結(jié)，我們不能再指望可編程硬件每兩年以指數(shù)方式變得更強大。因此，為了繼續(xù)加快光線追蹤技術(shù)的進步，特別是對于功率受限的移動平臺，業(yè)界必須尋求高效設(shè)計的固定功能加速器解決方案。

在移動設(shè)備中不斷制作更好的圖形的關(guān)鍵在于硬件和開發(fā)人員優(yōu)化技術(shù)的效率。

光線追蹤硬件的現(xiàn)狀

實時光線追蹤技術(shù)長期以來一直是 3D 圖形的圣杯。光線追蹤可以在不同級別的性能和效率下執(zhí)行，為了突出這一點，Imagination 建立了光線追蹤級別系統(tǒng)（RTLS），識別了從 0 級到 5 級的六個級別的光線追蹤。最初的硬件加速光線追蹤工作 –我們在 RTLS 量表上所說的 0 級并不是最優(yōu)的。這些解決方案功能有限，需要定制硬件和應(yīng)用程序編程接口 （API）。當然，這些解決方案對開發(fā)人員來說并不是很有趣。市場隨后發(fā)展到“1 級”解決方案，該解決方案在傳統(tǒng) GPU 上使用基于軟件的計算。這樣的解決方案提供了更大的靈活性，但距離理想還有很長的路要走。

我們今天在市場上看到的大多數(shù)光線追蹤技術(shù)（例如用于 PC 和游戲機）都是我們所說的 2 級 RTLS 解決方案。這些具有用于光線追蹤最基本和最廣泛操作的專用硬件：針對相交的方框和三角形測試光線。將其放入固定功能的硬件中可以獲得更好的電源效率，但對于移動設(shè)備來說仍然不夠好。在 GPU 計算核心上的軟件著色器程序中，還有多個額外級別的光線追蹤過程需要完成，更糟糕的是，這些處理階段對 GPU 內(nèi)的并行執(zhí)行引擎并不友好。這也導(dǎo)致傳統(tǒng)圖形效果的性能降低，并且在使用算術(shù)邏輯單元（ALU）管道方面效率不高，

當今市場上最復(fù)雜的光線追蹤解決方案處于 3 級。這些解決方案在專用硬件中實現(xiàn)了更多的光線追蹤功能，卸載了著色器內(nèi)核以提高效率。在此級別，涉及遍歷包圍體層次結(jié)構(gòu) （BVH）（光線追蹤的主要數(shù)據(jù)結(jié)構(gòu)）的完整光線相交處理在專用硬件中實現(xiàn)。這提高了更復(fù)雜場景的光線追蹤效率，并更好地卸載了光線追蹤功能，減少了對傳統(tǒng)圖形性能的影響。

但是，這些解決方案仍然缺乏使光線追蹤在移動設(shè)備中成為可能所需的基本組件：相干性收集。由于光線傾向于在許多不同的方向上散射，如果不解決相干性問題，GPU 通常具有的許多并行性優(yōu)勢就會喪失。這會導(dǎo)致較低的帶寬利用率、復(fù)雜的數(shù)據(jù)訪問模式以及著色器管道處理效率的降低。雖然這些解決方案可能聲稱可以實現(xiàn)每秒高千兆射線，但它們通常效率低下。這可能與 GPU 處理資源的低利用率或內(nèi)存訪問限制有關(guān)，這是由于光線在整個場景中的散射導(dǎo)致的非相干內(nèi)存訪問模式造成的。

要讓實時光線追蹤在移動設(shè)備中成為現(xiàn)實，它與效率、利用 GPU 中固有的并行性以及開發(fā)用于硬件優(yōu)化的智能算法有關(guān)。需要的是更智能的硬件解決方案。

更智能的光線追蹤硬件

該行業(yè)必須超越 3 級硬件，才能在移動設(shè)備中實現(xiàn)實時光線追蹤。在 Imagination，迄今為止，我們已經(jīng)為超過 100 億臺移動設(shè)備提供了 3D 圖形技術(shù)。我們知道如何在高效的硬件中提供令人驚嘆的圖形。2016 年，Imagination 的光線追蹤開發(fā)板已經(jīng)比當今市場上的解決方案更加復(fù)雜。現(xiàn)在，我們將 4 級 RTLS 光線追蹤解決方案推向市場。

在第 4 級，BVH 的光線遍歷是在專用硬件中完成的，就像在第 3 級中一樣，但更關(guān)鍵的是，光線的相干性排序也是如此。在此過程中，我們將沿同一方向傳播的光線分組，從而允許處理大批量以充分利用構(gòu)成每個 GPU 基礎(chǔ)的并行計算方法。

長期以來，我們一直利用 GPU 中固有的并行性以及基于切片的渲染等技術(shù)，通過這些技術(shù)，我們通過切片的空間局部性排序來提高效率。今天，這是普遍接受的做法。現(xiàn)在，我們通過光線的分類將相同的想法帶入光線追蹤。通過這種方式，我們提高了寬 ALU 的整體利用率并顯著提高了測試效率。對傳統(tǒng)圖形性能的影響也很小，因為我們幾乎將光線追蹤處理完全卸載到專用硬件中，讓著色器核心可用于所有其他非光線追蹤處理。

我們的第 4 級 RTLS 解決方案代表了當今可用的最高光線追蹤，并且很快就會采用這種技術(shù)實現(xiàn)市場化。借助 Imagination 的 4 級光線追蹤 IP IMG CXT，公司可以構(gòu)建 FP32 光柵化性能高達 9TFLOPS 和光線追蹤性能超過 7.2GRay/s 的 SoC，同時實現(xiàn)高達 2.5 倍的功率效率。到今天的 2 級或 3 級解決方案。

開發(fā)者優(yōu)化技術(shù)

即使是最高效的硬件仍然可以使用一些幫助來在移動平臺上提供最佳圖形質(zhì)量。移動設(shè)備的優(yōu)化比控制臺或 PC 更重要，在某種程度上，通過暴力破解帶寬和功率預(yù)算可用性過高的問題來容忍低效率。手機沒有這種蠻力容忍度，因為一切都必須以很小的形式工作，并基于小電池提供的能量運行。手機的特性意味著硬件必須由游戲引擎有效驅(qū)動，以確保手機不會過熱、降低時鐘和降低幀率。這意味著為移動設(shè)備創(chuàng)建硬件的關(guān)鍵之一是優(yōu)化管理熱效應(yīng)。

我們告訴開發(fā)人員首先要考慮的是少即是多：并非場景中的每個像素都需要光線追蹤。我們建議開發(fā)者使用他們的光線追蹤預(yù)算來獲得最大的視覺沖擊和游戲體驗價值。同樣，針對每個三角形測試每條射線也太復(fù)雜了。通過構(gòu)建有效的層次結(jié)構(gòu)，開發(fā)人員可以在確定要測試哪些三角形時提高硬件效率。構(gòu)建最好的加速結(jié)構(gòu)通常最好離線完成。

開發(fā)人員還應(yīng)避免使用所有蠻力算法。像軟陰影這樣的效果可以通過像素間更智能的采樣器模式來實現(xiàn)，并將它們與空間過濾器結(jié)合起來，而不是在每個像素中發(fā)出許多光線。此外，大多數(shù)光線追蹤效果可以以較低的分辨率渲染——例如，以四分之一的分辨率進行處理——然后按比例放大。然后可以使用圖像的時間和空間屬性通過去噪濾波器減輕稀疏采樣的光線追蹤噪聲。其中許多階段可以折疊在一起，并且可以在傳統(tǒng)的 GPU 計算硬件上高效運行。還可以利用幾乎每部手機中已經(jīng)提供的專用神經(jīng)網(wǎng)絡(luò)加速引擎。

開發(fā)人員可以使用許多其他技術(shù)來優(yōu)化移動設(shè)備，例如全局照明的動態(tài)探針、API 的周到使用等等。最重要的是，高效的光線追蹤硬件與智能開發(fā)人員優(yōu)化相結(jié)合，將是讓實時光線追蹤在移動設(shè)備上成為現(xiàn)實的關(guān)鍵。

移動設(shè)備的游戲規(guī)則改變者

有可能——通過新的高效專用硬件和設(shè)計技術(shù)——將光線追蹤技術(shù)引入移動設(shè)備。這是一個真正的游戲規(guī)則改變者。它不僅可以為開發(fā)人員提供世界上最大的游戲人群，還可以使移動設(shè)備制造商在其產(chǎn)品中進一步實現(xiàn)差異化，并允許開發(fā)人員在移動設(shè)備上創(chuàng)建新的沉浸式用戶體驗。

審核編輯：郭婷