編程模型引入到圖形管道中，因?yàn)閰f(xié)同使用線程在芯片上直接生成緊湊網(wǎng)格（ meshlets ），供光柵化器使用。處理高幾何復(fù)雜度的應(yīng)用程序和游戲得益于兩階段方法的靈活性，該方法允許有效的剔除、詳細(xì)程度的技術(shù)以及程序生成。

這篇文章介紹了新的管道，并給出了 GLSL 中用于 OpenGL 或 Vulkan 渲染的一些具體示例。新功能可以通過 OpenGL 和 Vulkan 中的擴(kuò)展以及使用 DirectX 12 旗艦版 來訪問。

以下大部分內(nèi)容摘自此 錄制的演示文稿 ，稍后將提供完整的幻燈片。

1網(wǎng)格著色管線

2網(wǎng)格和網(wǎng)格著色

3預(yù)計(jì)算網(wǎng)格

3.1數(shù)據(jù)結(jié)構(gòu)

3.2呈現(xiàn)資源和數(shù)據(jù)流

3.3使用任務(wù)著色器進(jìn)行簇消隱

4Conclusion

5References

動(dòng)機(jī)

現(xiàn)實(shí)世界是一個(gè)視覺豐富、幾何復(fù)雜的地方。尤其是室外場(chǎng)景可以由數(shù)十萬種元素（巖石、樹木、小植物等）組成。 CAD 模型在復(fù)雜形狀的表面以及由許多小零件組成的機(jī)械上都存在類似的挑戰(zhàn)。在視覺效果中，大型結(jié)構(gòu)，例如宇宙飛船，通常都用“ greebles ”來詳細(xì)說明。圖 1 顯示了幾個(gè)例子，其中，具有頂點(diǎn)、細(xì)分和幾何體著色器的圖形管道、實(shí)例化和間接多重繪制雖然非常有效，但當(dāng)全分辨率幾何體達(dá)到數(shù)億個(gè)三角形和數(shù)十萬個(gè)對(duì)象時(shí)，仍然會(huì)受到限制。

上面未顯示的其他用例包括在科學(xué)計(jì)算中發(fā)現(xiàn)的幾何圖形（粒子、字形、代理對(duì)象、點(diǎn)云）或程序形狀（ ele CTR ic 工程布局、 vfx 粒子、帶狀和軌跡、路徑渲染）。

在這篇文章中，我們研究了 網(wǎng)格著色器 來加速重三角形網(wǎng)格的渲染。原始網(wǎng)格被分割成更小的 meshlets ，如圖 2 所示。理想情況下，每個(gè)網(wǎng)格都可以優(yōu)化其中的頂點(diǎn)重用。使用新的硬件階段和這種分割方案，我們可以并行地繪制更多的幾何圖形，同時(shí)獲取較少的總體數(shù)據(jù)。

例如， CAD 數(shù)據(jù)可以達(dá)到幾千萬到數(shù)億個(gè)三角形。即使在 遮擋篩選 之后，也可以存在大量的三角形。在這種情況下，管道中的某些固定函數(shù)步驟可能會(huì)造成浪費(fèi)的工作和內(nèi)存負(fù)載：

通過硬件的 原始分配器 每次掃描 indexbuffer 來批量創(chuàng)建頂點(diǎn)，即使拓?fù)浣Y(jié)構(gòu)沒有改變

獲取不可見數(shù)據(jù)的頂點(diǎn)和屬性（背面、視錐體或亞像素剔除）

網(wǎng)格著色器 為開發(fā)人員提供了避免此類瓶頸的新可能性。（例如，在第 4 個(gè)緩存中，與第 4 個(gè)緩存相對(duì)應(yīng)）的方法（例如，在第 4 個(gè)緩存中，直接讀取第 4 個(gè)三角形）。

網(wǎng)格著色器階段為光柵化器生成三角形，但在內(nèi)部使用協(xié)作線程模型，而不是使用單線程程序模型，類似于計(jì)算著色器。管道中網(wǎng)格著色器前面是任務(wù)著色器。任務(wù)著色器的操作類似于細(xì)分的控制階段，因?yàn)樗軌騽?dòng)態(tài)生成工作。但是，與網(wǎng)格著色器一樣，它使用協(xié)作線程模型，而不是將面片作為輸入，將細(xì)分決策作為輸出，而是用戶定義其輸入和輸出。

這簡化了片上幾何體的創(chuàng)建，與之前嚴(yán)格且有限的細(xì)分和幾何體著色器相比，后者只需將線程用于特定任務(wù)。

網(wǎng)格著色管線

一個(gè)新的兩階段管道替代方案補(bǔ)充了經(jīng)典的屬性獲取 頂點(diǎn)、細(xì)分、幾何體著色器 管道。這條新管道由 任務(wù)著色器 和 網(wǎng)格著色器： 組成

任務(wù)著色器 ：可編程單元，在工作組中工作，允許每個(gè)單元發(fā)射（或不發(fā)射）網(wǎng)格著色器工作組

網(wǎng)格著色器 ：一種可編程單元，在工作組中運(yùn)行，允許每個(gè)工作組生成原語

mesh shader stage 在內(nèi)部使用上述協(xié)作線程模型為光柵化器生成三角形。任務(wù)著色器的操作類似于細(xì)分的外殼著色器階段，因?yàn)樗軌騽?dòng)態(tài)生成工作。但是，與網(wǎng)格著色器一樣，任務(wù)著色器也使用協(xié)作線程模式。它的輸入和輸出是用戶定義的，而不必將面片作為輸入，將細(xì)分決策作為輸出。

與 像素/片段著色器 的接口不受影響。傳統(tǒng)的管道仍然可用，并且可以根據(jù)用例提供非常好的結(jié)果。圖 4 突出顯示了管道樣式的差異。

新的網(wǎng)格著色器管道為開發(fā)人員提供了許多好處：

更高的可擴(kuò)展性 通過著色器單元來減少原語處理中的固定函數(shù)影響。現(xiàn)代 GPUs 的通用用途有助于更多種類的應(yīng)用程序添加更多內(nèi)核，并提高著色器的通用內(nèi)存和算術(shù)性能。

Bandwidth-reduction ，因?yàn)轫旤c(diǎn)的重復(fù)數(shù)據(jù)消除（頂點(diǎn)重用）可以預(yù)先完成，并且可以在多個(gè)幀上重復(fù)使用。當(dāng)前的 API 模型意味著每次硬件都必須掃描索引緩沖區(qū)。較大的網(wǎng)格意味著更高的頂點(diǎn)重用率，也降低了帶寬要求。此外，開發(fā)人員可以提出自己的壓縮或過程生成方案。

通過 任務(wù)著色器 進(jìn)行可選的擴(kuò)展/篩選允許跳過完全獲取更多數(shù)據(jù)。

Flexibility 定義網(wǎng)格拓?fù)浜蛣?chuàng)建圖形工作。以前的 細(xì)分著色器 僅限于固定的鑲嵌模式，而 幾何著色器 則存在線程效率低下、編程模型不友好的問題，每個(gè)線程都會(huì)創(chuàng)建三角形條帶。

網(wǎng)格著色遵循 計(jì)算著色器 的編程模型，使開發(fā)人員可以自由地將線程用于不同的用途，并在線程之間共享數(shù)據(jù)。當(dāng)光柵化被禁用時(shí)，這兩個(gè)階段還可以用于執(zhí)行具有一個(gè)級(jí)別擴(kuò)展的通用計(jì)算工作。

圖 5 。網(wǎng)格著色器的行為類似于使用協(xié)作線程模型計(jì)算著色器。

這兩個(gè) 網(wǎng)格和任務(wù)著色器 都遵循 計(jì)算著色器 的編程模型，使用協(xié)作線程組來計(jì)算結(jié)果，并有 除工作組索引外沒有其他輸入 。它們?cè)趫D形管道上執(zhí)行；因此硬件直接管理在級(jí)之間傳遞并保存在芯片上的內(nèi)存。

我們將展示一個(gè)例子，說明如何使用它來進(jìn)行基本體剔除，因?yàn)榫€程稍后可以訪問工作組中的所有頂點(diǎn)。圖 6 說明了任務(wù)著色器處理早期剔除的能力。

通過 任務(wù)著色器 進(jìn)行的可選擴(kuò)展允許對(duì)一組原語進(jìn)行早期篩選或預(yù)先做出 LOD 決策。該機(jī)制在 GPU 上縮放，因此取代了小網(wǎng)格的實(shí)例化或多重繪制間接。此配置類似于 細(xì)分控制著色器 設(shè)置細(xì)分補(bǔ)?。▇ task workgroup ）的數(shù)量，然后影響創(chuàng)建的 細(xì)分評(píng)估 調(diào)用（~ mesh workgroups ）的數(shù)量。

單個(gè) 任務(wù)工作組 可以發(fā)射的 工作網(wǎng)格組 數(shù)量是有限制的。第一代硬件支持最多 64K 個(gè)子級(jí)，可以生成 每個(gè)任務(wù) 。在同一個(gè)繪制調(diào)用中，所有任務(wù)的網(wǎng)格子對(duì)象的總數(shù)沒有限制。同樣，如果不使用 任務(wù)著色器 ，則對(duì) draw 調(diào)用生成的網(wǎng)格工作組的數(shù)量沒有限制。圖 7 說明了這是如何工作的。

圖 7 。網(wǎng)格著色器工作組流

任務(wù) T 的子任務(wù)保證在任務(wù) T-1 的子任務(wù)之后啟動(dòng)。但是， task 和 mesh 工作組是完全流水線的，因此不需要等待以前的子任務(wù)或任務(wù)的完成。

任務(wù)著色器 應(yīng)用于動(dòng)態(tài)工作生成或過濾。靜態(tài)設(shè)置得益于單獨(dú)使用 網(wǎng)格著色器 。

網(wǎng)格及其內(nèi)部圖元的柵格化輸出順序保持不變。禁用光柵化后，任務(wù)著色器和網(wǎng)格著色器都可以用于實(shí)現(xiàn)基本計(jì)算樹。

網(wǎng)格和網(wǎng)格著色

每個(gè)網(wǎng)格單元表示數(shù)量可變的頂點(diǎn)和基本體。對(duì)于這些原語的連接性沒有限制。但是，它們必須保持在著色器代碼中指定的最大值以下。

我們建議最多使用 64 個(gè)頂點(diǎn)和 126 個(gè)基本體。 126 中的“ 6 ”不是打字錯(cuò)誤。第一代硬件以 128 字節(jié)的粒度分配原始索引，并且需要為基元計(jì)數(shù)預(yù)留 4 個(gè)字節(jié)。因此 3 * 126 + 4 最大化了 3 * 128 = 384 字節(jié)塊的大小。超過 126 個(gè)三角形將分配接下來的 128 個(gè)字節(jié)。 84 和 40 是其他適用于三角形的最大值。

在每個(gè) GLSL mesh-shader 代碼中，每個(gè)工作組在圖形管道中為每個(gè)工作組分配固定數(shù)量的網(wǎng)格內(nèi)存。

最大尺寸和原始輸出定義如下：

每個(gè)網(wǎng)格單元的分配大小取決于編譯時(shí)大小信息以及著色器引用的輸出屬性。分配越小，可以在硬件上并行執(zhí)行的工作組越多。與 compute 一樣，工作組共享他們可以訪問的片上內(nèi)存的公共部分。因此，我們建議您盡可能高效地使用所有輸出或共享內(nèi)存。對(duì)于當(dāng)前著色器，這已經(jīng)是正確的。但是，內(nèi)存占用可能會(huì)更高，因?yàn)槲覀冊(cè)试S比當(dāng)前編程中更多的頂點(diǎn)和基元。

圖靈支持另一個(gè)新的 GLSL 擴(kuò)展， NV_fragment_shader_barycentric ，它使片段著色器能夠獲取構(gòu)成一個(gè)基本體的三個(gè)頂點(diǎn)的原始數(shù)據(jù)，并手動(dòng)對(duì)其進(jìn)行插值。這種原始訪問意味著我們可以輸出“ uint ”頂點(diǎn)屬性，但是使用各種 pack / unpack 函數(shù)將浮點(diǎn)存儲(chǔ)為 fp16 、 unorm8 或 snorm8 。這可以大大減少法線、紋理坐標(biāo)和基本顏色值的逐頂點(diǎn)占用空間，并有利于標(biāo)準(zhǔn)和網(wǎng)格著色管道。

頂點(diǎn)和基本體的其他屬性定義如下：

一個(gè)目標(biāo)是擁有最小數(shù)量的網(wǎng)格，從而最大限度地提高網(wǎng)格中頂點(diǎn)的重用率，從而減少分配的浪費(fèi)。在生成 meshlet 數(shù)據(jù)之前，在 indexbuffer 上應(yīng)用頂點(diǎn)緩存優(yōu)化器是有益的。例如， Tom Forsyth 的線性速度優(yōu)化器 可用于此。優(yōu)化頂點(diǎn)位置和索引緩沖區(qū)也是有益的，因?yàn)槭褂?網(wǎng)格著色器 時(shí)，原始三角形的順序?qū)⒈３植蛔儭?CAD 模型通常是用條帶“自然”生成的，因此可以具有良好的數(shù)據(jù)局部性。更改索引緩沖區(qū)可能會(huì)對(duì)此類數(shù)據(jù)的 meshlet 的簇剔除屬性產(chǎn)生負(fù)面影響（請(qǐng)參見任務(wù)級(jí)消隱）。

預(yù)計(jì)算網(wǎng)格

例如，我們呈現(xiàn)靜態(tài)內(nèi)容，其中 索引緩沖區(qū) 在許多幀中沒有變化。因此，在將頂點(diǎn)/索引上載到設(shè)備內(nèi)存期間，生成網(wǎng)格數(shù)據(jù)的成本可以隱藏起來。當(dāng) vertex 數(shù)據(jù)也是靜態(tài)的（沒有逐頂點(diǎn)動(dòng)畫；頂點(diǎn)位置沒有變化）時(shí)，還可以獲得額外的好處，允許預(yù)先計(jì)算對(duì)快速剔除整個(gè)網(wǎng)格單元有用的數(shù)據(jù)。

數(shù)據(jù)結(jié)構(gòu)

在以后的示例中，我們將提供一個(gè) meshlet 構(gòu)建器，它包含一個(gè)基本實(shí)現(xiàn)，該實(shí)現(xiàn)掃描所提供的索引，并在每次遇到大小限制（頂點(diǎn)或基元計(jì)數(shù)）時(shí)創(chuàng)建一個(gè)新的 meshlet 。

對(duì)于輸入三角形網(wǎng)格，它將生成以下數(shù)據(jù)：

為什么有兩個(gè)索引緩沖區(qū)？

以下原始三角形索引緩沖區(qū)序列

一旦達(dá)到適當(dāng)?shù)拇笮∠拗疲ㄒ词俏ㄒ豁旤c(diǎn)太多，要么是基本體太多），就會(huì)啟動(dòng)一個(gè)新的網(wǎng)格單元。隨后的網(wǎng)格將創(chuàng)建自己的唯一頂點(diǎn)集。

呈現(xiàn)資源和數(shù)據(jù)流

在渲染期間，我們使用原始頂點(diǎn)緩沖區(qū)。但是，我們使用了三個(gè)新的緩沖區(qū)，而不是原來的三角形索引緩沖區(qū)，如下圖 8 所示：

頂點(diǎn)索引緩沖區(qū) 如上所述。每個(gè)網(wǎng)格單元引用一組唯一的頂點(diǎn)。這些頂點(diǎn)的索引按順序存儲(chǔ)在所有網(wǎng)格單元的緩沖區(qū)中。

原始索引緩沖區(qū) 如上所述。每個(gè)網(wǎng)格單元表示不同數(shù)量的基本體。每個(gè)三角形需要三個(gè)原始索引，這些索引存儲(chǔ)在一個(gè)緩沖區(qū)中。 Note ：可以在每個(gè) meshlet 之后添加額外的索引以獲得四字節(jié)對(duì)齊。

Meshlet Desc 緩沖區(qū)。 存儲(chǔ)每個(gè)網(wǎng)格單元的工作負(fù)載和緩沖區(qū)偏移信息，以及集群剔除信息。

這三個(gè)緩沖區(qū)實(shí)際上比原始索引緩沖區(qū)小，因?yàn)榫W(wǎng)格著色允許更高的頂點(diǎn)重用。我們注意到，通常會(huì)將索引緩沖區(qū)大小減少到原始索引緩沖區(qū)大小的 75% 左右。

網(wǎng)格頂點(diǎn)： vertexBegin 存儲(chǔ)開始獲取頂點(diǎn)索引的起始位置。 vertexCount 存儲(chǔ)所涉及的連續(xù)頂點(diǎn)的數(shù)量。頂點(diǎn)在網(wǎng)格單元中是唯一的；沒有重復(fù)的索引值。

網(wǎng)格元素： primBegin 存儲(chǔ)原始索引的起始位置，我們將從那里開始獲取索引。 primCount 存儲(chǔ) meshlet 中涉及的基本體數(shù)量。注意，索引的數(shù)量取決于基本體類型（這里： 3 表示三角形）。請(qǐng)注意，索引引用的是相對(duì)于 vertexBegin 的頂點(diǎn)，這意味著索引“ 0 ”將引用位于 vertexBegin 的頂點(diǎn)索引。

下面的偽代碼描述了每個(gè) 網(wǎng)格著色器 工作組在原則上執(zhí)行的操作。它是串行的，僅用于說明目的。

當(dāng)以并行方式編寫時(shí)，網(wǎng)格著色器可能看起來如下所示：

這就是一個(gè)直接的例子。由于所有數(shù)據(jù)獲取都是由開發(fā)人員完成的，自定義編碼、通過子組內(nèi)部函數(shù)或共享內(nèi)存進(jìn)行解壓縮，或者暫時(shí)使用頂點(diǎn)輸出，都可以節(jié)省額外的帶寬。

使用任務(wù)著色器進(jìn)行簇消隱

我們嘗試將更多的信息壓縮到一個(gè) meshlet 描述符中以執(zhí)行早期剔除。我們已經(jīng)嘗試使用 128 位描述符對(duì)前面提到的值進(jìn)行編碼，以及 G.Wihlidal 提出的用于背面聚類剔除的相對(duì) bbox 和一個(gè)圓錐體。在生成網(wǎng)格時(shí)，需要在良好的簇剔除特性和改進(jìn)的頂點(diǎn)重用之間取得平衡。一方可能對(duì)另一方產(chǎn)生負(fù)面影響。

下面的任務(wù)著色器最多可剔除 32 個(gè)網(wǎng)格。

相應(yīng)的網(wǎng)格著色器現(xiàn)在使用來自任務(wù)著色器的信息來標(biāo)識(shí)要生成的網(wǎng)格。

我們只在渲染大三角形模型的上下文中剔除任務(wù)著色器中的網(wǎng)格。其他場(chǎng)景可能涉及到根據(jù)細(xì)節(jié)決策的級(jí)別選擇不同的 meshlet 數(shù)據(jù)，或者完全生成幾何體（粒子、色帶等）。下面的圖 9 來自一個(gè)使用任務(wù)著色器進(jìn)行詳細(xì)級(jí)別計(jì)算的演示。

Conclusion

一些關(guān)鍵的收獲：

通過掃描索引緩沖區(qū)一次，可以將三角形網(wǎng)格轉(zhuǎn)換為網(wǎng)格。頂點(diǎn)緩存優(yōu)化器有助于經(jīng)典渲染，也有助于提高網(wǎng)格填充效率。更復(fù)雜的聚類允許改進(jìn)任務(wù)著色器階段的早期拒絕（更緊密的邊界框、一致的三角形法線等）。

在硬件需要為片上 網(wǎng)格著色器 調(diào)用分配頂點(diǎn)/基元內(nèi)存之前， 任務(wù)著色器 允許提前跳過一組原語。如果需要，它還可以生成多個(gè)子調(diào)用。

頂點(diǎn)在工作組的線程中并行處理，就像原始的 頂點(diǎn)渲染 一樣。

頂點(diǎn)著色器 可以與 網(wǎng)格著色器 兼容，并帶有一些預(yù)處理器插入。

由于更高的頂點(diǎn)重用，需要提取的數(shù)據(jù)更少（經(jīng)典頂點(diǎn)著色器的操作限制為 max _ vertices = 32 ， max _ primitives = 32 ）。平均三角形網(wǎng)格價(jià)意味著使用兩倍數(shù)量的三角形作為頂點(diǎn)是有益的。

所有數(shù)據(jù)加載都是通過著色器指令來處理的，而不是經(jīng)典的固定函數(shù)原語 fetch ，因此使用更多的 流式多處理器 可以更好地伸縮。它還允許更容易地使用自定義頂點(diǎn)編碼來進(jìn)一步減少帶寬。

對(duì)于頂點(diǎn)屬性的大量使用，同樣并行操作的基本消隱階段可能是有益的。我們可以剔除掉頂點(diǎn)數(shù)據(jù)。然而，最好的收獲是在任務(wù)級(jí)別進(jìn)行有效的篩選。

關(guān)于作者

Christoph Kubisch 是 NVIDIA 公司的高級(jí)開發(fā)技術(shù)工程師，專注于 OpenGL 和 Vulkan 實(shí)時(shí)渲染技術(shù)，適用于 CAD / DCC 和科學(xué)應(yīng)用。他與外部合作伙伴和 NVIDIA 的內(nèi)部團(tuán)隊(duì)合作，優(yōu)化當(dāng)前和未來的渲染算法。在加入 NVIDIA 之前， Christoph 是馬格德堡 Otto von Guericke 大學(xué)醫(yī)學(xué)數(shù)據(jù)集硬件加速可視化技術(shù)的研究人員。此外，他還作為技術(shù)藝術(shù)家創(chuàng)作游戲藝術(shù)、技術(shù)和 DCC 插件開發(fā)。

審核編輯：郭婷