降噪是一種先進(jìn)技術(shù)，可用于減少圖像中的顆粒和變色，并能夠最大限度避免圖像質(zhì)量下降。

使用數(shù)碼相機(jī)拍過照片的人應(yīng)該都十分熟悉“噪點(diǎn)”，這是一種會(huì)使照片清晰度和銳度降低的變色斑點(diǎn)。

許多攝影師都有減少圖像噪點(diǎn)的技巧和竅門，比如校正相機(jī)鏡頭的設(shè)置，或在不同的光線下進(jìn)行拍攝。事實(shí)上，不僅是拍攝出的圖像會(huì)因噪點(diǎn)看起來有混色，在計(jì)算機(jī)圖形中噪點(diǎn)的影響也非常常見。

噪點(diǎn)指的是不屬于原始圖像的隨機(jī)亮度和顏色變化。“去除圖像中的噪點(diǎn)”這一過程被稱為“降噪”，這在圖像處理和計(jì)算機(jī)視覺領(lǐng)域正變得越來越普遍。

圖像降噪技術(shù)能利用先進(jìn)的算法去除圖形和渲染中會(huì)對(duì)圖像質(zhì)量產(chǎn)生巨大影響的噪點(diǎn)。如若不使用降噪技術(shù)，就不可能實(shí)現(xiàn)逼真的視覺效果和身臨其境的渲染效果。

什么是降噪？

在計(jì)算機(jī)圖形學(xué)中，圖像由有用的信息和會(huì)降低清晰度的噪點(diǎn)組成。最理想的降噪結(jié)果是生成一個(gè)只保留有用信息的清晰圖像。在對(duì)圖像進(jìn)行降噪時(shí)，保留視覺細(xì)節(jié)與組成部分也同樣十分重要（如邊緣、棱角、紋理和其他具有鮮明結(jié)構(gòu)的特征等）。

為了在不影響視覺細(xì)節(jié)的情況下減少噪點(diǎn)，必須對(duì)圖像中的三類信號(hào)進(jìn)行降噪：

• 漫反射：沿所有方向反射的散射照明

• 高光或反射：沿特定方向的照明

• 無限遠(yuǎn)光源產(chǎn)生的陰影：太陽或任何其他無限遠(yuǎn)光源的可見性信息（陰影）

為創(chuàng)建最清晰的圖像，用戶必須按照漫反射和高光信號(hào)的方向投射數(shù)千條光線。但在實(shí)時(shí)光線追蹤中，通常平均每個(gè)像素只使用小于等于一條光線。

在實(shí)時(shí)光線追蹤中，所使用的光線數(shù)目越低，越能保持實(shí)時(shí)交互性能，因此降噪必不可少。

每個(gè)像素與一條光線相匹配的噪點(diǎn)圖像。

如何進(jìn)行降噪？

圖像降噪通常基于三種技術(shù)：空間過濾、時(shí)間累積以及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)重建。

示例：經(jīng)過空間和時(shí)間降噪后的最終圖像。

空間過濾是通過重新使用相似的相鄰像素，有選擇性地改變圖像的某些部分。空間過濾的優(yōu)點(diǎn)是不會(huì)產(chǎn)生時(shí)間滯后，因此能夠立即響應(yīng)不斷變化的流動(dòng)條件。但空間過濾會(huì)產(chǎn)生模糊、混濁以及時(shí)間的不穩(wěn)定性，會(huì)造成圖像中的閃爍和視覺缺陷。

時(shí)間累積會(huì)重復(fù)使用前一幀數(shù)據(jù)，以確定當(dāng)前幀中是否存在可以糾正的偽影或視覺異常。盡管時(shí)間累積造成時(shí)間滯后，但它并不會(huì)產(chǎn)生模糊，相反它增加了時(shí)間穩(wěn)定性以減少多幀閃爍和偽影。

示例：20 幀時(shí)間累積。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)重建使用神經(jīng)網(wǎng)絡(luò)來重建信號(hào)。該神經(jīng)網(wǎng)絡(luò)是使用各種噪點(diǎn)和參考信號(hào)訓(xùn)練而成的。盡管單幀的重建信號(hào)看起來很完整，但它會(huì)隨著時(shí)間的推移逐漸暫時(shí)失去穩(wěn)定性，因此需要采用一種時(shí)間穩(wěn)定的形式來進(jìn)行降噪。

圖像中的降噪

降噪能夠向用戶提供即時(shí)視覺反饋，因此用戶可以查看圖形和設(shè)計(jì)并與之交互，以便用戶就能夠?qū)饩€、材質(zhì)、視角、陰影等變量進(jìn)行各種嘗試。

開發(fā)者可以使用 NVIDIA 實(shí)時(shí)降噪器（NRD）等解決方案，輕松將降噪技術(shù)整合到流程中。NRD 是與 API 無關(guān)的時(shí)空降噪庫，主要用于處理 low ray-per-pixel 信號(hào)。

開發(fā)者能夠利用 NRD，在每像素光線受限的情況下實(shí)現(xiàn)實(shí)時(shí)結(jié)果。開發(fā)者可在以上視頻中詳細(xì)了解 NRD 如何“舉重若輕”地實(shí)時(shí)解決圖像噪點(diǎn)問題。

“消逝的光芒 2（Dying Light 2）”“殺手 3（Hitman III）”等熱門游戲都使用了 Real-Time Denoisers（NRD）進(jìn)行降噪。

NRD 在 Techland 的“消逝的光芒 2：人與仁之戰(zhàn)（Dying Light 2 Stay Human）”實(shí)現(xiàn)了出色的效果。

NRD 支持對(duì)漫反射、高光以及陰影信號(hào)的降噪。NRD 包含以下降噪器：

• ReBLUR：基于自穩(wěn)定循環(huán)模糊概念的降噪器，專門用于處理使用低光線預(yù)算生成的漫反射和鏡面反射信號(hào)

• SIGMA：快速陰影降噪器，支持來自任何類型光源（如太陽光、局部光源）的陰影

• ReLAX：保留 NVIDIA RTX Direct Illumination 產(chǎn)生的照明細(xì)節(jié)。該框架可賦能開發(fā)者實(shí)時(shí)渲染具有數(shù)百萬動(dòng)態(tài)區(qū)域燈光的場(chǎng)景。ReLAX 還能提高時(shí)間穩(wěn)定性，并持續(xù)響應(yīng)不斷變化的照明條件