Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，該功能專用于計(jì)算圖像之間像素的相對(duì)運(yùn)動(dòng)。該硬件使用復(fù)雜算法來生成高度精確的流向量，這些向量對(duì)于幀到幀的強(qiáng)度變化具有魯棒性，并可追蹤真實(shí)的物體運(yùn)動(dòng)。

NVIDIA Optical Flow SDK 功能特性

視頻分析

準(zhǔn)確檢測(cè)和追蹤連續(xù)視頻幀中的物體，同時(shí)大大降低計(jì)算復(fù)雜性要求。

實(shí)時(shí)性能

實(shí)時(shí)內(nèi)插或外插視頻幀，提高視頻播放流暢度或降低 VR 體驗(yàn)延遲。

GPU 加速

已針對(duì) Turing、Ampere 和未來代次的 NVIDIA GPU 架構(gòu)進(jìn)行優(yōu)化。高速計(jì)算準(zhǔn)確流向量，對(duì) CPU 或 GPU 影響甚少。

光流引擎輔助的幀率提升轉(zhuǎn)換庫(kù)

最新的 Optical Flow SDK 3.1 版本引入了引擎輔助幀率提升轉(zhuǎn)換（FRUC），它使用光流向量?jī)?nèi)插新幀，使視頻的有效幀率翻倍。最終，視頻播放的流暢度和視覺感知質(zhì)量得以提升。

用于智能視頻分析的物體追蹤

Optical Flow SDK 2.0 引入了基于光流的物體追蹤器庫(kù)，以及源代碼和即用型 API。在我們的實(shí)驗(yàn)中，經(jīng)證明，基于光流的物體追蹤器與一些熱門算法相比，可將 GPU 利用率降低多達(dá) 80%，同時(shí)不會(huì)降低追蹤的準(zhǔn)確性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。

視頻幀內(nèi)插和外插

光流還可以非常有效地用于實(shí)時(shí)內(nèi)插或外插視頻幀。這對(duì)于提高視頻播放的流暢度、生成慢動(dòng)作視頻或在使用 Oculus 設(shè)備進(jìn)行 VR 體驗(yàn)時(shí)大幅減少延遲非常有用。Turing 和 Ampere GPU 中的光流功能通過將密集的流向量計(jì)算卸載到 GPU 芯片上的專用硬件引擎以加速這些用例，從而騰出 GPU 和 CPU 資源來處理其他任務(wù)。此功能位于硬件中，獨(dú)立于 CUDA Core。