NVIDIA CUDA 深度神經(jīng)網(wǎng)絡庫（cuDNN）是一個 GPU 加速的深度神經(jīng)網(wǎng)絡基元庫，能夠以高度優(yōu)化的方式實現(xiàn)標準例程（如前向和反向卷積、池化層、歸一化和激活層）。

全球的深度學習研究人員和框架開發(fā)者都依賴 cuDNN 來實現(xiàn)高性能 GPU 加速。借助 cuDNN，研究人員和開發(fā)者可以專注于訓練神經(jīng)網(wǎng)絡及開發(fā)軟件應用，而不必花時間進行低層級的 GPU 性能調(diào)整。cuDNN 可加速廣泛應用的深度學習框架，包括 Caffe2、Chainer、Keras、MATLAB、MXNet、PaddlePaddle、PyTorch 和 TensorFlow。

在 21.02 NGC 容器上比較使用 cuDNN 7.6.5 的單個 DGX-1V 服務器與使用 cuDNN 8.1.1 的 DGX-A100 的吞吐量。端到端性能趨于收斂。

cuDNN 8.3?的新變化

cuDNN 8.3 針對 A100GPU 進行了優(yōu)化，可提供高達 V100 GPU 5 倍的開箱即用性能，并且包含適用于對話式 AI 和計算機視覺等應用的新優(yōu)化和 API。它已經(jīng)過重新設計，可實現(xiàn)易用性和應用集成，同時還能為開發(fā)者提供更高的靈活性。

cuDNN 8.3 的亮點包括：

為基于轉(zhuǎn)換器的模型提供優(yōu)化加速；

運行時融合，通過新的運算符、啟發(fā)式算法和融合迅速編譯內(nèi)核；

將下載包大小縮減 30%。

cuDNN 8.3 現(xiàn)以六個較小的庫的形式提供，能夠更精細地集成到應用中。開發(fā)者可以下載 cuDNN，也可從 NGC 上的框架容器中將其提取出來。

注冊成為 NVIDIA 開發(fā)者計劃會員，下載 cnDNN：https://developer.nvidia.cn/rdp/form/cudnn-download-survey

NGC 框架容器提?。篽ttps://catalog.ngc.nvidia.com/

cuDNN?的主要特性

為各種常用卷積實現(xiàn)了 Tensor Core 加速，包括 2D 卷積、3D 卷積、分組卷積、深度可分離卷積以及包含 NHWC 和 NCHW 輸入及輸出的擴張卷積；

為諸多計算機視覺和語音模型優(yōu)化了內(nèi)核，包括 ResNet、ResNext、EfficientNet、EfficientDet、SSD、MaskRCNN、Unet、VNet、BERT、GPT-2、Tacotron2 和 WaveGlow；

支持 FP32、FP16、BF16 和 TF32 浮點格式以及 INT8 和 UINT8 整數(shù)格式；

4D 張量的任意維排序、跨步和子區(qū)域意味著可輕松集成到任意神經(jīng)網(wǎng)絡實現(xiàn)中；

能為各種 CNN 體系架構上的融合運算提速。

在數(shù)據(jù)中心和移動 GPU 中采用 Ampere、Turing、Volta、Pascal、Maxwell 和 Kepler GPU 體系架構的 Windows 和 Linux 系統(tǒng)均支持 cuDNN。

審核編輯：劉清

?