三個(gè)趨勢(shì)繼續(xù)推動(dòng)著人工智能推理市場(chǎng)的訓(xùn)練和推理：不斷增長(zhǎng)的數(shù)據(jù)集，日益復(fù)雜和多樣化的網(wǎng)絡(luò)，以及實(shí)時(shí)人工智能服務(wù)。 MLPerf 推斷 0 。 7 是行業(yè)標(biāo)準(zhǔn) AI 基準(zhǔn)測(cè)試的最新版本，它解決了這三個(gè)趨勢(shì)，為開(kāi)發(fā)人員和組織提供了有用的數(shù)據(jù)，以便為數(shù)據(jù)中心和邊緣的平臺(tái)選擇提供信息。

基準(zhǔn)測(cè)試擴(kuò)展了推薦系統(tǒng)、語(yǔ)音識(shí)別和醫(yī)學(xué)成像系統(tǒng)。它已經(jīng)升級(jí)了自然語(yǔ)言處理（ NLP ）的工作負(fù)載，以進(jìn)一步挑戰(zhàn)測(cè)試中的系統(tǒng)。下表顯示了當(dāng)前的一組測(cè)試。

表 1 。 MLPerf 推斷 0 。 7 工作負(fù)載。

*新工作量

此外，針對(duì)數(shù)據(jù)中心和邊緣的多個(gè)場(chǎng)景進(jìn)行了基準(zhǔn)測(cè)試：

圖 1 。 MLPerf 推理 0 。 7 平臺(tái)類別和場(chǎng)景。

NVIDIA 輕松贏得了數(shù)據(jù)中心和邊緣類別的所有測(cè)試和場(chǎng)景。雖然這種出色的性能大部分可以追溯到我們的 GPU 體系結(jié)構(gòu)，但更多的是與我們的工程師所做的出色的優(yōu)化工作有關(guān)，現(xiàn)在開(kāi)發(fā)人員社區(qū)可以使用這些工作。

在這篇文章中，我深入研究了導(dǎo)致這些優(yōu)秀結(jié)果的因素，包括軟件優(yōu)化以提高執(zhí)行效率，多實(shí)例 GPU （ MIG ）使一個(gè) A100GPU 最多可以作為七個(gè)獨(dú)立的 GPUs 運(yùn)行，以及 Triton 推斷服務(wù)器 支持在數(shù)據(jù)中心規(guī)模輕松部署推理應(yīng)用程序。

檢查的優(yōu)化

NVIDIA GPUs 支持 int8 和 FP16 的高吞吐量精確推斷，因此您可以在默認(rèn)情況下獲得出色的推斷性能，而無(wú)需任何量化工作。然而，在保持精度的同時(shí)將網(wǎng)絡(luò)量化到 int8 精度是最高的性能選項(xiàng)，可以使數(shù)學(xué)吞吐量提高 2 倍。

在本次提交的資料中，我們發(fā)現(xiàn) FP16 需要滿足 BERT 的最高精度目標(biāo)。對(duì)于這個(gè)工作負(fù)載，我們使用了我們的 FP16 張量核心。在其他工作負(fù)載中，我們使用 int8 精度達(dá)到了最高精度目標(biāo)（ DLRM 和 3D Unet 的 FP32 的 99 。 9% 以上）。此外， int8 提交的性能得益于 TensorRT 7 。 2 軟件版本中的全面加速。

許多推斷工作負(fù)載需要大量的預(yù)處理工作。 NVIDIA 開(kāi)源 DALI 庫(kù)旨在加速對(duì) GPU 的預(yù)處理并避免 CPU 瓶頸。在本文中，我們使用 DALI 實(shí)現(xiàn)了 RNN-T 基準(zhǔn)的 wav 到 mel 的轉(zhuǎn)換。

NLP 推斷對(duì)具有特定序列長(zhǎng)度（輸入中的單詞數(shù)）的輸入文本進(jìn)行操作。對(duì)于批處理推理，一種方法是將所有輸入填充到相同的序列長(zhǎng)度。但是，這會(huì)增加計(jì)算開(kāi)銷。 TensorRT 7 。 2 增加了三個(gè)插件來(lái)支持 NLP 的可變序列長(zhǎng)度處理。我們提交的 BERT 使用這些插件獲得了超過(guò) 35% 的端到端性能。

加速稀疏矩陣處理是 A100 中引入的一種新功能。稀疏化網(wǎng)絡(luò)確實(shí)需要重新訓(xùn)練和重新校準(zhǔn)權(quán)值才能正常工作，因此稀疏性在封閉類別中不是可用的優(yōu)化，但在開(kāi)放類別中是允許的。我們的開(kāi)放類別 BERT 提交使用稀疏性實(shí)現(xiàn)了 21% 的吞吐量提高，同時(shí)保持了與封閉提交相同的準(zhǔn)確性。

了解 MLPerf 中的 MIG

MIG 內(nèi)存。 MIG 允許您選擇是將 A100 作為單個(gè)大的 GPU 操作，還是將多個(gè)較小的 GPU 作為一個(gè)單獨(dú)的大型 GPU 來(lái)運(yùn)行，每個(gè)小的 GPU 可以在它們之間隔離的情況下為不同的工作負(fù)載提供服務(wù)。圖 2 顯示了將此技術(shù)用于測(cè)試的 MLPerf 結(jié)果。

圖 2 。 MIG 與完整 T4 相比的推理性能。

圖 2 比較了單個(gè) MIG 實(shí)例與完整的 T4GPU 實(shí)例的邊緣脫機(jī)性能，因?yàn)?A100 最多可支持七個(gè) MIG 實(shí)例。您可以看到，超過(guò)四個(gè) MIG 測(cè)試結(jié)果得分高于完整的 T4GPU 。這對(duì)應(yīng)用程序意味著，您可以加載一個(gè)包含多個(gè)網(wǎng)絡(luò)和應(yīng)用程序的單個(gè) A100 ，并以與 T4 相同或更好的性能運(yùn)行每個(gè)網(wǎng)絡(luò)和應(yīng)用程序。這樣可以減少部署的服務(wù)器數(shù)量，釋放機(jī)架空間，并降低能耗。此外，在單個(gè) A100 上同時(shí)運(yùn)行多個(gè)網(wǎng)絡(luò)有助于保持 GPU 的高利用率，因此基礎(chǔ)設(shè)施管理人員可以優(yōu)化使用已部署的計(jì)算資源。

Triton 推斷服務(wù)器

在一個(gè)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練和優(yōu)化之后，它就可以部署了，但這并不像打開(kāi)交換機(jī)那么簡(jiǎn)單。在一個(gè)以人工智能為動(dòng)力的服務(wù)上線之前，有幾個(gè)挑戰(zhàn)需要解決。這包括提供適當(dāng)數(shù)量的服務(wù)器來(lái)維護(hù) sla ，并確保在 AI 基礎(chǔ)設(shè)施上運(yùn)行的所有服務(wù)都有良好的用戶體驗(yàn)。然而，“正確的數(shù)字”可能會(huì)隨著時(shí)間的推移或由于工作量需求的突然變化而改變。理想的解決方案還可以實(shí)現(xiàn)負(fù)載平衡，從而使基礎(chǔ)設(shè)施得到最佳利用，但不會(huì)出現(xiàn)超額訂閱。此外，一些管理者希望在單個(gè) GPUs 上運(yùn)行多個(gè)網(wǎng)絡(luò)。 Triton 推斷服務(wù)器解決了這些挑戰(zhàn)和其他問(wèn)題，使基礎(chǔ)設(shè)施管理人員更容易部署和維護(hù)負(fù)責(zé)提供人工智能服務(wù)的服務(wù)器群。

在這一輪中，我們也使用 Triton 推理服務(wù)器提交了結(jié)果，這簡(jiǎn)化了人工智能模型在生產(chǎn)中的大規(guī)模部署。這個(gè)開(kāi)源推理服務(wù)軟件允許團(tuán)隊(duì)從任何框架（ TensorFlow 、 TensorRT 、 PyTorch 、 ONNX 運(yùn)行時(shí)或自定義框架）部署經(jīng)過(guò)訓(xùn)練的 AI 模型。它們還可以從本地存儲(chǔ)、 Google 云平臺(tái)或 Amazon S3 部署在任何基于 GPU – 或 CPU 的基礎(chǔ)設(shè)施（云、數(shù)據(jù)中心或邊緣）上。

圖 3 。 Triton 推斷服務(wù)器與 Kubernetes 完全集成。

Triton ?聲波風(fēng)廓線儀也可作為 Docker 容器提供，是為基于微服務(wù)的應(yīng)用而設(shè)計(jì)的。 Triton ?聲波風(fēng)廓線儀與 Kubernetes 緊密集成，實(shí)現(xiàn)動(dòng)態(tài)負(fù)載平衡，保證所有網(wǎng)絡(luò)推理操作順利進(jìn)行。 Triton ?聲波風(fēng)廓線儀的 GPU 指標(biāo)幫助 Kubernetes 將推斷工作轉(zhuǎn)移到可用的 GPU 上，并在需要時(shí)擴(kuò)展到數(shù)百個(gè) GPUs 。新的 Triton ?聲波風(fēng)廓線儀 2 。 3 支持使用 KFServing 的無(wú)服務(wù)器推斷、 Python 自定義后端、用于會(huì)話式人工智能的解耦推理、支持 A100MIG 以及 Azure ML 和 DeepStream 5 。 0 集成。

圖 4 顯示了 Triton ?聲波風(fēng)廓線儀與運(yùn)行 A100 定制推理服務(wù)解決方案相比的總體效率，這兩種配置都使用 TensorRT 運(yùn)行。

圖 4 。 Triton ?聲波風(fēng)廓線儀在 MLPerf 推理 0 。 7 結(jié)果中提供了與高度定制的推理服務(wù)實(shí)現(xiàn)幾乎相同的性能。

Triton ?聲波風(fēng)廓線儀的效率很高，在這五個(gè)網(wǎng)絡(luò)中提供同等或接近它的性能。為了提供這樣的性能，該團(tuán)隊(duì)對(duì) Triton ?聲波風(fēng)廓線儀進(jìn)行了許多優(yōu)化，例如用于與應(yīng)用程序進(jìn)行低延遲通信的新的輕量級(jí)數(shù)據(jù)結(jié)構(gòu)、用于改進(jìn)動(dòng)態(tài)批處理的批處理數(shù)據(jù)加載以及用于 TensorRT 后端的 CUDA 圖形以獲得更高的推理性能。這些增強(qiáng)功能可作為 20 。 09 Triton ?聲波風(fēng)廓線儀集裝箱 的一部分提供給每個(gè)應(yīng)用程序。除此之外， Triton ?聲波風(fēng)廓線儀還簡(jiǎn)化了部署，無(wú)論是在本地還是在云端。這使得所有網(wǎng)絡(luò)推斷都能順利進(jìn)行，即使在意外的需求高峰來(lái)襲時(shí)也是如此。

加速推理應(yīng)用程序

考慮到驅(qū)動(dòng)人工智能推理的持續(xù)趨勢(shì)， NVIDIA 推理平臺(tái)和全棧方法提供了最佳性能、最高通用性和最佳可編程性， MLPerf 推理 0 。 7 測(cè)試性能證明了這一點(diǎn)。現(xiàn)在，您和開(kāi)發(fā)人員社區(qū)的其他成員都可以使用這些成果，主要是以開(kāi)源軟件的形式。此外， TensorRT 和 Triton 推理服務(wù)器可從 NVIDIA NGC 免費(fèi)獲得，以及預(yù)訓(xùn)練模型、深度學(xué)習(xí)框架、行業(yè)應(yīng)用框架和頭盔圖。 A100GPU 已經(jīng)證明了其充分的推理能力。隨著完整的 NVIDIA 推理平臺(tái)， A100GPU 已經(jīng)準(zhǔn)備好迎接最嚴(yán)峻的人工智能挑戰(zhàn)。

關(guān)于作者

Dave Salvator 是 NVIDIA 旗下 Tesla 集團(tuán)的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理，專注于超規(guī)模、深度學(xué)習(xí)和推理。

審核編輯：郭婷