NVIDIA GPU曾于去年12月和今年7月兩度樹立了數據中心神經網絡訓練的性能標桿。今天發布的行業基準測試結果顯示，NVIDIA也引領著數據中心內部與外部AI網絡的趨勢。

NVIDIA Turing GPU和Xavier芯片系統在首個獨立AI推理基準測試 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市場中最大、同時也是最具競爭力的領域，業內此前一直希望能夠有一套客觀的推理性能測試指標。

在參與此次測試的十二家公司中，只有NVIDIA AI平臺提交了MLPerf的全部五項推理測試成績（MLPerf是一個于2018年5月成立的行業基準測試小組）。這證明了NVIDIA CUDA-X AI和TensorRT軟件的成熟程度。它們讓用戶能夠更加輕松地將所有的NVIDIA GPU應用于數據中心、邊緣等領域。

MLPerf定義了五項推理基準，涵蓋了三個現有的人工智能應用：圖像分類、目標檢測和翻譯。每項基準分為四個場景：與數據中心應用關聯性最高的服務器和離線場景，以及用于滿足邊緣設備地芯片系統需求的單流和多流場景。

離線場景中具有代表性的場景有圖像標記等，該場景下所有數據可在本地使用；而服務器場景代表性場景有在線翻譯服務等，此場景下會突然或間歇性隨機出現數據和請求工作。

Xavier在兩個邊緣場景（單流和多流）中被評為市面上性能最佳的邊緣和移動芯片系統。

工業檢測相機主要被用來在快速移動的生產線上發現不合格品，這是一種典型的單流任務。多流場景則是測試芯片能夠處理多少個數據源 —— 該性能對于一輛可能需要使用6臺以上攝像機的自動駕駛汽車而言，是一項關鍵的能力。

該結果顯示了NVIDIA CUDA和TensorRT軟件的性能。它們為用戶提供了一個通用平臺，使用戶可以在多個產品和應用中取得領先結果，而這正是NVIDIA所獨有的能力。

在數據中心場景中，NVIDIA的兩款GPU還出現了相互競爭的場面。NVIDIA TITAN RTX展示了Turing級 GPU的巨大潛力，尤其是在各種要求苛刻的任務中，比如運行用于語言翻譯的GNMT模型等。

功能豐富、應用廣泛的NVIDIA T4 Tensor Core GPU在多個場景取得了優秀的成績。這個功耗僅為70瓦的GPU能夠輕松安裝到任何帶有PCIe槽的服務器中，使用戶能夠根據需要擴展其計算力，進而大幅擴展其推理工作。

MLPerf已經獲得行業和學術界的廣泛支持。其成員包括Arm、Facebook、Futurewei、通用汽車、Google、哈佛大學、Intel、MediaTek、微軟、NVIDIA及Xilinx。值得一提的是，相比于之前的兩次訓練比賽，此次基準測試吸引了更多的參與者。

NVIDIA此次共采用了三款產品，共計四種配置參加此次測試，并提交了全部20個場景中的19個場景的成績，以此表明公司對這項工作的支持。NVIDIA的合作伙伴Dell EMC，以及NVIDIA的客戶阿里巴巴同樣使用NVIDIA GPU提交了成績。相比于其他參與者，NVIDIA與合作伙伴和客戶一同向用戶全面地展示了NVIDIA產品組合的潛力。

全新的視角與產品

推理指的是在實時生產系統中，通過運行AI模型，從大量數據中篩選出可執行洞察的過程。這是一項仍處于發展中的新興技術，而NVIDIA也在該領域中不斷前進，未曾停止腳步。

今天，NVIDIA發布了用于MLPerf測試的Xavier芯片系統低功耗版本——Jetson Xavier NX，其最大功率僅為15瓦，卻具有最高21 TOPS的性能。它將為那些對性能要求高、但功率有限的新一代機器人、無人機和其他自主設備提供驅動力。

除了新的硬件之外，NVIDIA還發布了在MLPerf基準測試中所使用的最新TensorRT 6優化，并在GitHub上以開源方式為用戶提供該軟件。用戶可以在MLPerf 開發者博客中了解更多關于這些優化的信息。NVIDIA不斷地對該軟件進行升級，使用戶可以從日益增加的AI自動化與性能中獲益。

讓推理變得更簡單

今天的MLPerf測試還說明了一個結論，那就是推理很困難。例如，在實際工作負載中，由于推理還需要大量預處理和后處理步驟，那么在實際工作負載中其對推理性能的需求甚至比基準測試更高。

NVIDIA創始人兼首席執行官黃仁勛在去年GTC大會的主題演講中就曾將這種復雜性概括為一個詞：PLASTER。他表示，現代AI推理對可編程性（Programmability）、延遲性（Latency）、準確性（Accuracy）、模型大小（Accuracy）、吞吐量（Throughput）、能效（Energy efficiency）和學習率（Rate of Learning）的要求很高。

這就是為何用戶越來越喜歡使用高性能的NVIDIA GPU和軟件來處理各種要求苛刻的推理工作，其中就包括：BMW、Capital One、思科、Expedia、John Deere、微軟、PayPal、Pinterest、寶潔、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃爾瑪等極具遠見的公司。

本周，全球最大的郵政服務系統——美國郵政，也加入了此行列，使用NVIDIA GPU進行AI訓練和推理。

硬盤制造商希捷希望通過在NVIDIA GPU上運行的AI推理將生產量提高10％。該公司預計，通過提高效率和質量，其將獲得高達300％的投資回報。

Pinterest依靠NVIDIA GPU訓練和評估其識別模型并對其1750億條Pin貼文執行實時推理。

Snap使用NVIDIA T4加速器在谷歌云平臺上執行推理。相比于僅采用了CPU的系統，這提高了其廣告的效果，同時降低了成本。

Twitter發言人就這一趨勢表示：“GPU的使用不僅大大縮短了訓練時間，還讓我們在推理時能夠實時了解直播視頻，讓我們可以在自己的平臺上了解各媒體。”

AI會話：關于推理

未來，會話式AI將帶來大量的機會以及技術方面的挑戰。NVIDIA在這一領域同樣是當之無愧的領導者。

NVIDIA已經為會話式AI服務提供了經過優化的參照設計，比如自動語音識別、文本-語言轉換和自然語言理解等。NVIDIA們的BERT、GNMT和Jasper等AI模型開源優化幫助開發者實現頂尖推理性能。NVIDIA的客戶和合作伙伴中包括有會話式AI領域的一流公司，比如Kensho、微軟、Nuance、Optum等。

最后要補充的是，MLPerf小組已經開始致力于改進其當前的0.5推理測試。NVIDIA將努力在基準測試中繼續發揮領導作用。