PLASTER是一個與深度學習有關的框架，為致力于開發(fā)和部署基于 AI 的服務的人士提供了全方位指導。本文介紹了每個框架元素的測量方式，以幫助您應對諸多 AI 挑戰(zhàn)。

目前，業(yè)界對深度學習的性能存在很多疑惑。在今年早些時候的GPU技術大會上，黃仁勛先生曾表示，“超大規(guī)模數(shù)據(jù)中心是世界上有史以來最復雜的計算機”。

那么，我們該如何對深度學習的性能進行評估呢？標準又有哪些？

對此，我們的答案是：PLASTER。這是一個與深度學習性能有關的框架，涵蓋了每一個驅(qū)動深度學習性能發(fā)展的要素。

PLASTER——Programmability 可編程性

機器學習正在經(jīng)歷爆炸式發(fā)展，這不僅體現(xiàn)在模型的大小和復雜性上，還體現(xiàn)在迅速涌現(xiàn)的多種神經(jīng)網(wǎng)絡架構(gòu)上。因此，甚至連專家也難以深入了解模型選項，然后選出合適的模型來解決他們的 AI 業(yè)務問題。

完成深度學習模型的編碼和訓練之后，要針對特定的運行時推理環(huán)境優(yōu)化模型。NVIDIA 開發(fā)出兩個重要工具，解決了訓練和推理難題——CUDA和TensorRT（NVIDIA 可編程推理加速器）。此外，NVIDIA 的深度學習平臺能加快所有深度學習框架的訓練和推理速度。

PLASTER——Latency 延遲

人和機器都需要對象反應才能作出決策和采取行動。延遲是指提出請求與收到反應之間經(jīng)過的時間。

就大多數(shù)面向人類的軟件系統(tǒng)而言，延遲時間通常以毫秒計算。

消費者和客戶服務應用對數(shù)字助理的需求很廣泛。但是，在人嘗試與數(shù)字助理交互時，即使是短短幾秒的延遲也會開始讓人感到不自然。

PLASTER——Accuracy 準確性

準確性在各行各業(yè)都很重要，尤其是在醫(yī)療保健業(yè)。過去數(shù)十年里，醫(yī)學成像技術取得了長足發(fā)展，這意味著需要將大量數(shù)據(jù)從醫(yī)療設備傳輸給醫(yī)療專家進行分析。

一直以來，無非通過兩種方式解決此數(shù)據(jù)量問題：在高延遲的情況下傳輸完整的信息，或者數(shù)據(jù)取樣和重建，但相關技術可能導致重建和診斷不準確。

深度學習的一個優(yōu)點是高精度訓練和低精度實施。

PLASTER——Size of Model 模型大小

深度學習網(wǎng)絡模型的數(shù)量正在激增，其大小和復雜性也在相應增長，這推動著我們對功能更強大的訓練系統(tǒng)的需求。在深度學習模型中，計算能力和物理網(wǎng)絡擴展的推動因素包括：

? 層數(shù)

? 每層節(jié)點數(shù)（神經(jīng)元數(shù)）

? 每層的計算復雜度

? 某層的某個節(jié)點與鄰近層的節(jié)點之間的連接數(shù)

PLASTER——Throughput 吞吐量

開發(fā)者正在指定的延遲閾值內(nèi)逐漸優(yōu)化推理性能。延遲限定可確保良好的客戶體驗，在該限值內(nèi)最大化吞吐量對最大程度提高數(shù)據(jù)中心效率和營收至關重要。

一直以來，業(yè)界都傾向于將吞吐量用作唯一的性能指標，原因是每秒計算次數(shù)越高，其他方面的性能通常也越好。但是，如果系統(tǒng)未能按照指定的延遲要求、功耗預算或服務器節(jié)點數(shù)提供足夠的吞吐量，最終將無法很好地滿足應用場合的推理需求。如果未能在吞吐量和延遲之間取得適當?shù)钠胶猓赡軙е驴蛻舴账降拖隆⑽催_到服務水平協(xié)議 (SLA) 的要求和服務遭遇失敗。

PLASTER——Energy Efficiency 能效

隨著深度學習加速器的性能不斷提升，它的功耗也越來越高。功耗可能會迅速增加向客戶提供服務的成本，因此，關注設備和系統(tǒng)的能效變得更有必要。

在某些場合下，需要密集地處理數(shù)據(jù)以便用自然的聲音智能地回答問題，而語音處理恰好就是這樣一種解決方案。能實時處理語音的數(shù)據(jù)中心推理功能無疑需要使用許多個機架的計算機，從而影響到公司的總體擁有成本。因此，業(yè)界開始使用每瓦特推理次數(shù)來衡量運營成效。超大規(guī)模數(shù)據(jù)中心正設法最大程度地提高能效，即在固定的功耗預算下提供盡可能多的推理次數(shù)。

PLASTER——Rate of Learning 學習頻率

“AI”由兩個詞組成，其中一個是智能 (Intelligence)。因此，用戶將希望神經(jīng)網(wǎng)絡能在合理的期限內(nèi)學習和適應。要使復雜的深度學習系統(tǒng)獲得商業(yè)界的青睞，軟件工具開發(fā)者必須支持“開發(fā)與運維” (DevOps) 行動。

各類組織正不斷試驗深度學習技術和神經(jīng)網(wǎng)絡，同時學習如何更有效地構(gòu)建和實施深度學習系統(tǒng)。由于推理服務會收集新的數(shù)據(jù)，并且會不斷發(fā)展和變化，因此必須定期重新訓練模型。所以，IT 組織和軟件開發(fā)者必須提升模型接收新數(shù)據(jù)和重新訓練的頻率。