蓬勃發展的機器學習和人工智能新興用例有望通過加速信息處理和提高決策準確性為行業創造重大價值。但機器學習模型是計算密集型、需要高頻和實時 AI 分析場景，這導致企業依賴于使用每秒萬億次操作 (TOPS) 指標的性能指導。TOPS 捕捉到“加速器在一秒鐘內可以提供多少數學運算？” 比較和確定給定推理任務的最佳加速器。

雖然 TOPS 是一個“容易”計算的指標，但它通常無法為實際工作負載提供可靠的性能指標。受限于加速器中乘法器和加法器的數量，該指標無法考慮處理神經網絡模型的計算硬件結構。隨著數據網絡模型更快地處理數據，企業如何通過更快、更可靠的決策進行擴展，尤其是在邊緣？

在這篇文章中，我們將回顧 TOPS、它在測量延遲方面的挑戰以及它與現實世界的性能計算有何不同，并提供一種通過基準測試來計算性能的替代方法，它提供了一種更可靠的方法來解釋計算硬件結構。

TOPS 作為績效衡量標準的現實

TOPS 是一個簡化指標：它告訴您 AI 加速器在一秒鐘內可以處理多少計算操作，并且利用率為 100%。本質上，它著眼于加速器可以在很短的時間內解決多少數學運算問題。

例如，如果一個 AI 加速器提供 5 TOPS，另一個提供 15 TOPS，則推斷后者比前者快三倍。但是，就像 CPU 速度的兆赫茲和千兆赫茲一樣，TOPS 也失去了確定整體計算機性能的相關性。隨著人們對 AI 應用的興趣日益濃厚，最新的 AI 加速器可以比簡單的算術更快地處理數據，并且更復雜。

然而，TOPS 很少準確地捕捉到 AI 處理器在整個硬件設備中的重要性。如今，相機、邊緣服務器和計算機中的 AI 處理器通常是決定計算能力和能源效率的關鍵組件之一。事實上，TOPS 未能考慮到現實世界的工作量。通常，由于諸如空閑計算機單元等待來自內存的數據、加速器不同部分之間的同步開銷和控制開銷等因素，實際性能可能會顯著低于 TOPS 值。根據加速器的架構和工作負載特性，

更高的 TOPS 不等于更高的性能

雖然較高的 TOPS 值可以表示具有更多計算元素的更大 AI 加速器，但現實情況可能恰恰相反。更高的 TOPS 通常會導致更大的加速器具有更多的計算元素和內存塊，以將數據饋送到這些計算單元，這會導致更高的成本和功耗。另一方面，高效的加速器使用較少數量的計算資源提供更高的性能，因此 TOPS 評級較低。最終，理想的 AI 加速器是使用低 TOPS 提供高性能的加速器。

TOPS 不包括所有計算類型

TOPS 指標考慮了加速器的乘法器和加法器，這通常會導致性能指標不準確，因為加速器可以擁有除此之外的其他計算資源。例如，Kinara 的架構采用歸約樹而不是加法器陣列，從而顯著降低能耗。由于在此計算中未捕獲歸約樹的計算能力，TOPS 指標將不夠準確。ResNet50、MobileNet V1 和 YOLO_v3 等標準神經網絡在比較不同的加速器時非常有用，因為它們也可以用作“猜測”給定加速器是否能夠滿足開發人員自身工作負載需求的代理。

推理延遲是評估 AI 加速器性能的指標

對于在 Edge AI 上進行投資的企業，通過基準測試計算性能提供了一種可靠的方法來計算計算硬件結構與 TOPS。由于大多數實際應用程序需要極快的推理時間，因此衡量性能的最佳方法是運行特定的工作負載，通常是 ResNet-50、EfficientDet、Transformer 或自定義模型，以了解加速器的效率。使用不同類型、大小、拓撲和輸入分辨率的網絡進行實時處理，可以得出推理延遲度量。該指標計算加速器完成一個特定 AI 模型的干擾的執行時間。

隨著 AI 工作負載及其支持計算架構的發展，通過準確的性能測量確保其可預測性具有重大影響，可以引導開發人員做出更優化的決策。通過使用推理延遲計算，它有助于處理和預測現代 AI 工作負載中的數據流，即使這些工作負載碎片化并且新架構的發展導致更多的不可預測性。最終，基準測試應用程序提供了一種可信且更可靠的 TOPS 替代方案，而 AI 加速器支持更有效的評估。

審核編輯 黃昊宇