基準測試是電子工程師的最愛，因為它提供了有關性能、功耗、延遲或其他可能對整個系統產生重大影響的組件指標的快速參考。嵌入式微處理器基準聯盟 （EEMBC）等組織廣泛提供組件基準測試，可測量從微控制器 （MCU） 及其外圍設備的能效到多核和異構計算架構的性能，再到數據中心服務器的延遲和吞吐量等方方面面。 這些標準化測試提供的分數提供了設備在受控環境中如何運行的比較快照，并且可以幫助工程決策者快速篩選眾多組件選項并確定解決方案。

但這絕非易事，正如任何優秀的工程師都會告訴您的那樣，因為基準測試結果通常只衡量不在復雜的真實系統環境中運行的孤立組件的性能。公平地說，給定系統設計的無限變量轉化為無限可能的測試向量，使得基準測試的圣杯——系統級基準——不切實際。

系統級基準測試復雜性的一個完美示例是物聯網 （IoT）。有時被稱為“系統系統”架構，對物聯網設備進行基準測試不僅需要測試多個組件，還需要測試設備與數據中心服務器之間連接的安全性、延遲和吞吐量。物聯網部署模型的多樣性和不同垂直市場的獨特要求對圍繞物聯網系統開發標準化測試提出了進一步的挑戰，這再次使基準測試變得不切實際。

或者是嗎？

“傳統的基準是，‘這里有一些代碼。去用你最喜歡的編譯器編譯代碼，然后在處理器上運行它，‘”EEMBC 總裁 Markus Levy 說。“隨著您對系統級別的了解越來越多，您會發現您需要擁有更多的外部影響力才能使其成為現實世界。這是我們將使用 IoT-Gateway 和 IoT-Secure 基準做的事情，也是我們一直在使用IoT-Connect基準做的事情。”

EEMBC 物聯網工作組成立于 2015 年，旨在為物聯網社區制定更全面的基準。他們努力的最初產品是前面提到的 IoT-Connect 基準，它通過考慮藍牙、Wi-Fi 和 Thread 等無線接口的功耗（以及可能未來的 LoRa），以及傳感器輸入的影響。如圖 1 所示，IoT-Connect 基準測試包括一個基于 Arduino 的 I/O 控制器，該控制器使用 SPI 或 I2C 接口來模擬傳感器輸入，以及一個配備連接屏蔽層的 Raspberry Pi，用作射頻控制器。這兩個設備都與被測設備 （DUT） 通信，

【圖1 | 此處顯示的是來自 EEMBC 的 IoT-Connect 基準測試，它使用 Arduino I/O 控制器、帶有藍牙低功耗 （BLE） 屏蔽的 Raspberry Pi（在本例中）以及此處用于評估性能和STMicroelectronics Nucleo 平臺的功耗。］

IoT-Connect 基準測試代表了用于測試復雜物聯網系統的各種元素的初始框架，也為兩個最新的 EEMBC 物聯網基準測試奠定了基礎：IoT-Secure和IoT-Gateway。

為物聯網決策者制定更深入的基準

IoT-Secure 和 IoT-Gateway 基準測試目前都在開發中，但重要的是它們試圖提供標準化但靈活的工具——所有這些都基于配置文件的概念。例如，由 Synopsys 的 Mike Borza 和 Ruud Derwig 共同主持的 IoT-Secure 基準測試建立在 IoT-Connect 提供的框架之上，以量化加密算法（如 SHA-256、AES 和 ECC）的影響，通過硬件加速器、加密協處理器、嚴格意義上的軟件或它們的組合。然而，IoT-Secure 基準也將在后續階段推出，將這些獨立功能組合到配置文件中，允許用戶計算技術和實施方法的組合如何優化系統級別的安全性。

“與此相關的是某種形式的性能——無論是吞吐量，還是延遲，還有一個能量因素，還有一個內存利用率因素，”Levy 說。“我們想知道的是，‘做這種安全性相關的開銷是多少？’”

另一個可能更雄心勃勃的基準測試是 IoT-Gateway，由戴爾的 Rory Rudolph 擔任主席。IoT-Gateway 旨在根據特定垂直市場的要求評估網關的基本功能及其性能。原則上，IoT-Gateway 將采用分布式基準測試架構，測量客戶端-服務器交互和跨多個物理端口生成的工作負載，以提供整個系統的延遲和吞吐量指標，直至達到飽和值。

如前所述，在通用測試之外，來自不同市場的典型工作負載和使用模型將用于創建額外的基準配置文件（例如在自動化、媒體和運輸領域），從而允許根據其要求對網關進行測試目標行業（圖 2）。

【圖2 | 各種垂直市場的不同要求要求基于行業為 IoT-Gateway 基準開發單獨的配置文件。］

如圖 3 所示，IoT-Gateway 基準測試可以概括地描述為連接到服務器、從服務器接收測試數據、計算該數據，然后將其傳回的過程。在 IoT-Gateway 的第 1 階段，這將使用基于軟件的基準控制器、典型的工作負載生成器和執行引擎來執行，所有這些都在被測網關上本地運行（圖 4）。在第 2 階段，基準測試將演變為通過外部控制器和基準測試設備運行真實世界的網關工作負載（圖 5）。

【圖3 | IoT-Gateway 基準測試致力于測試網關設備的基本功能，以及它們基于行業要求的性能。］

【圖4 | IoT-Gateway 基準測試的第 1 階段完全由在網關本地運行的軟件組成，不使用物理端口，并生成各種行業使用模型的典型工作負載。］

【圖5 | IoT-Gateway 基準測試的第 2 階段將是分布式架構測試，不僅包括被測網關，還包括單獨的基于服務器的工作負載生成器和控制器。］

“我們正在做的是開發與云通信的概念驗證，然后我們將開發連接到藍牙或其他射頻方法的組件，”Levy 解釋說。“真正的挑戰是發展客戶端-服務器關系。

“使用 IoT-Connect 基準測試會稍微簡單一些，因為您正在模擬 IoT 邊緣節點設備，”Levy 繼續說道。“在網關的情況下，您可能有 50 或 100 個藍牙連接，因此當您嘗試使接口飽和時會變得有點復雜。您不能只讓一個 BLE 設備與網關通信。理想情況下，你會不斷地向它扔設備，包括混合協議，因為網關可以同時使用不同的設備進行 Wi-Fi、藍牙和其他類型的射頻。”

與處理器無關的網關基準測試將針對基于 Linux 的操作系統 （OS），以促進適用于最廣泛系統的標準化水平。

審核編輯：郭婷