大家好，又到了和Time Series Studio見面的日子，上一期我們講到了“training”模塊，那么在訓練中得到的眾多模型里，哪一個模型更能適用于用戶的需求呢？為了確定更可靠的用戶模型，這一期為大家帶來“Emulation”模塊的介紹。

為什么需要仿真？

仿真是一項重要且創新的功能，它有助于：

在部署時驗證 C/C++ 模型代碼的準確性和可用性，因為仿真時使用相同的 C/C++ 模型代碼

驗證和測試真實數據并檢查算法是否過擬合或準確度是否符合預期

對每個算法模型進行基準測試，以選出最佳模型

對特定模型的準確率統計進行基準測試，以便進一步優化

輕松找出從訓練到生成庫的過程中可能出現的部署庫錯誤

仿真支持哪些功能？

針對正常和異常數據集的異常檢測算法，具有真實的測試精度

針對不同類別數據集的分類算法，具有真實的測試精度

針對指定目標數據集的回歸算法，具有真實的測試結果

根據用戶選擇測試所有的訓練模型

可同時自動測試多個模型

離線數據集文件導入

所有仿真模型的測試結果和狀態可視化，每個成功仿真的算法模型生成仿真報告

以圖形方式顯示每個測試文件的測試結果、每個標簽/目標的測試結果以及總體測試結果

使用命令行執行仿真并輸出決策值、標簽和基準詳細信息

此外，命令行執行仿真可以支持串口輸入數據和異常檢測任務中的“On-Device Learn”學習功能。

如何進行仿真？

訓練完成、生成部分訓練模型后停止或暫停訓練，然后切換到“Emulation”模塊。功能布局

仿真需要網絡支持，因為仿真的可執行鏡像必須從云服務器動態生成。

這是“Emulation”模塊的布局，顯示了它的運行步驟(以異常檢測為例)。

步驟 1：選擇訓練記錄，這些記錄里包含了“Training”部分生成的算法模型。

步驟 2：選中要測試的一個或多個模型的復選框。

步驟 3：單擊“New Emulation”按鍵進入測試文件選擇窗口。

步驟 4：單擊“Select”選擇正確的測試文件或與測試標簽匹配的文件。確保不要弄亂它們。

步驟 5：為測試文件選擇正確的分隔符。

步驟6：單擊“Start”，后端服務器檢查測試文件，下載仿真可執行鏡像并運行仿真以獲取測試結果。可能需要等待一段時間，具體取決于用戶的網絡和模型復雜度。用戶可以在此過程中隨時取消。

這是“Emulation”報告的布局。

仿真完成后，將出現完整的仿真報告。仿真報告包括每個模型的總體準確率和仿真狀態，報告還包括基準、混淆矩陣和每個文件的測試準確率的圖形顯示。

如何下載每個模型的特定仿真報告？點擊報告欄中模型的文件圖標，以文件格式生成仿真報告。點擊下載并將報告保存為指定路徑中的PDF文件。

如果模型仿真失敗，請單擊狀態列中模型的失敗圖標以重試該模型的仿真。

溫馨提示，確保測試文件路徑中沒有特殊字符或除英文字母以外的其他語言，以防止文件讀取失敗。

什么樣的仿真報告才能滿足部署需要？

一個合理的部署仿真報告必須滿足以下要求:

整體訓練準確率與仿真準確率匹配

準確率結果符合應用期望

混淆矩陣中的錯誤分布與每個類別的仿真準確率匹配

比較訓練和仿真基準結果來決定是否需要重新進行以下步驟：

重新收集和清洗數據？

重新定義適合目標應用的算法任務？

調整訓練配置并重新訓練以獲得更高的精度？

經過本章的介紹，相信大家了解到仿真的重要性，也期待小伙伴們能夠得到令人滿意的算法模型！