嵌入式AI和ML在邊緣的部署不斷增加，無疑引入了從云到邊緣的新性能變化。盡管邊緣設備上的AI執(zhí)行性能突然發(fā)生了負面變化，但采用TinyML是一種前進的方式。

該過程中的主要挑戰(zhàn)是識別邊緣部署期間的潛在問題，以及 ML 推理執(zhí)行中的可見性較低。為了解決這個問題，斯坦福大學的一組研究人員提出了一個端到端框架，該框架提供了對層級ML執(zhí)行的可見性，并分析了云到邊緣的部署問題。

ML-EXray 是一種云到邊緣部署驗證框架，旨在通過記錄中間輸出來掃描邊緣 ML 應用程序中的模型執(zhí)行，并使用參考管道提供相同數據的重放。此外，它還比較性能差異和每層輸出差異，使用戶能夠自定義函數來驗證模型行為。

ML-EXray的結果表明，該框架能夠識別預處理錯誤，量化問題，次優(yōu)內核等問題。ML-EXray 只需不到 15 行代碼，即可檢查邊緣部署管道，并將模型性能校正多達 30%。此外，該框架還指導操作員將內核執(zhí)行延遲優(yōu)化兩個數量級。

調試框架系統由三部分組成：

跨平臺 API，用于邊緣和云端 ML 推理的檢測和日志記錄

用于數據回放和建立基線的參考管道

用于檢測問題并分析根本原因的部署驗證框架

對于自定義日志和用戶定義的驗證，ML-EXray 提供了一個用于編寫自定義斷言函數的接口。通用部署驗證流程圖易于理解，因為 ML-EXray 從檢測的應用程序和引用管道中獲取日志。數據集用于在應用框架之前訓練應用程序。

將框架應用于兩個管道后，將執(zhí)行精度匹配，這將檢查準確性下降并仔細檢查層級詳細信息以找到差異。檢測完成后，將注冊斷言函數以進行根本原因分析。

研究人員發(fā)布的評估表顯示了該過程中涉及的任務，模型和斷言。該框架適用于各種任務，以識別多個維度的部署問題，包括輸入處理、量化和系統性能。此外，預處理調試目標的代碼行實現為四個 LoC（代碼行），而沒有 ML-EXray 的代碼行為 25 行。在結束關于新方法和優(yōu)化調試框架的討論之前，讓我們回顧一下研究的命題。

總結一下通過 ML-EXray 引入邊緣 AI 部署在識別故障和處理錯誤方面的創(chuàng)新：

一套檢測 API 和 Python 庫，可查看任務關鍵型應用程序邊緣設備上的層級詳細信息。

端到端邊緣部署驗證框架，為用戶提供了一個界面，用于設計用于驗證和檢查的自定義函數。

ML-EXray 旨在檢測工業(yè)設置中導致 ML 執(zhí)行性能下降的各種部署問題。

審核編輯：郭婷