如果你關(guān)注最新進展，可能已經(jīng)知道 Nordic Semiconductor 收購了 Neuton.AI。Neuton 是一家邊緣 AI 公司，致力于使機器學習模型更易于訪問。它創(chuàng)建的模型比競爭對手的框架小 10 倍，速度也快 10 倍，甚至可以在最先進的邊緣設備上進行人工智能處理。在這篇博文中，我們將介紹這對開發(fā)人員意味著什么，以及使用 Neuton 模型如何改進您的開發(fā)和終端應用。

為什么選擇 Neuton

作為開發(fā)人員，在產(chǎn)品中使用邊緣人工智能的兩個最大障礙是：

ML 模型對于您所選微控制器的內(nèi)存來說太大。

創(chuàng)建自定義 ML 模型本質(zhì)上是一個手動過程，需要高度的數(shù)據(jù)科學知識才能做好。

現(xiàn)在，這些阻礙即將被解決。

Neuton 是一個自動生成 ML 模型的框架，其大小僅為 TensorFlow Lite 等傳統(tǒng)框架的一小部分。對于開發(fā)人員來說，這意味著要訓練一個高度優(yōu)化、快速和準確的 ML 模型，你所需要的只是一個數(shù)據(jù)集。Neuton 模型可以在任何 Nordic SoC（如我們的旗艦產(chǎn)品 nRF54L15）上運行，而且非常高效，也非常適合空間最有限的 SoC（如 nRF52805），只占用幾千字節(jié)的非易失性存儲器（NVM）。這使得以前被認為不可能的應用也能增加 ML 功能。例如，您現(xiàn)在可以在廣泛的傳感器網(wǎng)絡的每個節(jié)點上進行人工智能處理，而在這種網(wǎng)絡中，傳感器的尺寸和成本是關(guān)鍵，空間也非常寶貴。

Neuton 的與眾不同

其他邊緣人工智能框架比比皆是，而且存在已久。Neuton 與 LiteRT（又稱微控制器 TensorFlow Lite）和類似框架的主要區(qū)別在于，其他框架仍然依賴于開發(fā)人員掌握如何手動組織神經(jīng)網(wǎng)絡、神經(jīng)元和網(wǎng)絡深度的知識，然后在事后對模型進行壓縮和優(yōu)化，使其適合所需的目標設備。這種方法導致模型在代碼大小、執(zhí)行速度和功耗方面效率較低。

而 Neuton 可以自動處理所有這些問題。Neuton 不會從一開始就靜態(tài)定義網(wǎng)絡參數(shù)，而是自動生成網(wǎng)絡，并檢查每一個新神經(jīng)元是否能提高模型性能。不增加價值的神經(jīng)元會被立即移除，以節(jié)省資源。這為開發(fā)者帶來了多重好處：

無需手動選擇神經(jīng)網(wǎng)絡結(jié)構(gòu)、參數(shù)或架構(gòu)

無需資源密集型的自動神經(jīng)架構(gòu)搜索 (NAS)

代碼體積盡可能小，無需壓縮或優(yōu)化

執(zhí)行速度更快，這意味著功耗更低

Neuton 模型以純 C 代碼形式從平臺下載，沒有外部依賴性或特殊運行要求。它們可隨時集成到在任何 Arm Cortex-M 系列處理器上運行的任何應用中，如 nRF52、nRF53、nRF54L 和 nRF54H 系列 SoC 或 nRF91 系列 SiP 的應用內(nèi)核。

這對開發(fā)人員意味著什么

使用 Neuton 框架創(chuàng)建 ML 模型已經(jīng)可以通過 lab.neuton.ai 實現(xiàn)。如果您迫不及待，現(xiàn)在就可以嘗試使用，但請注意，您需要自己將其集成到 nRF Connect SDK 應用程序中，因為目前還沒有這方面的示例。如果您更喜歡 Nordic 眾所周知的更簡化的開發(fā)流程和開發(fā)體驗，我們正計劃適配我們的開發(fā)者生態(tài)的重大改進。因此，如果您不想自己完成所有的集成工作，您可以等待我們nRF Connect SDK 示例和必要開發(fā)工具，來構(gòu)建與我們的解決方案無縫集成的模型。

工作原理

盡管通過專用示例固件與 nRF Connect SDK 的集成仍在進行中，但使用 Neuton 框架生成模型已經(jīng)完全實現(xiàn)自動化，而且非常簡單。

為您的應用生成一個完整、無依賴性的模型只需三個步驟。

收集數(shù)據(jù)并上傳數(shù)據(jù)集；該平臺接收帶標簽的 CSV 文件

選擇數(shù)據(jù)集中的目標變量，并選擇評估指標

然后，平臺會在后臺 “自動 ”生成神經(jīng)網(wǎng)絡，一旦算法準備就緒，平臺就會通知您。

將 Neuton 模型下載為一個完整的 C 語言庫，并使用僅由 3 個簡單函數(shù)調(diào)用組成的應用程序接口將其集成到您的應用程序中：

neuton_nn_setup - 設置 Neuton 的內(nèi)部組件，應首先調(diào)用，且僅調(diào)用一次

neuton_nn_feed_inputs - 為模型推理提供并準備實時輸入特征

neuton_nn_run_inference - 將實時輸入特征輸入 Neuton 模型，計算輸出結(jié)果

使用案例

Neuton 釋放了以前僅限于我們旗艦硬件的使用案例，使我們所有的 SoC 都能用于邊緣人工智能。例子包括：

預測性維護和樓宇自動化系統(tǒng)

在每個節(jié)點上進行本地數(shù)據(jù)分析的智能傳感器網(wǎng)絡

遙控器和可穿戴設備的動作和手勢識別

用于智能健康可穿戴設備的健康和活動監(jiān)測

還有更多

對標測試

下表列出了在同一 nRF52840 SoC 上運行的 LiteRT 模型（以前稱為微控制器 TensorFlow Lite）和 Neuton 模型之間的對標測試結(jié)果。該比較使用了眾所周知的 "magic wand "動作識別用例，兩個模型都在相同的數(shù)據(jù)集上進行了訓練，并在相同的保留集上進行了驗證。

有關(guān)比較的完整文章可在此處查閱（外部鏈接）。

下一步工作

在接下來的幾個月里，我們將努力把 Neuton 集成到我們的開發(fā)生態(tài)系統(tǒng)中，增加工具、示例和支持，為開發(fā)人員提供便利，為他們的應用增值。如果您非常想親自嘗試構(gòu)建和集成 Neuton 模型，現(xiàn)在就可以使用其傳統(tǒng)的在線平臺 lab.neuton.ai 進行測試。

審核編輯 黃宇