一、概述

在當前科技迅速發展的環境中，人工智能（AI）技術日益普及，邊緣計算(Edge Computing)也隨之成為 AI 應用的核心支柱。傳統云計算雖然具備強大的集中處理能力，但在大量數據傳輸和實時響應的需求下，延遲與帶寬的瓶頸逐漸顯現。因此，邊緣計算的概念應運而生，通過將部分計算分配到數據生成端的應用，不僅顯著降低延遲，還有效減輕網絡負擔，提升了應用的實時性與隱私性。

在這波邊緣計算浪潮中，MemryX 加速卡以其卓越的浮點計算能力 (BF16) 及全面的軟件服務，成為 AI 邊緣計算的獨樹一幟的存在。過去傳統邊緣計算多集中于整數運算，但在實際應用中，仍有某些任務需要高度精確度，因此浮點運算的智能芯片將成為物體檢測、圖像識別和自然語言處理等邊緣應用的理想選擇。MemryX 于 2024 年提出了一套新的加速卡解決方案，能夠在低功耗 (5 TFLOPS/W) 的情況下提供卓越的 AI 計算性能 (20 TFLOPS)，逐漸成為邊緣智能應用的關鍵推動者。

除了硬件性能，MemryX 還提供豐富的軟件服務是一大亮點。其軟件支持包括各模塊評估、API 接口、驅動程序和多種開發工具，方便開發者快速集成并靈活調整 AI 運算需求。MemryX 的軟件支持涵蓋了從 MX3+ 芯片模擬性能(Simulator)、權重精度調整(Weight Precision)、模型裁剪(Model Cropping) 工具以及模型庫資源，能夠幫助 MX3+ 運行性能達到最佳狀態。

未來，MemryX 不僅在現有系統升級中扮演重要角色，還將成為邊緣計算和 AI 深度整合的核心引擎。其強大的浮點運算能力和全面的軟件服務，為用戶提供即插即用的 AI 解決方案，開創邊緣智能新時代。

本章節將向用戶介紹如何安裝 MemryX 以及C / C++ 的示例程序應用。

二、快速搭建 MemryX

(1) 硬件架構

將 MemryX MX3+ 2280 尺寸模塊連接到 Orange Pi 的 M.2 插槽，并安裝散熱片(heat sink)、屏幕(screen)、攝像頭(USB Camera)、鼠標(mouse)、鍵盤(keyboard) 和網線(Ethernet Cable)。

(2) 下載 Orange Pi 5 Plus 預構建鏡像 (Ubuntu)

請至官方網站下載預構建鏡像

下載 Orangepi5plus_1.0.8_ubuntu_focal_desktop_xfce_linux5.10.160.7z 并將其解壓縮

Ubuntu適用版本：18.04 (Bionic Beaver)、20.04 (Focal Fossa)、22.04 (Jammy Jellyfish)

Linux 內核版本：5.10.x ~ 6.1.x

(3) 將 Ubuntu 系統燒錄至 SD 卡

請將 SD 卡 (建議準備 16GB 以上的容量) 插入到 PC 端，并使用 Rufus 進行燒錄。

(4) 進入 Ubuntu 系統并連接網絡

燒錄完成后，請將 SD 卡放入 Orange Pi 5 Plus。即可連接電源進入系統，并連接上網絡。

(5) 安裝 kernel-header 頭文件

$ sudo apt install linux-headers-$(uname -r)

(6) 安裝 MemryX SDK 包 (C/C++)

▲ 添加 GPG 密鑰

$ wget -qO- https://developer.memryx.com/deb/memryx.asc | sudo tee /etc/apt/trusted.gpg.d/memryx.asc >/dev/null

▲ 添加軟件至 APT 列表

$ echo 'deb https://developer.memryx.com/deb stable main' | sudo tee /etc/apt/sources.list.d/memryx.list >/dev/null

▲ 安裝 MemryX MX3+ NPU 驅動程序

$ sudo apt update

$ sudo apt install memx-drivers

▲ 安裝 MemryX MX3+ 運行時 (C/C++)

$ sudo apt install memx-accl

▲ 安裝 MemryX MX3+ 包

$ sudo apt install memx-accl-plugins

$ sudo apt install memx-utils-gui

$ sudo apt install qtbase5-dev qt5-qmake

$ sudo apt install cmake

$ sudo apt install libopencv-dev

$ sudo apt install libssl-dev

▲ 優化硬件設置

原廠目前提供 Raspberry Pi 5、Orange Pi 5 Plus、Radxa Rock 5B EVK 進行設置。若為 Intel (x86) 則可略過此步驟。

$ sudo mx_arm_setup

▲ 驗證環境

請將系統重啟后，以下列指令確認是否安裝成功。

$ apt policy memx-drivers

三、DEMO 實作展示 (C/C++)

請前往官網連接到 Tutorials 進行 DEMO 教學示范，并請連接一臺 USB 攝像頭進行展示。

(1) 深度估計

深度估計(Depth Estimation) 展示了利用彩色影像圖片來生成具有距離意義的深度圖。

● 下載并解壓depthEstimation.zip

$ unzip depthEstimation.zip

● 修改權限

$ sudo chmod -R 777 depthEstimation/

● 編譯

$ cd depthEstimation

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./depthEstimation –cam /dev/video0

每秒運行約 29.81 幀，CPU 使用率約 200%，內存使用率約 0.1%(0.016 GB)

(2) 目標檢測 (CenterNet)

物體檢測(Object Detection) - CenterNet 是經典的目標檢測算法，于 2019 年提出。[PDF]

● 下載并解壓 centernet_sample.zip

$ unzip centernet_sample.zip

● 修改權限

$ sudo chmod -R 777 CenterNet/

● 編譯

$ cd centernet_sample/CenterNet

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./CenterNet

每秒運行約 23.6 幀，CPU 使用率約 493.4 %，內存使用率約 4.4 % (0.7 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(3) 姿態估計 (YOLOv8)

肢體估計(Pose Estimation) - YOLOv8 是目前最熱門的 DNN 算法，于 2023 年提出 [Ultralytics] 被設計用于計算人體肢體的節點位置與相關性。

● 下載并解壓 poseEstimation_sample.zip

$ unzip poseEstimation_sample.zip

● 修改權限

$ sudo chmod -R 777 poseEstimation/

● 編譯

$ cd poseEstimation

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./poseEstimation --cam /dev/video0

每秒運行約 22.4 幀，CPU 使用率約 155.4%，內存使用率約 1.6% (0.25 GB)

(4) 目標檢測 (YOLOv7t)

物體檢測(Object Detection) - YOLOv7 Tiny 是目前最熱門的 DNN 算法，于 2022 年提出 [PDF ] 被設計用于計算各種物體的位置與相關性。

● 下載并解壓objectDetection_sample.zip

$ unzip objectDetection_sample.zip

● 修改權限

$ sudo chmod -R 777 objectDetection/

● 編譯

$ cd objectDetection/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./objectDetection

每秒運行約 45.5 幀，CPU 使用率約為 445 %，內存使用率約為 2.9 % (0.46 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(5) 目標檢測 (YOLOv8s)

物體檢測(Object Detection) - YOLOv8 是目前最熱門的 DNN 算法，于 2023 年提出 [Ultralytics] 被設計用于計算各種物體的位置與相關性。

● 下載并解壓objectDetection_sample.zip

$ unzip objectDetection_sample.zip

● 修改權限

$ sudo chmod -R 777 yolov8_objectDetection

● 編譯

$ cd yolov8_objectDetection/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./yolov8_objectDetection

每秒運行約 42.8 幀，CPU 使用率約 225 %，內存使用率約 4.2%(0.67 GB)

圖片來源 : https://www.pexels.com/zh-tw/

(6) 多流目標檢測 (Multi-Stream Object Detection)

使用目前最熱門的 YOLOv8 DNN 算法進行 多路影像流(Multi-Stream Object Detection) 展示。

● 下載并解壓 MX_DEMOS_20241029.tgz

若想獲取此 DEMO，請聯系 MemryX 或 WPI 窗口。

$ tar zxvf MX_DEMOS_20241029.tgz

● 修改權限

$ sudo chmod -R 777 MX_DEMOS/

● 編譯

$ cd MX_DEMOS/

$ mkdir build && cd build

$ cmake ..

$ make -j4

● 運行

$ ./demoVMS

每秒運行約 28.4 幀，CPU 使用率約 615.5%，內存使用率約 20.0%(3.2 GB)

四、結語

MemryX MX3+ AI 加速卡提供高性能、低功耗且靈活的 AI 邊緣計算解決方案特別適用于物體檢測、視覺分析和實時監控等應用場景。通過浮點數運算 (BF16) 及內置 10.5 MB SRAM內存，能夠在不占用主系統內存資源的前提下，確保運算精度，并提升 AI 模型的性能與可擴展性。

在 C/C++ DEMO 測試中，單顆攝像機的物體檢測僅需占用約一顆 CPU 處理視頻，而系統內存使用量僅為 1.6%，顯示出 MemryX 芯片的高效運算與極低資源占用特性。如果研究深入一些，MemryX 提供強大的開發工具，開發者可以靈活切割 AI 模塊的前后處理，甚至能將圖像前處理交由 ISP(圖像信號處理器) 或 DSP(數字信號處理器) 處理，從而進一步優化運算效率。

MemryX MX3+ 的核心優勢

● 高幀率運算：單張低功耗 M.2 卡可同時處理10路攝像機流，支持多AI模型并行運行。

● 高精度與自動編譯：一鍵完成 BF16 浮點模型編譯，確保 AI 準確度，無需額外調整或重新訓練。

● 原始模型保持完整：無需修改 AI 模型即可直接部署，并可選擇模型剪枝與壓縮來優化設計。

● 自動化前/后處理：自動識別并整合前后處理代碼，減少開發與調試時間，提高部署效率。

● 優異的可擴展性：可單芯片運行，也可16芯片組合為邏輯單元，無需額外的PCIe交換器。

● 低功耗設計：單顆 MX3 芯片僅消耗 0.5W ~ 2.0W，4 芯片模塊的功耗低于主流 GPU 的 1/10。

● 廣泛的硬件與軟件支持：兼容 x86、ARM、RISC-V 平臺及多種操作系統，開發靈活性極高。

隨著人工智能在零售、汽車、工業、農業和機器人等行業中的廣泛應用，MemryX 正站在邊緣計算技術的前沿，為客戶提供卓越的性能和更高的價值。在未來，MemryX 將繼續推動技術創新，成為AI邊緣計算領域中不可或缺的合作伙伴通過上述原廠提供的工具與示例，AI 不再是遙不可及的夢想，只需一步步按照示例步驟操作，就可以快速實現任何智能應用。若想試用或購買 MemryX 產品的新伙伴，請直接聯系伊布小編！謝謝。

五、參考文件

[1] MemryX 官方網站

[2] MemryX 開發者中心技術網站

[3] EE Awards 2022 亞洲金選獎

[4] MemryX - LinkedIn 官方賬號

[5] MemryX 示例

[6] 美通社 - MemryX宣布MX3邊緣AI加速器正式投產

如有任何相關MemryX技術問題，歡迎在博文底下留言提問！

接下來還會分享更多MemryX的技術文章 !!敬請期待【ATU Book-MemryX系列】

歡迎關注大大通博主：ATU 伊布小編 (一部)

了解MPU技術整合、深度學習、電腦視覺技術與人工智能（AI）的發展等更多相關內容