女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

樹莓派&AXCL:樹莓派離線大模型新范式!

上海晶珩電子科技有限公司 ? 2025-04-21 16:33 ? 次閱讀

5adb88d2-1e8b-11f0-9434-92fbcf53809c.png

背景

經常買 Raspberry Pi 的朋友們都知道,Raspberry Pi 5 作為業內最優秀的 SBC(Single Board Computer),除了其本身優秀的軟硬件綜合性能之外,為了方便更多高性能外設的拓展,新增了一組 PCIE3.0x1 外設接口,可以通過 FFC 線纜連接到官方或者第三方 HAT 組件。從去年開始樹莓派就陸陸續續介紹了各種基于 HAT PCIE 拓展的方案

今年春節之后,隨著 DeepSeek 破圈,樹莓派的開發者們也不再限于只使用 Raspberry Pi5 運行傳統的CNN小模型(例如 YOLO)。社區對大語音模型、多模態大模型、生成模型在樹莓派板卡上高效率部署的訴求也越來越多。

今天開始分享由國內優秀的端側AI芯片公司愛芯元智推出的基于 Raspberry Pi 5 的算力拓展解決方案,看看有哪些樹莓派生態硬件已經/即將支持,以及其簡單易上手的特性。

優勢

相比樹莓派官方的 Hailo8 或者 Halio8L 的算力套件,其優勢如下

AI示例豐富

支持但不限于以下內容

大語言模型

DeepSeek R1 Distill、Qwen、Llama3、MiniCPM、SmolLM2、InternML

多模態大模型

Qwen2.5-VL、InternVL2.5、MiniCPM-V、SmolVLM、Janus Pro

語音類模型

Whisper、WeNet、MeloTTS、OpenVoice

生成似模型

StableDiffusionv1.5、LivePortrait

多模態模型

CLIP、YOLOWorldv2

主流 CNN&Transformer 模型

Ultralytics YOLO 全系列、SAM、DepthAnythingv2、Metric3D、RAFT-Stereo、MixFormerv2 等

資源消耗小

獨立存儲,運行各種AI模型不占用 樹莓派5 系統的 DDR 帶寬;獨立編解碼模塊,最大支持 32 路 1080P30 解碼

二次開發簡單

提供 C++/Python API,編解碼單元已適配 FFmpeg。國內本土全棧技術方案,解決方案豐富成熟,技術支持高效

功耗低

滿載功耗<8w,可被動散熱,不需額外供電,采用 樹莓派5 標準的適配器,通過 FFC 給 HAT 拓展算力配件供電即可

性價比高

價格實惠

硬件介紹

無論是通過已有 HAT 拓展的 M.2 2280 標準算力卡,還是針對 樹莓派5 定制的 HAT AI Module,共有產品特性如下:

5afed24c-1e8b-11f0-9434-92fbcf53809c.png

M.2 算力卡

5b17718a-1e8b-11f0-9434-92fbcf53809c.jpg

HAT AI Module

5b3281e6-1e8b-11f0-9434-92fbcf53809c.jpg

硬件安裝

M.2 算力卡

在樹莓派 5 上安裝 M.2 加速卡時,首先需要準備一塊 M.2 HAT+ 擴展板。參考官方鏈接,M.2 HAT+ 的官方版本只支持 2230、2242 的 M.2 M Key 卡,通常 AX650 加速卡是 2280 的,您可能需要考慮購買第三方的支持 2280 長度的 M.2 HAT+ 擴展板。

如果是 CM5 的用戶,建議直接使用 CM5 配套的 Compute Module 5。

示意圖

5b4e4d04-1e8b-11f0-9434-92fbcf53809c.jpg5b6a6afc-1e8b-11f0-9434-92fbcf53809c.jpg5b8b76b6-1e8b-11f0-9434-92fbcf53809c.jpg

軟件安裝

AXCL 是用于在Axera芯片平臺上開發深度神經網絡推理、轉碼等應用的 C、Python 語言 API 庫,提供運行資源管理,內存管理,模型加載和執行,媒體數據處理等 API。基于樹莓派5安裝 AXCL 驅動軟件的詳細過程可參考

https://axcl-pi5-examples-cn.readthedocs.io/zh-cn/latest/doc_guide_setup_sw.html

正確安裝 AXCL 驅動包后,AXCL-SMI 即安裝成功,直接執行axcl-smi顯示內容如下:

5ba6ec20-1e8b-11f0-9434-92fbcf53809c.png

AI 易用性

API 兼容 ONNXRuntime

考慮到樹莓派開發者中,通常為了快速進行產品開發,會使用 Python API 進行快速功能驗證。通常會使用 ONNXRuntime CPU 進行模型部署。因此 AXCL 的 NPU Python API 提供了“像素級”兼容,原則上只需要在以往的 ONNXRuntime Python 腳本中,僅需將 import onnxruntime as ort 修改為 import axengine as ort 即可。詳細使用說明請參考 pyaxengine

AI 示例展示

普通模型

這里橫向對比下其他內置算力的 SBC,從圖中可以看出運行普通的 CNN 和 Transformer,RaspberryPi5+M.2 算力卡的組合計算效果更高。

5bcb7f72-1e8b-11f0-9434-92fbcf53809c.jpg5be5d278-1e8b-11f0-9434-92fbcf53809c.jpg

Qwen2.5-1.5B

大語言模型基本應用

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Qwen2.5-1.5B-Instruct-CTX-Int8

支持較長的上下文,2.5k

支持 System Prompt 緩存

支持 prefill 優化

5bff44b0-1e8b-11f0-9434-92fbcf53809c.png

InternVL2_5-1B

圖片理解,真正的的多模態大模型

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/InternVL2_5-1B

5c14f508-1e8b-11f0-9434-92fbcf53809c.png

StableDiffusionv1.5

文生圖、圖生圖

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/lcm-lora-sdv1-5

Raspberry Pi5 使用基于 AX650N 的算力模組拓展,SD1.5 的推理性能可以提升 40 倍(生成圖片大小 512x512)

5c2fcc7a-1e8b-11f0-9434-92fbcf53809c.png
Whisper

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Whisper

測試音頻一共 4 秒,在 愛芯派Pro 上 Whisper small 模型運行耗時 740 ms,RTF(?Real-Time Factor) = 0.19,RTF 越低?:意味著 ASR 系統處理語音的速度越快。實時因子低的 ASR 系統在需要實時響應的應用場景(如語音助手)中尤為關鍵?。


社區反饋

其實 樹莓派 + M.2大模型算力卡 的拓展形態,已經有海外社區用戶提前嘗鮮,從反饋看,還是相當滿意,可玩性很高。

5c69f08a-1e8b-11f0-9434-92fbcf53809c.jpg5ca1d82e-1e8b-11f0-9434-92fbcf53809c.jpg5cbcf2bc-1e8b-11f0-9434-92fbcf53809c.jpg5cd9be6a-1e8b-11f0-9434-92fbcf53809c.jpg

后續計劃

本篇文章只是投石問路,我們會根據樹莓派社區的反饋,積極輸出大家更想了解的算力拓展解決方案。希望通過這樣的組合方式,解決樹莓派生態中算力欠缺的劣勢,賦能樹莓派生態拓展更多有價值的AI產品方案

不斷適配前沿流行的大模型

聯合硬件生態合作伙伴,推出更多適用于樹莓派主機的算力配件

進一步提升算力模組的軟件易用性,開源 視頻解碼硬件+智能分析+業務后處理 一站式解決方案

聯合樹莓派生態,拓展各種垂直領域的智能解決方案

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    34146

    瀏覽量

    275322
  • 樹莓派
    +關注

    關注

    121

    文章

    1936

    瀏覽量

    106971
  • 大模型
    +關注

    關注

    2

    文章

    3020

    瀏覽量

    3813
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    樹莓“吉尼斯世界記錄”:將樹莓的性能發揮到極致的項目!

    樹莓是一款功能強大、體積小巧且高度可定制的設備,多年來,我們見證了它被應用于眾多領域。無論是將其裝入3D打印的經典游戲機外殼,還是簡單地將它隱藏起來作為家庭文件服務器,我們都報道過在社區里用樹莓
    的頭像 發表于 05-22 16:53 ?398次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>“吉尼斯世界記錄”:將<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>的性能發揮到極致的項目!

    樹莓5 與 樹莓4:深度對比與獨特優勢!

    隨著技術的不斷發展,推動創新與創造力的工具和設備也在不斷升級。其中,樹莓派系列憑借其多功能性和強大性能,在從簡單的DIY項目到復雜的計算任務等眾多應用場景中脫穎而出。隨著樹莓5的近期發布,愛好者
    的頭像 發表于 05-21 13:15 ?246次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>5 與 <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>4:深度對比與獨特優勢!

    能夠精準定位的樹莓機器人!

    我為我的自制機器人BigRob(同樣由樹莓驅動)配備了基于樹莓的精準GPS導航系統。本項目所用組件硬件組件NV08C-CSMx1NV08C-CSM是一款集成式衛星導航接收器
    的頭像 發表于 05-17 08:33 ?252次閱讀
    能夠精準定位的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>機器人!

    樹莓 Zero 打造的智能漫游車!

    使用PXFMini和樹莓Zero打造您自己的自主漫游車。本項目所用組件硬件組件ErleRoboticsPXFmini×1樹莓Zero×1樹莓
    的頭像 發表于 05-13 16:39 ?247次閱讀
    用 <b class='flag-5'>樹莓</b><b class='flag-5'>派</b> Zero 打造的智能漫游車!

    你的樹莓為什么越用越卡?揭秘SD卡里的&amp;amp;quot;圖書館管理員&amp;amp;quot;

    導語有沒有遇到過樹莓啟動變慢、運行卡頓,甚至莫名“死機”?這些問題很可能和SD卡里的“隱形管家”——文件系統有關!今天我們將用“圖書館管理員”的比喻,帶你輕松看懂樹莓啟動流程、文件
    的頭像 發表于 03-25 09:23 ?393次閱讀
    你的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>為什么越用越卡?揭秘SD卡里的&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;quot;圖書館管理員&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;quot;

    GPIO在樹莓中的應用

    樹莓(Raspberry Pi)是一款由英國樹莓基金會開發的信用卡大小的單板計算機,它具有強大的功能和靈活性,可以用于各種項目和應用。通用輸入輸出(GPIO)是
    的頭像 發表于 01-09 09:41 ?704次閱讀

    樹莓傳感器使用方法 樹莓 Raspberry Pi 4優缺點

    樹莓傳感器使用方法 樹莓(Raspberry Pi)是一款由英國樹莓基金會開發的小型單板計
    的頭像 發表于 12-06 10:35 ?1878次閱讀

    ARM開發板與樹莓的比較

    ARM開發板和樹莓都是基于ARM架構的單板計算機,它們在教育、工業控制、物聯網等領域有著廣泛的應用。 硬件配置 ARM開發板和樹莓的硬件配置各有特點,具體取決于不同的型號和制造商。
    的頭像 發表于 11-05 11:11 ?1226次閱讀

    樹莓gpio有什么用,樹莓gpio接口及編程方法

    一、樹莓GPIO的用途 樹莓(Raspberry Pi)是一款小巧、功能強大的單板計算機,廣泛應用于編程教育、物聯網項目、家庭媒體中心等領域。GPIO(General Purpos
    的頭像 發表于 10-22 18:09 ?2407次閱讀

    什么是樹莓樹莓是什么架構的

    什么是樹莓 樹莓(Raspberry Pi,簡寫為RPi,別名為RasPi/RPI)是由英國“Raspberry Pi 慈善基金會”開發的一款為學習計算機編程教育而設計的微型電腦。
    的頭像 發表于 10-22 17:33 ?4067次閱讀

    樹莓網關:物聯網應用的新標桿

    什么是樹莓樹莓(Raspberry Pi)是一種基于Linux的小型單板計算機,由英國的樹莓
    的頭像 發表于 10-09 16:44 ?698次閱讀
    類<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>網關:物聯網應用的新標桿

    樹莓和單片機的優缺點是什么

    樹莓(Raspberry Pi)和單片機(Microcontroller)是兩種廣泛應用于電子項目和嵌入式系統的硬件平臺。它們各自具有獨特的優缺點,適用于不同的應用場景。 樹莓
    的頭像 發表于 08-30 18:21 ?2631次閱讀

    樹莓的功能用途是什么

    樹莓(Raspberry Pi)是一款由英國樹莓基金會研發的信用卡大小的單板計算機,自2012年推出以來,已經發展出多個型號和版本。樹莓
    的頭像 發表于 08-30 18:01 ?4171次閱讀

    樹莓是x86還是arm

    樹莓(Raspberry Pi)是一款由英國樹莓基金會(Raspberry Pi Foundation)開發的微型計算機。它基于ARM架構,而非x86架構。 一、
    的頭像 發表于 08-30 15:42 ?2249次閱讀

    樹莓裝ubuntu和raspbian哪個更好

    樹莓(Raspberry Pi)是一款由英國樹莓基金會開發的單板計算機,廣泛應用于教育、科研、物聯網等領域。樹莓
    的頭像 發表于 08-30 15:41 ?2555次閱讀