女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Deepseek R1在樹莓派5上的真實表現...

上海晶珩電子科技有限公司 ? 2025-03-24 14:51 ? 次閱讀

近期科技圈對Deepseek R1的熱度持續升溫。這款AI模型是否真的如傳聞中那般神奇?讓我通過Raspberry Pi實測帶您一探究竟。

自DeepSeek AI發布以來,科技媒體圈就掀起了一場風暴。這款模型不斷打破性能基準測試記錄,儼然已成為AI創新領域的標桿。

718d3898-087c-11f0-9434-92fbcf53809c.jpg

DeepSeek與OpenAI基準對比 | 來源:Brian Roemmele

最近我在X平臺偶然看到有人聲稱在Raspberry Pi上以200 token/秒的速度運行Deepseek。

719c8604-087c-11f0-9434-92fbcf53809c.jpg

這讓我瞬間懷疑人生:"什么鬼?!"

仔細研究整個討論串后發現,該用戶是通過在Raspberry Pi上疊加AI加速模塊才達成的成績。但好奇心驅使我決定挑戰極限:在沒有額外硬件的情況下,用原生Raspberry Pi 5(8GB版)測試Deepseek的真實性能。

71c0319e-087c-11f0-9434-92fbcf53809c.png

因此,為了這篇文章,我在我的Raspberry Pi 5(8GB內存型號)上安裝了Ollama,并下載了具有不同參數(即15B、70B、80B和140B參數)的Deepseek模型。

Ollama:

https://ollama.com/

Deepseek模型:

https://ollama.com/library/deepseek-r1

以下是每個模型的性能表現:

Deepseek 1.5B

71cb1ff0-087c-11f0-9434-92fbcf53809c.jpg

這個模型反應迅速。它出乎意料地靈敏,能夠輕松處理改寫任務。我沒有遇到任何幻覺(生成不符合邏輯或上下文的內容)問題,這使其成為日常任務(如摘要生成和文本生成)的理想選擇。


性能數據

為了進一步測試其能力,我提出了一個問題:Podman和Docker有什么區別?

模型給出了相當不錯的回答,清晰地闡述了這兩種容器化工具之間的區別。它強調了Podman是無守護進程的,而Docker依賴于守護進程,并涉及了無根操作等安全方面。

這個回答花了大約兩分鐘,以下是性能數據:

總時長:1m33.59302487s加載時長:44.322672ms提示評估次數:13個tokens提示評估時長:985ms提示評估速率:13.20個tokens/s評估次數:855個tokens評估時長:1m32.562s評估速率:9.24個tokens/s

Deepseek 7B

71df4a8e-087c-11f0-9434-92fbcf53809c.jpg

7B模型引入了一定程度的幻覺。我嘗試編寫一個創意提示,要求生成三首俳句,但它開始生成無盡的文本,甚至自己問自己問題!

雖然很有趣,但并不實用。為了基準測試的目的,我簡化了提示,如視頻所示。在性能方面,它更慢,但仍然可用。


性能數據

為了進一步測試,我問:Docker Compose和Docker Run有什么區別?回答是準確信息和不準確信息的混合體。

它正確地解釋了Docker Compose通過docker-compose.yml文件用于管理多容器應用程序,而Docker Run通常用于使用特定標志運行單個容器。

然而,它很快就開始自己問問題,比如“但是,對于一個單應用,比如單臺機器上的簡單Flask應用,Docker Run可能就足夠了?還是有其他命令或方法?”

以下是性能數據:

總時長:4m20.665430872s加載時長:39.565944ms提示評估次數:11個token(s)提示評估時長:3.256s提示評估速率:3.38個token/秒評估次數:517個token評估時長:4m17.368s評估速率:2.01個token/秒

Deepseek 8B

7208bf22-087c-11f0-9434-92fbcf53809c.png

這是一個變數。考慮到這些模型對資源的巨大需求,我沒想到8B模型能運行起來。令我驚訝的是,它竟然成功了!

性能與7B模型相當,既不快,也不是特別靈敏,但在沒有任何額外硬件的Raspberry Pi上運行一個8B模型,在我看來就是勝利。


性能數據

我通過提問“編寫一個HTML模板和CSS模板”來測試它。模型成功地在單個代碼塊中生成了一個功能性的HTML和CSS模板,并確保它們整齊地配對。

然而,在跳到解決方案之前,模型解釋了它的方法、它將要做什么以及還可以添加什么。

雖然這提供了信息,但對于一個直接的查詢來說,這感覺是不必要的。如果我更精確地構造提示,回答可能會更直接(即用戶錯誤)。

以下是性能數據:

總時長:6m53.350371838s加載時長:44.410437ms提示評估次數:13個 token(s)提示評估時長:4.99s提示評估速率:2.61個tokens/s評估次數:826個token評估時長:6m48.314s評估速率:2.02個tokens/s

Deepseek 14B?

7221aeba-087c-11f0-9434-92fbcf53809c.jpg

不幸的是,這并沒有成功。14B模型需要超過10GB的內存,而我的8GB Raspberry Pi無法處理。在8B模型成功后,我充滿希望,但現實給了我一擊。

結論

DeepSeek在Raspberry Pi 5上的原始性能展示了單板計算機(SBC)在處理AI工作負載方面的巨大潛力。

1.5B模型是輕量級任務的實際選擇,而7B和8B模型則展示了Raspberry Pi處理更大工作負載的能力,盡管速度較慢。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 樹莓派
    +關注

    關注

    121

    文章

    1944

    瀏覽量

    106984
  • DeepSeek
    +關注

    關注

    1

    文章

    773

    瀏覽量

    1339
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    DeepSeek開源新版R1 媲美OpenAI o3

    DeepSeek“悄悄”地又放了一個大招,DeepSeek開源了R1最新0528版本。盡管DeepSeek目前還沒有對該版本進行任何說明,但是根據著名代碼測試平臺Live CodeBe
    的頭像 發表于 05-29 11:23 ?295次閱讀

    ORinNano離線部署Deepseek R1大模型教程

    ORinNano離線部署Deepseek R1大模型教程
    的頭像 發表于 04-10 15:32 ?292次閱讀
    ORinNano離線部署<b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大模型教程

    4臺樹莓5跑動大模型!DeepSeek R1分布式實戰!

    樹莓5(8GB內存)運行DeepSeekR1Distill8B模型,推理速度達6.43tokens/s,功耗僅20W!本文將深入解析:
    的頭像 發表于 03-24 14:50 ?449次閱讀
    4臺<b class='flag-5'>樹莓</b><b class='flag-5'>派</b><b class='flag-5'>5</b>跑動大模型!<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>分布式實戰!

    RK3588開發板上部署DeepSeek-R1大模型的完整指南

    現任何延遲或卡頓現象。CPU占用:DeepSeek-R1OK3588-C開發板運行的CPU占用為12%~17%,這一表現證明了框架的高效性,使其即便在資源受限的設備
    發表于 02-27 16:45

    OpenAI O3與DeepSeek R1:推理模型性能深度分析

    ,OpenAI的O3在編碼任務方面超過了DeepSeekR1,而R1在數學和推理方面表現出了競爭力,同時成本效益和開源可訪問性方面也具有
    的頭像 發表于 02-18 11:07 ?811次閱讀

    安霸大算力AI芯片接入DeepSeek R1

    安霸(Ambarela)人工智能領域持續發力,已成功多款 AI 芯片,包括 N 系列大算力 AI 芯片本地部署了 DeepSeek R1
    的頭像 發表于 02-17 13:36 ?447次閱讀

    IBMwatsonx.ai平臺推出DeepSeek R1蒸餾模型

    ,進一步增強企業安全、治理以及規模化部署方面的能力。 DeepSeek R1是IBMAI領域的一項重要創新,它采用了蒸餾模型技術,能夠
    的頭像 發表于 02-14 10:21 ?438次閱讀

    了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇

    DeepSeek-R1 更適合電子工程核心工作流,因其符號數學、代碼嚴謹性、長文檔結構化理解的優勢。 二、其他領域專用模型推薦 若需更高精度,可結合以下工具組成混合方案: 1.
    發表于 02-14 02:08

    超星未來驚蟄R1芯片適配DeepSeek-R1模型

    日前,超星未來研發團隊成功完成了驚蟄R1芯片對DeepSeek-R1模型的適配工作,實現了與用戶之間的流暢對話。這一成果標志著超星未來人工智能芯片和模型優化方面取得了重要進展
    的頭像 發表于 02-13 14:05 ?545次閱讀

    景嘉微完成DeepSeek R1系列模型適配

    景嘉微JM系列、景宏系列與DeepSeek R1系列的成功適配,進一步推動 DeepSeek 云邊端等各類場景的應用。
    的頭像 發表于 02-12 14:03 ?484次閱讀

    Deepseek R1大模型離線部署教程

    。作為國產AI大數據模型的代表,憑借其卓越的推理能力和高效的文本生成技術,全球人工智能領域引發廣泛關注。 本文主要說明DeepSeek-R1如何離線運行在EASY-EAI-Orin-Nano(RK3576)硬件, RK357
    的頭像 發表于 02-12 09:37 ?1577次閱讀
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大模型離線部署教程

    扣子平臺支持DeepSeek R1與V3模型

    近日,新一代AI應用搭建平臺“扣子”宣布了一項重要更新,即正式支持DeepSeekR1和V3模型,并向廣大用戶開放免費體驗。 扣子平臺一直以來都致力于為用戶提供便捷、高效的AI應用搭建服務,幫助
    的頭像 發表于 02-08 13:42 ?942次閱讀

    Krea發布Deepseek R1驅動的Chat功能

    Krea平臺上的所有功能,而無需再關注繁瑣的界面操作。這一創新設計不僅極大地簡化了用戶的操作流程,還提升了用戶使用Krea平臺時的效率和體驗。 Deepseek R1作為Krea chat的強大后盾,以其卓越的自然語言處理能力
    的頭像 發表于 02-08 11:09 ?622次閱讀

    云天勵飛上線DeepSeek R1系列模型

    -Distill-Llama-70B大模型、DeepSeek V3/R1 671B MoE大模型也在有序適配中。適配完成后,DeepEdge10芯片平臺將在端、邊、云全面支持DeepSeek全系列模型。
    的頭像 發表于 02-06 10:39 ?577次閱讀
    云天勵飛上線<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列模型

    英偉達發布DeepSeek R1于NIM平臺

    網站上發布。 據悉,DeepSeek R1 NIM微服務是英偉達人工智能領域的一項重要創新,旨在為用戶提供高效、精準的推理服務。單個英偉達HGX H200系統
    的頭像 發表于 02-05 14:48 ?549次閱讀