幸狐Core3576邊緣計算套件Luckfox Omni3576 主控采用Rockchip RK3576 處理器，該處理器采用先進的 8nm 制程工藝，搭載了八核 64 位 CPU（包括 4×[email protected] 和 4×[email protected]），內置 ARM Mali-G52 MC3 GPU，并集成了 6 TOPS 算力的 NPU。支持多種視頻輸入輸出接口，具備強大的計算和圖形處理能力，支持8G大內存，支持2.4/5G WIFI,4G無線網絡通訊，擁有豐富的接口擴展，適用于多種應用領域，包括物聯網設備、智能音頻、智能顯示、工業控制和教育設備等。Luckfox omni3576 支持Buildroot、Debian12、Android14 和 Ubuntu22.04 系統。

本文來源自試用活動：【新品體驗】幸狐Omni3576邊緣計算套件免費試用

一、DeepSeek簡介

DeepSeek是由中國深度求索公司開發的開源大語言模型系列，其研發始于2023年，目標是為學術界和產業界提供高效可控的AI基礎設施。R1系列作為其里程碑版本，通過稀疏化架構和動態計算分配技術，在保持模型性能的同時顯著降低了計算資源需求。

模型特點：

參數規模靈活 ：提供1.5B/7B/33B等多種規格

混合精度訓練 ：支持FP16/INT8/INT4量化部署

上下文感知優化 ：動態分配計算資源至關鍵token

中文優化 ：在Wudao Corpus等中文數據集上強化訓練

技術突破：

相比傳統LLM，DeepSeek-R1通過以下創新實現低資源部署：

MoE架構 ：專家混合層動態路由計算路徑

梯度稀疏化 ：反向傳播時僅更新關鍵參數

自適應量化 ：運行時根據硬件自動選擇最優精度

二、CPU運行DeekSeek-R1:1.5b

2.1 ollama工具簡介

使用ollama命令行工具，可以非常方便的下載和運行DeepSeek模型。

Ollama是一個獲取和運行大語言模型的工具，官網的簡介是：

Get up and running with large language models.

2.2 ollama命令安裝

安裝ollama非常簡單，官網提供了在線安裝腳本（install.sh），使用如下命令即可下載在線安裝腳本并運行：

curl -fsSL https://ollama.com/install.sh | sh

命令輸出如下：

2.3 ollama下載模型

安裝好了ollama之后，我們就可以使用ollama下載deepseek-r1:1.5b模型了，使用如下命令：

ollama pull deepseek-r1:1.5b

拉取deepseek-r1 1.5b模型，過程中會下載速度和進度：

稍等一段時間，下載完成：

2.4 ollama運行模型

下載完deepseek-r1:1.5b模型后，就可以使用ollama運行deepseek模型了，使用如下命令：

ollama run deepseek-r1:1.5b

使用--verbose選項可以輸出速度等數據，例如，問他“你是誰”，輸出信息如下：

接下來，問一個經典的雞兔同籠問題，結果也可以正確回答：

速度6.58 tokens/s，不是很快，但不算很卡。

三、CPU運行DeekSeek-R1:7b

和前面類似的，可以通過 ollama 命令拉取 deepseek-r1:7b 模型，命令為：

ollama pull deepseek-r1:7b

接著嘗試運行deepseek-r1:7b模型，默認會出現內存不夠的報錯：

報錯提示模型需要5.5GiB內次，當前可用的只有3.2GiB。

3.1 掛載固態硬盤

首先安裝好固體硬盤：

然后上電，啟動系統。

不出意外，執行lsblk命令，能夠看到這個固體硬盤對應的塊設備：

將其格式化為ext4文件系統，執行命令：

sudo mkfs.ext4 /dev/nvme0n1

命令輸出如下：

接著創建用于掛載的目錄：

sudo mkdir /mnt/ssd

最后，就可以前面格式化好的固態硬盤設備掛載到這個目錄了：

這里可以看到lost+found目錄，這個目錄是mkfs.ext4命令創建的，看到它說明已經成功掛載了。

3.2 測試固體硬盤

使用dd創建一個4GiB的文件，測試一下固態硬盤的寫速度：

類似的可以測試一下，eMMC的寫入速度：

測試結果上看，eMMC沒有固體硬盤快，這也是為什么要用nvme固態作為后面配置交換分區的原因。

3.3 配置虛擬內存

Linux系統上，可以通過配置虛擬內存解決應用程序內存不夠用的問題。配置交換分區的磁盤空間，可以被內核當做內存來用，但相應的速度要比實際的內存慢。

創建/mnt/ssd/swap.bin文件，并將內容格式化為swap格式：

接著，準備將其設置為交換分區，設置之前，查看當前系統內存信息：

可以看到，當前Swap大小為0.

設置交換分區之前，將swap.bin文件的讀寫權限設置為600：

設置剛剛創建的swap.bin文件為交換分區：

設置成功后，可以通過free命令看到Swap內存變為4GiB了。

通過swapon --show命令也可以看到：

3.4 運行deepseek-r1:7b

接著，就可以運行deepseek-r1:7b了：

能跑起來，但是非常卡，已經卡的沒法用了[doge]。不過也算是一次有意義的嘗試。

四、參考鏈接

DeepSeek官方文檔

Ollama GitHub倉庫

原文鏈接：https://bbs.elecfans.com/jishu_2485728_1_1.html