分享 |迅為基于RK3588開發(fā)板部署測試DeepSeek模型

最近，AI界新星DeepSeek（中文名：深度求索）迅速崛起，憑借低成本、高性能的AI模型火爆全網(wǎng)。其核心是一個(gè)強(qiáng)大的語言模型，能夠理解自然語言并生成高質(zhì)量文本，此外DeepSeek免費(fèi)向全球開發(fā)者開放，加速了AI技術(shù)普及。

RK3588性能優(yōu)勢

RK3588作為一款高性能AI芯片，采用了8nm LP 制程，搭載八核處理器，四核GPU以及6TOPS算力的NPU，依靠強(qiáng)大的性能和低功耗特性，非常適合邊緣計(jì)算場景。

RK3588開發(fā)板連接器版：

能否在RK3588部署Deepseek呢

在RK3588上部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。下面分別對這兩種部署方式進(jìn)行介紹。

01-使用Ollama工具部署

Ollama 是一個(gè)開源的大模型服務(wù)工具，可以支持最新的deepseek模型，以及Llama 3，Phi 3，Mistral，Gemma 和其他多種模型，在安裝Ollama工具之后，使用以下命令即可一鍵部署15億參數(shù)的deepseek-r1模型，運(yùn)行之后如下圖所示：

ollama run deepseek-r1:1.5b

接下來就可以向該模型進(jìn)行提問了，如下圖所示：

這里只是運(yùn)行的15億參數(shù)大小的模型，所以回復(fù)的可能并不是很準(zhǔn)確，如果想要更高的準(zhǔn)確率可以切換為參數(shù)更大的模型，但參數(shù)變大之后相應(yīng)的回復(fù)速度也會變慢，并且使用Ollama工具部署的推理模型調(diào)用的是CPU進(jìn)行的運(yùn)算，如下圖所示：

可以看到在回復(fù)的過程中CPU的負(fù)載達(dá)到了百分之百，并沒有調(diào)用NPU進(jìn)行加速，那要如何將RK3588強(qiáng)悍的NPU調(diào)用起來呢，這就要看第二種方法使用瑞芯微官方的RKLLM進(jìn)行量化部署了。

02-使用RKLLM量化部署

RKLLM-Toolkit 是為用戶提供在計(jì)算機(jī)上進(jìn)行大語言模型的量化、轉(zhuǎn)換的開發(fā)套件。通過該工具提供的Python接口可以便捷地完成以下功能：

1.模型轉(zhuǎn)換：支持部分格式的大語言模型轉(zhuǎn)換為RKLLM 模型轉(zhuǎn)換后的RKLLM模型能夠在Rockchip NPU平臺上加載使用
2.量化功能：支持將浮點(diǎn)模型量化為定點(diǎn)模型

DeepSeek轉(zhuǎn)換完成的RKLLM模型如下圖所示：

然后將其傳輸?shù)介_發(fā)板上，使用對應(yīng)的可執(zhí)行文件運(yùn)行即可，運(yùn)行之后如下圖所示：

接下來向該模型提出問題即可，回復(fù)內(nèi)容如下所示：

在回復(fù)的過程中查看CPU和NPU的利用率，可以看到CPU的占用率已經(jīng)降了下來，并且調(diào)用了NPU的3個(gè)核心進(jìn)行加速推理：

至此，關(guān)于DeepSeek在RK3588上的部署推理就測試完成了。

產(chǎn)品亮點(diǎn)：

高性能RK3588芯片：采用8核64位處理器，主頻高達(dá)2.4GHz，支持多任務(wù)并行處理，滿足復(fù)雜工控場景需求。

郵票孔設(shè)計(jì)：緊湊型郵票孔接口，便于快速集成到工控設(shè)備中，節(jié)省空間，提升安裝效率。

豐富接口：支持多種工業(yè)通信協(xié)議，兼容性強(qiáng)，輕松接入現(xiàn)有工控系統(tǒng)。

應(yīng)用場景：智能制造：支持AI視覺檢測、自動化控制，提升生產(chǎn)效率。
智能交通：適用于交通監(jiān)控、車牌識別等場景，助力智慧交通建設(shè)。
能源管理：支持?jǐn)?shù)據(jù)采集與分析，優(yōu)化能源使用，降低運(yùn)營成本。
即插即用：郵票孔設(shè)計(jì)，帶外殼版本，簡化安裝流程，快速部署。
工業(yè)級品質(zhì)：堅(jiān)固外殼設(shè)計(jì)，適應(yīng)復(fù)雜工業(yè)環(huán)境，確保設(shè)備長期穩(wěn)定運(yùn)行。
帶外殼版本：提供堅(jiān)固外殼，適用于工業(yè)環(huán)境，確保設(shè)備穩(wěn)定運(yùn)行。

迅為電子——專注嵌入式系統(tǒng)，深度定制與構(gòu)建。助力高可靠解決方案產(chǎn)品化落地。