這個春節,科技界熱鬧非凡,DeepSeek的橫空出世猶如一顆重磅炸彈,迅速引爆全球AI市場。
DeepSeek憑借其V3和新推出的R1兩款模型,實現了與OpenAI 4o和o1比肩的性能,同時成本僅為十分之一,為AI技術的普及提供了經濟高效的解決方案。DeepSeek的崛起,不僅標志著中國AI技術的突破,更預示著全球AI市場將迎來一場新革命。
將其部署在望獲實時Linux與瑞芯微RK3588平臺上,能夠充分釋放其在邊緣計算和工業控制領域的巨大潛力,為智能化轉型提供強有力的技術支撐。
以下是詳細的部署步驟,幫助您快速實現這一國產技術組合的落地應用。
硬件準備:
RK3588開發板:京博航友善NanoPC-T6(預裝望獲實時Linux)
工作主機:ubuntu筆記本電腦
軟件準備:
瑞芯微rkllm-toolkit工具
部署步驟
一、拉取模型
從Hugging Face拉取DeepSeek-R1的1.5B蒸餾模型到x86平臺:
二、配置模型轉換腳本
在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下內容:
三、模型轉換
執行模型轉換腳本,等待轉換完成:
四、部署模型
使用scp命令將轉換得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷貝到RK3588平臺:
五、生成運行文件
在RK3588平臺,進入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目錄,生成llm_demo運行文件:
六、運行模型
運行llm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路徑。
七、對話測試
在user : 后輸入對話內容,測試模型的運行效果。
通過將DeepSeek部署在望獲實時Linux與RK3588的平臺上,您可以輕松實現邊緣智能的高效落地。這一技術組合提升了工業控制與邊緣計算的智能化水平,為未來的工業應用開辟了新的可能性。如果您在部署過程中遇到任何問題,歡迎隨時與我們聯系!
關于望獲實時Linux系統
望獲實時Linux系統是國科環宇重點研發的嵌入式實時操作系統,具備強實時、高可靠、功能安全、智能化、兼容性強和國產生態的特性。不同于傳統的微內核實時操作系統,完整兼容Linux生態環境的同時,提供強大的行業中間件支持,助力客戶快速完成行業解決方案的構建。望獲實時Linux系統致力于國產基礎軟硬件的產業鏈構建,與國產主流芯片及硬件平臺適配,提供完整的國產化解決方案,保證功能和性能的同時,避免關鍵領域的卡脖子問題。
審核編輯 黃宇
-
嵌入式
+關注
關注
5141文章
19537瀏覽量
315035 -
操作系統
+關注
關注
37文章
7091瀏覽量
124962 -
DeepSeek
+關注
關注
1文章
775瀏覽量
1346
發布評論請先 登錄
如何使用OpenVINO運行DeepSeek-R1蒸餾模型

了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇
RK3588開發板上部署DeepSeek-R1大模型的完整指南
望獲實時Linux系統與Betaflight的結合:計算與飛控的完美協作
云天勵飛上線DeepSeek R1系列模型

扣子平臺支持DeepSeek R1與V3模型
Gitee AI 聯合沐曦首發全套 DeepSeek R1 千問蒸餾模型,全免費體驗!

Deepseek R1大模型離線部署教程

超星未來驚蟄R1芯片適配DeepSeek-R1模型
浪潮信息發布元腦R1推理服務器
OpenAI O3與DeepSeek R1:推理模型性能深度分析
9.9萬元用上“滿血”DeepSeek R1一體機,本地部署成新商機?引發外媒熱議
SL1680 SoC本地運行DeepSeek R1 1.5B大模型

評論