背景

春節前，國產大模型 DeepSeek 橫空出世，迅速成為AI領域的焦點。作為端側AI能效比優異的 AX650N、AX630C 芯片平臺早已在節前完成 DeepSeek R1 蒸餾版本 1.5B、7B、8B 的適配，并在春節期間，海外開發者已基于 AX630C 平臺順利復現，DeepSeek 端側部署順利出海！

本文將通過走馬觀花的方式，分享基于愛芯元智的 AX650N、AX630C 芯片適配 DeepSeek R1 系列模型的最新進展，向業界對端側大模型部署的開發者提供一種新的思路，促進社區對端側大模型的探索。

DeepSeek R1 介紹

DeepSeek R1 是幻方量化旗下大模型公司 DeepSeek 研發的系列推理模型，自誕生起就備受矚目。它采用強化學習訓練，推理時包含大量反思和驗證，思維鏈長度可達數萬字。在數學、代碼以及復雜邏輯推理任務上，DeepSeek R1 有著出色的表現，能取得媲美 OpenAI o1 的推理效果，還能為用戶展現完整的思考過程。

官方鏈接：https://www.deepseek.com/

論文：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek R1 部署

考慮到端側AI芯片資源的局限性，我們選擇部署 DeepSeek-R1-Distill-Qwen-1.5B 版本進行展示。感興趣的朋友可以通過我們的Pulsar2工具鏈

（https://pulsar2-docs.readthedocs.io/zh-cn/latest/appendix/build_llm.html）

轉換 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B 等模型。

為了方便快速嘗鮮，我們已經開源基于 AX650N、AX630C 適配好的模型。

模型獲取

可以從 Huggingface 上獲取：

https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B

上板運行

AX650N：

AX630C：

結束語

隨著大語言模型小型化的快速發展，特別是 DeepSeek 推動了大模型的技術平權，相信從今年開始越來越多有趣的大模型應用將逐漸從云端服務遷移到端側設備，高效AI推理芯片的應用也將迎來更廣闊的天地。而愛芯元智作為專注于邊端側的智能芯片平臺，必將大有用武之地。

更多開源大模型適配案例請參考：

https://github.com/AXERA-TECH/ax-llm。