1DeepSeek在端側設備的應用場景

DeepSeek大語言模型（LLM）可用于理解人類語言的交互方式，思考，并給出合適的回應。同時，通過結合RAG（Retrieval-Augmented Generation，檢索增強生成）技術，可以從用戶定制知識數據庫檢索信息，將其作為提示輸入給LLM，LLM通過將這些額外的知識與自己的語言技能相結合，可以撰寫更準確、更具時效性且更貼合具體需求的文字，提供面向某個具體領域的專業(yè)應答。在AI概念和端側AI技術火熱的當下，瑞薩半導體推出的面向端側AI應用的高性能MPU，也可以部署DeepSeek-R1模型。在我們預想的應用場景中，我們可以在部署了DeepSeek-R1模型和RAG定制數據庫的瑞薩MPU電路板上，在不聯網的情況下，實現如下應用：

向AI模型投喂高端家電、車輛等復雜電子產品的用戶手冊，對這些模型進行訓練，以創(chuàng)建一個AI助手，能夠自動執(zhí)行某些復雜功能的設置。如此，用戶就不必為了使用某一樣新奇的功能而花費大量時間閱讀手冊。相對于傳統的語音識別應用需要特定的命令或者喚醒詞，引入LLM對口頭語言的表達進行分析，可以讓硬件設備更容易理解用戶的需求。

面向騎行愛好者，讓AI助手在自行車電腦中運行，這樣用戶在騎自行車時就可以獲得個性化的導覽/導航以及其他信息。

AI智能眼鏡&耳機，直接理解用戶口語表達的命令，以日常使用的人類語言與電子系統進行交互。

實時的翻譯機，在不聯網的應用場景中，利用AI做一些簡單的語言轉換，甚至可以作為人與寵物之間的交互。例如，寵物貓和寵物狗的語言表達相對于人類語言更簡單，可以把它們的語言轉換成人類理解和思考的方式表現出來。

為此，我們在瑞薩定位于AI應用的MPU芯片RZ/V2H，適配了DeepSeek-R1:1.5B的LLM模型，以支撐這些潛在的AI應用。

2瑞薩RZ/V2H硬件平臺簡介

在演示用例中，使用瑞薩官方的RZ/V2H-EVK開發(fā)板，如圖1所示。

圖1 瑞薩官方RZ/V2H-EVK開發(fā)板

板載豐富的外擴資源，如圖2所示。

圖2 RZ/V2H-EVK開發(fā)板板載資源

其中，RZ/V2H集成了7個處理器核心，分別是4個Cortex-A55@1.8GHz，2個Cortex-R8@800MHz，1個Cortex-M33@200MHz，同時還集成了瑞薩自主研發(fā)的AI計算專用加速引擎DRP-AI3和圖像計算加速引擎DRP，有系統框圖，如圖3所示。

圖3 RZ/V2H處理器系統框圖

3下載、配置和啟動DeepSeek-R1

RZ/V2H-EVK開發(fā)板已經適配了Yocto Linux操作系統，在此基礎上，使用Ollama官方推薦的方式，可以完成部署并運行DeepSeek-R1大模型。

使用可以聯通外部網絡的路由器，用網線將RZ/V2H-EVK電路板和PC連起來，確保RZ/V2H-EVK電路板和電腦可以聯網，并可互相訪問。對RZ-V2H-EVK電路板的配置工作，將通過電腦完成。

在電腦上，通過Tera Term工具（或者其它SSH工具）連接到開發(fā)板。在終端中，使用腳本安裝并啟動Ollama服務：

通過Ollama啟動DeepSeek-R1模型。注意，在第一次運行命令時，會自行下載DeepSeek-R1模型文件。在此過程中，需要確保聯網情況良好。

下載完成之后，自行啟動DeepSeek-R1模型。后續(xù)運行這個命令載入模型時，就不需要聯網了。

載入模型成功后，可以看到命令行中有提示信息“Send a message（/? for help）”。此時，可以向運行在RZ/V2H-EVK電路板上的離線版DeepSeek提問了。

圖4 在RZ/V2H上啟動DeepSeek-R1

4運行演示

在啟動DeepSeek-R1后，我們問了第一個問題"介紹一下你自己"，接下來，請看RZ/V2H-EVK電路板的反應：

從視頻中可以看到，DeepSeek-R1大模型已經成功運行在RZ/V2H-EVK電路板上。

接下來，讓我們期待更多基于瑞薩產品和DeepSeek開發(fā)出的有趣應用吧。