1DeepSeek在端側設備的應用場景
DeepSeek大語言模型(LLM)可用于理解人類語言的交互方式,思考,并給出合適的回應。同時,通過結合RAG(Retrieval-Augmented Generation,檢索增強生成)技術,可以從用戶定制知識數據庫檢索信息,將其作為提示輸入給LLM,LLM通過將這些額外的知識與自己的語言技能相結合,可以撰寫更準確、更具時效性且更貼合具體需求的文字,提供面向某個具體領域的專業(yè)應答。在AI概念和端側AI技術火熱的當下,瑞薩半導體推出的面向端側AI應用的高性能MPU,也可以部署DeepSeek-R1模型。在我們預想的應用場景中,我們可以在部署了DeepSeek-R1模型和RAG定制數據庫的瑞薩MPU電路板上,在不聯網的情況下,實現如下應用:
向AI模型投喂高端家電、車輛等復雜電子產品的用戶手冊,對這些模型進行訓練,以創(chuàng)建一個AI助手,能夠自動執(zhí)行某些復雜功能的設置。如此,用戶就不必為了使用某一樣新奇的功能而花費大量時間閱讀手冊。相對于傳統的語音識別應用需要特定的命令或者喚醒詞,引入LLM對口頭語言的表達進行分析,可以讓硬件設備更容易理解用戶的需求。
面向騎行愛好者,讓AI助手在自行車電腦中運行,這樣用戶在騎自行車時就可以獲得個性化的導覽/導航以及其他信息。
AI智能眼鏡&耳機,直接理解用戶口語表達的命令,以日常使用的人類語言與電子系統進行交互。
實時的翻譯機,在不聯網的應用場景中,利用AI做一些簡單的語言轉換,甚至可以作為人與寵物之間的交互。例如,寵物貓和寵物狗的語言表達相對于人類語言更簡單,可以把它們的語言轉換成人類理解和思考的方式表現出來。
為此,我們在瑞薩定位于AI應用的MPU芯片RZ/V2H,適配了DeepSeek-R1:1.5B的LLM模型,以支撐這些潛在的AI應用。
2瑞薩RZ/V2H硬件平臺簡介
在演示用例中,使用瑞薩官方的RZ/V2H-EVK開發(fā)板,如圖1所示。
圖1 瑞薩官方RZ/V2H-EVK開發(fā)板
板載豐富的外擴資源,如圖2所示。
圖2 RZ/V2H-EVK開發(fā)板板載資源
其中,RZ/V2H集成了7個處理器核心,分別是4個Cortex-A55@1.8GHz,2個Cortex-R8@800MHz,1個Cortex-M33@200MHz,同時還集成了瑞薩自主研發(fā)的AI計算專用加速引擎DRP-AI3和圖像計算加速引擎DRP,有系統框圖,如圖3所示。
圖3 RZ/V2H處理器系統框圖
3下載、配置和啟動DeepSeek-R1
RZ/V2H-EVK開發(fā)板已經適配了Yocto Linux操作系統,在此基礎上,使用Ollama官方推薦的方式,可以完成部署并運行DeepSeek-R1大模型。
使用可以聯通外部網絡的路由器,用網線將RZ/V2H-EVK電路板和PC連起來,確保RZ/V2H-EVK電路板和電腦可以聯網,并可互相訪問。對RZ-V2H-EVK電路板的配置工作,將通過電腦完成。
在電腦上,通過Tera Term工具(或者其它SSH工具)連接到開發(fā)板。在終端中,使用腳本安裝并啟動Ollama服務:
通過Ollama啟動DeepSeek-R1模型。注意,在第一次運行命令時,會自行下載DeepSeek-R1模型文件。在此過程中,需要確保聯網情況良好。
下載完成之后,自行啟動DeepSeek-R1模型。后續(xù)運行這個命令載入模型時,就不需要聯網了。
載入模型成功后,可以看到命令行中有提示信息“Send a message(/? for help)”。此時,可以向運行在RZ/V2H-EVK電路板上的離線版DeepSeek提問了。
圖4 在RZ/V2H上啟動DeepSeek-R1
4運行演示
在啟動DeepSeek-R1后,我們問了第一個問題"介紹一下你自己",接下來,請看RZ/V2H-EVK電路板的反應:
從視頻中可以看到,DeepSeek-R1大模型已經成功運行在RZ/V2H-EVK電路板上。
接下來,讓我們期待更多基于瑞薩產品和DeepSeek開發(fā)出的有趣應用吧。
-
瑞薩
+關注
關注
36文章
22366瀏覽量
87697 -
AI
+關注
關注
87文章
34114瀏覽量
275216 -
MPU
+關注
關注
0文章
409瀏覽量
49625 -
DeepSeek
+關注
關注
1文章
769瀏覽量
1297
原文標題:瑞薩RZ/V2H平臺支持部署離線版DeepSeek -R1大語言模型
文章出處:【微信號:瑞薩MCU小百科,微信公眾號:瑞薩MCU小百科】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
基于瑞薩RZ/V2H AI微處理器的解決方案:高性能視覺AI系統

如何使用OpenVINO運行DeepSeek-R1蒸餾模型

AI MPU# 瑞薩RZ/V2H 四核視覺 ,采用 DRP-AI3 加速器和高性能實時處理器

評論