本文基于觸覺智能IDO-EVB3588開發板,運行大模型。效果搶先看!
視頻使用的主板采用瑞芯微RK3588處理器,是全新一代AloT高端應用芯片,采用8nm LP制程,搭載八核64位CPU,四核Cortex-A76和四核Cortex-A55架構,主頻高達2.4GHz。
6TOPS AI算力,三核架構,支持int4/int8/int16/FP16/BF16/TF32;
支持H.265/H.264/AV1/VP9/AVS2視頻解碼, 最高8K60FPS;
支持 H.264/H.265視頻編碼, 最高8K30FPS;
支持HDMI2.1輸出,最高8K@60Hz;
支持HDMI2.0 輸入, 最高4K60FPS;
支持多攝像頭輸入;
雙通道LVDS,支持到1080P@60Hz 大屏幕 ;
多屏異顯;
兩路獨立的千兆以太網口,支持WAN口+LAN口 雙IP ;
豐富的系統支持, Android 12,Ubuntu,鴻蒙OpenHarmony全面支持。
1、運行在開發板上可以通過CPU直接部署運行模型,可以在終端中直接對話:
視頻效果如下所示:
CPU調用情況:
同時,通過調整模型,可以在NPU上部署運行大模型,3588開發板的NPU擁有6T的算力,可以加速模型運行。運行qwen1.8b模型占用情況如下
2、網頁調用模型API
模型部署后可以暴露API供其他應用使用,例如Web網頁調用API接口實現對話功能。
-
開發板
+關注
關注
25文章
5515瀏覽量
102265 -
觸覺智能
+關注
關注
1文章
48瀏覽量
526 -
大模型
+關注
關注
2文章
3026瀏覽量
3825
發布評論請先 登錄
RK3588 EVB開發板原理圖講解【八】 RK3588 power Tree
RK3588 EVB開發板原理圖講解【七】
RK3588開發板上部署DeepSeek-R1大模型的完整指南
RK3588 EVB開發板原理圖講解【六】
添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略
RK3588 EVB開發板原理圖講解【一】
如何在Linux系統實現屏幕旋轉?觸覺智能RK3568鴻蒙開發板演示

觸覺智能SOM3588S鴻蒙核心板現已上市,瑞芯微RK3588S八核,6T超高算力,豐富音視頻接口!

瑞芯微RK3588開發板Linux系統添加自啟動命令的方法,深圳觸覺智能Arm嵌入式鴻蒙硬件方案商

評論