導語:
當AI大模型從云端下沉至終端設備,一場關于效率、隱私與智能化的革命悄然展開。作為全球領先的無線通信模組及解決方案提供商,美格智能憑借其高算力AI模組矩陣與端側大模型部署經驗,結合最新發布的AIMO智能體產品,正加速開發DeepSeek-R1模型在端側落地應用及端云結合整體方案,助力國產優質模型滲透千行百業,共塑智能化未來。
AIMO智能體硬件加速迭代,AI硬件與大模型協同優化
美格智能基于高通驍龍高性能計算平臺打造的AIMO智能體產品,集成48Tops AI算力,支持混合精度計算(INT4/FP8)與異構計算架構(8核CPU+Adreno GPU+Hexagon NPU),可高效承載7B參數級大模型的端側推理需求。其板載16GB LPDDR5X內存與256GB UFS 4.0存儲,為模型動態加載與實時數據處理提供硬件保障。2025年美格智能將推出單顆模組算力達到100Tops的高階AI硬件,遠期規劃AI模組算力超過200Tops。
美格智能已成功在高算力AI模組上部署LLaMA-2、通義千問Qwen、ChatGLM2等大模型,驗證了從模型壓縮(量化、剪枝)到框架適配(ONNX/TFLite)的全流程能力。美格智能自研的MEIG AI算法部署平臺、AIMO智能體、模型優化器等,可大幅縮短模型落地周期,支持開發者通過Python快速完成應用開發,并支持開發者進行模型訓練。
AIMO智能體內置的高算力AI模組的異構計算架構,具備協同加速能力,支持模型并行計算與低功耗運行,LPDDR5X內存提供超過60GB/s帶寬,滿足7B模型推理時的高吞吐需求。內置專用AI加速引擎支持INT4/FP16混合精度計算,與DeepSeek-R1模型的量化格式(INT4/FP8)高度適配。
DeepSeek-R1低調亮相,蒸餾小模型超越OpenAI o1-mini
DeepSeek-R1采用強化學習邏輯,驅動通過多階段RL訓練(基礎模型→RL→微調迭代),DeepSeek-R1在數學、代碼、邏輯推理任務中表現比肩國際頂尖模型,如AIME數學競賽準確率達71%。DeepSeek-R1提供輕量化適配:DeepSeek-R1系列提供1.5B至70B參數蒸餾版本,其中7B模型經INT4量化后僅需2-4GB存儲,完美適配終端設備內存限制。DeepSeek-R1的動態思維鏈,支持數萬字級內部推理過程,解決復雜問題時能自主拆解步驟并驗證邏輯,輸出可解釋性更強的結果。
DeepSeek在開源DeepSeek-R1-Zero和DeepSeek-R1兩個660B模型的同時,通過DeepSeek-R1的輸出,蒸餾了6個小模型開源給社區,其中32B和70B模型在多項能力上實現了對標OpenAI o1-mini的效果。除32B和70B模型能力強悍外,DeepSeek-R1同步開源1.5B、7B、8B、14B等多個蒸餾小模型,極大擴展了終端側模型部署的可選性,并支持用戶進行“模型蒸餾”,明確允許用戶利用模型輸出、通過模型蒸餾等方式訓練其他模型。
以DeepSeek-R1 7B模型的端側適配性舉例,該模型具備輕量化設計特征,經蒸餾和量化后模型體積壓縮至2-4GB,很好的匹配移動端存儲限制。模型具備低延遲推理能力,在高算力模組平臺上,可實現10-20 tokens/s的生成速度。模型支持分塊推理和稀疏計算,結合美格智能高算力AI模組的能效優化,能實現極低的功耗控制。
算力與模型的技術迭代,AI應用的iPhone時刻即將帶來
美格智能研發團隊結合AIMO智能體、高算力AI模組的異構計算能力,結合多款模型量化、部署、功耗優化Know-how,正在加速開發DeepSeek-R1模型在端側落地應用及端云結合整體方案。
?超低功耗
首先持續對DeepSeek-R1模型的推理延遲進行優化,保證模型在高算力模組軟硬件環境下的超低功耗運行。
?開發工具鏈
不斷進行工具鏈打通,模組內嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式,大模型適配周期將大幅縮短。
?端云協同
結合動態卸載技術,根據任務復雜度自動分配端側與邊緣計算資源,保障實時性與能效平衡。為客戶提供端云協同模板,面向開發者提供動態任務分配框架,簡單配置即可實現“本地優先,云端兜底”。
通過高階AI硬件與DeepSeek-R1模型的能力結合,將突破端側AI的能力邊界。7B模型支持長文本理解、代碼生成等傳統端側小模型無法完成的任務。多模態融合能力,高算力AI模組的ISP+AI能力結合DeepSeek-R1模型,可實現端側圖文問答、視頻內容解析(如實時字幕生成)。個性化持續學習,通過AI模組的邊緣計算能力,支持聯邦學習框架下的本地模型微調(如用戶習慣適配)。
在算力+模型的不斷迭代背后,端側AI及端云協同的商業模式和商業競爭力都將面臨重構,DeepSeek-R1的發布,更是會極大刺激AI下游應用,如工業智能化、汽車Agent、機器人、個人大模型等應用場景的指數級增長,AI應用即將迎來屬于自己的iPhone時刻。
?基于DeepSeek-R1的AI Agent開發應用
結合美格智能自研的AIMO智能體及DeepSeek-R1模型的基礎能力,開發面向工業智能化、座艙智能體、智能無人機、機器人等領域的AI Agent應用。
?端側AI能力包
推出面向AI場景的訂閱服務,針對中小型的B端或C端客戶,推出“端側AI能力包”,與大模型廠商合作,針對Token輸入/輸出數量、不同類型模型調用、流量費用等領域,推出一體化端側AI Turn-key方案。
?智能化硬件增值
商業模式方面,各類高AI配置硬件疊加端側模型加載或云端模型接入,為高算力硬件帶來更多智能化增值。
?自建GPU服務器與個性化專屬大模型開發
美格研發團隊持續拓展通用模型的部署通路,并不斷向客戶開放相關教程和源代碼,并且以最新的高算力計算平臺搭建GPU服務器,可用于端側模型訓練和支持客戶開發專屬大模型,結合DeepSeek-R1及其寬松、開放式的MIT授權協議,千行百業的個性化模型開發和應用即將爆發。
2025年,端側AI、端云協同等各類AI應用的iPhone時刻將加速到來。DeepSeek-R1的出現,某種程度上改變了我們對于Scale的認知,但也不會帶來云端算力的需求減少甚至崩塌,相反優質模型對于AI應用場景的極大刺激,也會推動云端算力需求的提升,端側不斷進化,云端負責兜底,端云結合終將是不變的方向。
美格智能也將持續以高算力AI模組、AI Agent應用、大模型部署服務、端側AI服務整體解決方案為基石,攜手大模型廠商、生態伙伴等不斷推動類似DeepSeek-R1等優秀模型的應用拓展,讓普惠、自主的高階AI實現應有的社會價值。
-
AI
+關注
關注
87文章
34144瀏覽量
275234 -
智能體
+關注
關注
1文章
262瀏覽量
10945 -
美格智能
+關注
關注
2文章
271瀏覽量
11630 -
大模型
+關注
關注
2文章
3020瀏覽量
3798 -
DeepSeek
+關注
關注
1文章
772瀏覽量
1302
發布評論請先 登錄
如何使用OpenVINO運行DeepSeek-R1蒸餾模型

MWC 2025|美格智能發布由高通技術賦能的全新AIMO Pro,搭載DeepSeek的48 TOPS高算力專屬AI智能體

RK3588開發板上部署DeepSeek-R1大模型的完整指南
聯想moto手機集成DeepSeek-R1大模型
了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇
超星未來驚蟄R1芯片適配DeepSeek-R1模型
Deepseek R1大模型離線部署教程

廣汽ADiGO SENSE端云一體大模型與DeepSeek-R1大模型完成深度融合
軟通動力天璇MaaS融合DeepSeek-R1,引領企業智能化轉型
deepin UOS AI接入DeepSeek-R1模型
芯動力神速適配DeepSeek-R1大模型,AI芯片設計邁入“快車道”!

評論