LeapFive
從“云端排隊”到“擁有私人 Co-Pilot”,邊緣AI也能行!
DeepSeek 問答響應又超時了?
“無需機房,無需服務器,一枚U盤即可驅動DeepSeek大模型?” 是的,我們做到了!
躍昉科技,作為國內領先的RISC-V架構SoC芯片公司,成功將DeepSeek大模型本地化運行,以U盤形態重新定義AI計算的使用方式。
AMC(AI Mini Computer)由躍昉科技基于自研RISC-V芯片打造,通過USB 直連主機,兼容多種操作系統,支持本地化人工智能推理應用部署,如基于傳統神經網絡的視覺應用。現在,AMC又有了大模型應用的加持,不依賴云端、不受網絡波動,即插即用,隨時推理。讓普通電腦秒變AI工作站,讓AI隨時待命,快速響應,成為你的專屬智能助手(Co-Pilot)!
小身材藏著大機會|“可用”到“好用”的進行時
即插即用,無需服務器,USB接入,10秒完成部署。
3W超低功耗,計算性能表現與模型本身,都具備優化潛力。
本地私有知識庫,保護數據隱私,隨身攜帶,安全可控。
網頁本地化訪問(測試版),相比云端排隊、等待響應,你的AI助手隨時在線。
*已經實際部署運行成功的模型
UI 界面:設計簡潔直觀,用戶可快速上手,無需復雜配置,Less is More。
OTA + 場景化模型,開啟邊緣AI計算新范式!
在 AI 計算邁向多場景應用的今天,開發者希望更靈活地訓練和部署模型,用戶則期待AI能夠精準適配個性化需求。然而,傳統AI計算依賴云端,高算力成本、網絡延遲、數據隱私等問題,使其難以真正落地到邊緣多樣化應用場景。
部署DeepSeek到AMC的過程,也引發了我們更深層的思考并發現:DeepSeek 的小型化、低成本、邊緣設備 OTA(Over the Air 空中升級) 特性,有機會成為邊緣AI計算全新的應用落地方法,推動AI計算從云端走向邊緣,讓AI適配更精細、更靈活地適配本地化應用。
“大而全”的模型并不適用于邊緣AI應用,應該按場景的需要做更適配、更精巧、更高效的模型
邊緣 AI 計算的核心在于精準解決特定場景問題,那么合適的模型從何而來?我們認為可以通過開放的場景化模型市場,吸引更多的開發者加入進來,針對教育、工業、辦公、個人助手等不同需求,訓練更精巧的 AI 模型,以適配本地場景化的應用需求。
OTA有可能成為AI場景動態適配的標準方式
傳統OTA僅用于遠程軟件升級,如果考慮邊緣AI基于場景化的應用,則OTA就需要一個新增的按需拉取和部署AI模型的能力,使邊緣設備盡管在硬件資源限制條件下,仍可以通過動態的模型選擇,得到較好的AI交互體驗。
商業模式也將有革新機會,邊緣AI的生態將創造更高價值
“OTA + 場景化模型”這樣的新范式,將為邊緣AI計算構建開放的,可訂閱、可迭代的模型市場提供可行性。用戶可以低成本試用AI模型,再按需訂閱,而開發者則可以通過市場提供AI模型,并接受用戶的反饋不斷優化模型體驗,形成邊緣AI計算的正向循環,加速AI在邊緣端的落地應用。
我們認為未來的AI計算,不應該只存在于云端之上,更應該真正地屬于個人!
而對于個人用戶來說,專屬AI 將可以變成個人成長的長期伙伴
每個人的知識、經驗、決策方式都是獨一無二的,所以AI應用也應該能做到個性化的應用。AMC的隨身攜帶可以讓AI在不同場景中適應用戶需求,即時響應、智能輔助。與此同時,AMC通過長期數據存儲與學習,不斷沉淀、優化,逐步構建屬于個人的Digital Twins(數字孿生),讓AI計算真正理解,持續成長,成為個人的長期智慧資產。
離線運行,多場景隨時調用,無論辦公、學習還是工業應用,AI即插即用,不依賴云端。
存儲與回傳,依托AMC本體32GB的存儲能力,使用過程中的數據可本地化存儲,也可主動同步到個人主機,形成專屬AI記憶 。
讓AI模型個性化成長,成為“最懂你的聰明助手”并且隨時隨地即時響應。
從 “大而全” 到 “小而精”,我們看到了AMC在AI計算領域的潛力,有望讓AI計算變得更精準、更高效。場景化模型 OTA能讓開發者更快構建AI,用戶更自由地使用AI,推動AI計算從通用向定制、從固定向靈活、從單一向多元發展,真正賦能千行百業。
躍昉科技,依托RISC-V計算架構,不斷探索芯片、邊緣AI計算與智能互聯的創新融合,加速推動國產AI計算自主化。我們相信,未來的AI計算不再是一種昂貴的資源,而是普惠的能力。個性化的智能,是一股驅動世界躍向更智能未來的核心動力!
廣東躍昉科技有限公司聚焦研發基于RISC-V架構的SoC芯片產品及系統解決方案,并提供從操作系統到云平臺的全棧基礎智能軟件服務,通過融合人工智能、物聯網、區塊鏈等交叉領域技術為中國數字經濟的創新應用賦能。
躍昉科技作為RISC-V架構SoC芯片設計及產業應用的開拓者,已推出系列基于RISC-V架構的高性能SoC芯片及產品,覆蓋AIoT邊端物聯、控制和計算等應用領域,集高效能計算資源、豐富工業接口、穩定可靠品質等特性于一體。依托于全棧技術能力,躍昉科技正持續深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領域,旨在為客戶帶來專業化、高品質的產品和服務。
-
RISC-V
+關注
關注
46文章
2477瀏覽量
48247 -
躍昉科技
+關注
關注
0文章
76瀏覽量
2409 -
大模型
+關注
關注
2文章
3020瀏覽量
3809 -
DeepSeek
+關注
關注
1文章
772瀏覽量
1317
原文標題:RISC-V計算新突破!躍昉AMC將DeepSeek大模型裝進口袋
文章出處:【微信號:躍昉科技LeapFive,微信公眾號:躍昉科技LeapFive】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
SL1680 SoC本地運行DeepSeek R1 1.5B大模型

軟通動力助力黑龍江大學完成DeepSeek大模型本地化部署
博實結完成DeepSeek大模型本地化部署
RK3588開發板上部署DeepSeek-R1大模型的完整指南
行芯完成DeepSeek-R1大模型本地化部署
浪潮信息:元腦EPAI已接入DeepSeek,大幅提升DeepSeek企業應用準確率

曙光順利完成DeepSeek大模型本地化多點私有部署
紹興數據局率先實現政務環境下的DeepSeek模型部署

評論