近日,基于兆芯高性能通用處理器的PC終端、工作站以及服務(wù)器成功實(shí)現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保證推理效率的同時(shí),能夠提供靈活的算力選擇,以滿足不同規(guī)模和需求的推理生成應(yīng)用,面向用戶提供安全、智能、高效的AI應(yīng)用體驗(yàn)。
自春節(jié)至今,國內(nèi)AI大模型DeepSeek成功成為這段時(shí)間最火的“中國力量”,短短數(shù)周,中國智算產(chǎn)業(yè)的大半壁江山,都在擁抱DeepSeek!無論是互聯(lián)網(wǎng)科技大廠,還是行業(yè)巨頭,都紛紛接入Deepseek以實(shí)現(xiàn)性能更強(qiáng)大、成本更優(yōu)異的AI功能與服務(wù)。
兆芯高性能通用處理器具備覆蓋筆記本、臺(tái)式機(jī)、工作站、服務(wù)器的全棧硬件解決方案能力,以及強(qiáng)大的軟件生態(tài),原生支持以Linux、Windows、國產(chǎn)操作系統(tǒng)、及國產(chǎn)GPU加速卡等為基礎(chǔ)的DeepSeek大模型生態(tài)。
基于兆芯高性能通用處理器的PC終端、工作站以及服務(wù)器成功實(shí)現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保證推理效率的同時(shí),能夠提供靈活的算力選擇,以滿足不同規(guī)模和需求的推理生成應(yīng)用,面向用戶提供安全、智能、高效的AI應(yīng)用體驗(yàn)。
KX-7000臺(tái)式機(jī)成功本地部署DeepSeek-R1-7B模型
基于開先KX-7000桌面處理器的臺(tái)式機(jī),通過搭配國內(nèi)顯卡及加速卡,在本地成功部署DeepSeek-R1-7B模型,實(shí)現(xiàn)高性能桌面平臺(tái)與先進(jìn)AI模型的完美結(jié)合,充分發(fā)揮DeepSeek強(qiáng)大的語義理解和推理能力, 通過與WPS Word、Excel以及VSCode等常用工具的整合,可以實(shí)現(xiàn)智能文檔處理、數(shù)據(jù)處理以及智能編程等功能,為用戶帶來顯著的生產(chǎn)力提升和智能化體驗(yàn)。
KX-7000是兆芯新一代的高性能桌面PC處理器系列,采用全新的“世紀(jì)大道”自主內(nèi)核微架構(gòu)和先進(jìn)的Chiplet 互連架構(gòu),集成8個(gè)CPU 核心,共享32MB 三級(jí)緩存,最高工作頻率可達(dá)3.7GHz。
KH-40000/16工作站成功部署DeepSeek-R1-32B模型
基于KH-40000/16服務(wù)器處理器的工作站部署了DeepSeek-R1-7B、DeepSeek-R1-14B、DeepSeek-R1-32B模型。采用聯(lián)和東海XRS302 AI工作站平臺(tái),搭配4張國內(nèi)高性能GPU推理加速卡,可以提供信創(chuàng)+AI融合的高性價(jià)比、穩(wěn)定高效的推理能力。設(shè)備通過優(yōu)化的CPU與多GPU間互連架構(gòu),有效提升了整體數(shù)據(jù)傳輸帶寬,降低延遲。
在雙路KH-40000/16工作站上部署DeepSeek 32B模型,不僅能夠更好發(fā)揮模型的強(qiáng)大能力,還能在性能、效率和穩(wěn)定性上實(shí)現(xiàn)全面優(yōu)化,為更智能的AI應(yīng)用提供強(qiáng)有力的支持。另外,充分考慮部署需求,工作站采用了低功耗、靜音設(shè)計(jì),可以靈活便捷應(yīng)用于如智能辦公等企業(yè)級(jí)的桌面本地化AI推理場(chǎng)景。
KH-40000/32雙路服務(wù)器支持本地部署DeepSeek R1 671B模型
在服務(wù)器端,開勝KH-40000/32處理器可提供雙路64核的高性能計(jì)算能力,支持2TB海量?jī)?nèi)存,同時(shí)提供強(qiáng)大的擴(kuò)展能力。目前,通過搭配國內(nèi)加速卡,在KH-40000/32服務(wù)器上成功完成了DeepSeek-R1-70B版本的適配和部署,能夠?yàn)閿?shù)學(xué)、編程和推理等多個(gè)領(lǐng)域應(yīng)用提供安全可靠、高性能的平臺(tái)與解決方案。
同時(shí),針對(duì)DeepSeek-R1-671B大模型,為了更有效的測(cè)試服務(wù)器的兼容性,在不插入任何外界加速卡的情況下,基于開勝KH-40000/32處理器已經(jīng)完成本地DeepSeek-R1-671B大模型的部署,完整的驗(yàn)證了兆芯服務(wù)器CPU架構(gòu)承載千億參數(shù)模型的硬件支撐能力。
“小而美”且開源的DeepSeek不僅讓全球反思“大力出奇跡”的OpenAI路線,也為國內(nèi)算力芯片企業(yè)打開了通往AGI(通用人工智能)的另一扇窗。兆芯憑借已建立的完善且成熟的軟硬件自主生態(tài),支持多款國產(chǎn)GPU卡以及麒麟、統(tǒng)信、中科方德等國產(chǎn)操作系統(tǒng),為部署DeepSeek模型提供了高性能、低成本、自主可控的解決方案。通過硬件與軟件的深度優(yōu)化,兆芯平臺(tái)能夠充分發(fā)揮DeepSeek的能力,滿足多種AI應(yīng)用場(chǎng)景的需求,同時(shí)符合國家對(duì)信息技術(shù)的戰(zhàn)略要求。
關(guān)于兆芯
兆芯堅(jiān)持自主創(chuàng)新、生態(tài)完善、好用不貴的發(fā)展理念,掌握自主通用處理器及其系統(tǒng)平臺(tái)芯片研發(fā)設(shè)計(jì)的核心技術(shù),全面覆蓋其微架構(gòu)與實(shí)現(xiàn)技術(shù)等關(guān)鍵領(lǐng)域,構(gòu)建了健全的知識(shí)產(chǎn)權(quán)體系,致力于為用戶提供高效、兼容、安全的自主通用處理器和芯片組等產(chǎn)品,構(gòu)建從云到邊再到端等各種應(yīng)用場(chǎng)景下的計(jì)算解決方案,支撐政務(wù)、金融、教育、通信與廣播電視、能源、交通、醫(yī)療、工業(yè)制造等行業(yè)應(yīng)用的平滑遷移,幫助用戶節(jié)約成本,支撐產(chǎn)業(yè)創(chuàng)新升級(jí),助力加快構(gòu)建“雙循環(huán)”新發(fā)展格局,推動(dòng)國民經(jīng)濟(jì)高質(zhì)量發(fā)展。
-
服務(wù)器
+關(guān)注
關(guān)注
13文章
9699瀏覽量
87306 -
兆芯
+關(guān)注
關(guān)注
2文章
214瀏覽量
17838 -
大模型
+關(guān)注
關(guān)注
2文章
3030瀏覽量
3832 -
DeepSeek
+關(guān)注
關(guān)注
1文章
777瀏覽量
1358
原文標(biāo)題:兆芯全系列整機(jī)形態(tài)成功部署DeepSeek R1大模型
文章出處:【微信號(hào):gh_dff030a16604,微信公眾號(hào):兆芯】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
DeepSeek開源新版R1 媲美OpenAI o3
【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】DeepSeek 部署及測(cè)試
RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南
行芯完成DeepSeek-R1大模型本地化部署
研華發(fā)布昇騰AI Box及Deepseek R1模型部署流程
研華邊緣AI Box MIC-ATL3S部署Deepseek R1模型

IBM在watsonx.ai平臺(tái)推出DeepSeek R1蒸餾模型
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
超星未來驚蟄R1芯片適配DeepSeek-R1模型
Deepseek R1大模型離線部署教程

Gitee AI 聯(lián)合沐曦首發(fā)全套 DeepSeek R1 千問蒸餾模型,全免費(fèi)體驗(yàn)!

部署DeepSeek R1于AX650N與AX630C平臺(tái)

扣子平臺(tái)支持DeepSeek R1與V3模型
云天勵(lì)飛上線DeepSeek R1系列模型

評(píng)論