DeepSeek 開源周
今日,DeepSeek正式啟動(dòng)"開源周"計(jì)劃,首發(fā)代碼庫(kù)FlashMLA一經(jīng)開源即引發(fā)全網(wǎng)關(guān)注。截至發(fā)稿,該項(xiàng)目已在GitHub斬獲超7.2K Star!
沐曦技術(shù)團(tuán)隊(duì)在FlashMLA開源后迅速響應(yīng),僅用2小時(shí)即完成與沐曦GPU的適配工作,并于當(dāng)日將代碼提交至開源社區(qū)。本次適配成功后,MXMACA平臺(tái)也可完美運(yùn)行FlashMLA,這充分驗(yàn)證了沐曦GPGPU架構(gòu)與MXMACA軟件平臺(tái)在生態(tài)兼容性方面的先天優(yōu)勢(shì)!
FlashMLA通過(guò)MLA解碼優(yōu)化與分頁(yè)KV緩存技術(shù)等顯著提升硬件利用率,可加速大語(yǔ)言模型解碼過(guò)程,有效提升響應(yīng)速度與吞吐量,尤其適用于聊天機(jī)器人等實(shí)時(shí)生成場(chǎng)景。沐曦在適配中應(yīng)用矩陣吸收算法將低秩投影融入Flash Attention 2核函數(shù),在保證計(jì)算效率的同時(shí)顯著降低顯存占用。同步構(gòu)建了MXMACA自動(dòng)化測(cè)試體系覆蓋常規(guī)及邊界場(chǎng)景,確保功能準(zhǔn)確性與數(shù)值穩(wěn)定性,為長(zhǎng)文本生成等顯存敏感場(chǎng)景提供顯著性能增益。沐曦本次提交的代碼不僅突破了官方實(shí)現(xiàn)中對(duì)Hopper架構(gòu)的依賴,還新增支持64以外的多樣化page size配置,大幅提升框架適用性,為開源社區(qū)帶來(lái)實(shí)質(zhì)性技術(shù)貢獻(xiàn)。
明天,DeepSeek開源計(jì)劃第二彈即將揭曉,敬請(qǐng)期待后續(xù)動(dòng)態(tài)!
關(guān)于沐曦
沐曦致力于為異構(gòu)計(jì)算提供安全可靠的GPU芯片及解決方案,打造全棧GPU芯片產(chǎn)品,推出曦思N系列GPU用于智算推理,曦云C系列GPU用于通用計(jì)算,以及曦彩G系列GPU用于圖形渲染,滿足“高能效”及“高通用性”的算力需求。沐曦產(chǎn)品均采用完全自主研發(fā)的GPU IP,擁有完全自主的指令集和架構(gòu),配以兼容主流GPU生態(tài)的完整軟件棧(MXMACA),具備高能效和高通用性的天然優(yōu)勢(shì),能夠?yàn)榭蛻魳?gòu)建軟硬件一體的全面生態(tài)解決方案,是“雙碳”背景下推動(dòng)數(shù)字經(jīng)濟(jì)建設(shè)和產(chǎn)業(yè)數(shù)字化、智能化轉(zhuǎn)型升級(jí)的算力基石。
-
gpu
+關(guān)注
關(guān)注
28文章
4912瀏覽量
130681 -
開源
+關(guān)注
關(guān)注
3文章
3616瀏覽量
43499 -
沐曦
+關(guān)注
關(guān)注
0文章
32瀏覽量
1378 -
DeepSeek
+關(guān)注
關(guān)注
1文章
777瀏覽量
1363
原文標(biāo)題:2小時(shí)極速適配!沐曦GPU率先跑通DeepSeek開源代碼庫(kù)FlashMLA!
文章出處:【微信號(hào):沐曦MetaX,微信公眾號(hào):沐曦MetaX】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
PaddleScience完成與沐曦AI芯片適配
沐曦曦云C500通用計(jì)算GPU與百度飛槳完成Ⅱ級(jí)兼容性測(cè)試
沐曦加速DeepSeek滿血版單卡C500異構(gòu)推理
壁仞科技支持DeepSeek-V3滿血版訓(xùn)練推理
摩爾線程全面支持DeepSeek開源周成果
摩爾線程支持DeepSeek開源通信庫(kù)DeepEP和并行算法DualPipe
摩爾線程完成DeepSeek開源庫(kù)FlashMLA和DeepGEMM適配
云天勵(lì)飛DeepEdge10適配DeepSeek開源周“首個(gè)大招”:FlashMLA

DeepSeek宣布開源DeepGEMM
DeepSeek扔的第二枚開源王炸是什么,跟第一枚有何不同?強(qiáng)烈引發(fā)外媒熱議

DeepSeek扔的第二枚開源王炸是什么

Gitee AI 聯(lián)合沐曦首發(fā)全套 DeepSeek R1 千問(wèn)蒸餾模型,全免費(fèi)體驗(yàn)!

評(píng)論