以DeepSeek模型為代表的MoE技術(shù)路線，正不斷突破通用大模型的效果上限。其創(chuàng)新的PD優(yōu)化與大EP推理方案，推動(dòng)大模型邁向“高性能、低成本、強(qiáng)普惠”的新階段。

事實(shí)上，早在1991年，兩位人工智能界的泰斗Michael Jordan與Geoffrey Hinton在論文《Adaptive Mixture of Local Experts》中，就首次提出了MoE框架。隨著大模型應(yīng)用場(chǎng)景愈加復(fù)雜和垂直，大模型參數(shù)增大的同時(shí)，消耗的算力資源和時(shí)間成本也隨之增加。憑借“稀疏激活、低資源消耗、高模型容量”的優(yōu)勢(shì)，MoE逐漸成為大模型開(kāi)發(fā)者的新寵。

DeepSeek模型的成功實(shí)踐，為MaaS平臺(tái)廠商指明了方向，也帶來(lái)了挑戰(zhàn)：如何在提供高性能大模型推理服務(wù)的同時(shí)，實(shí)現(xiàn)對(duì)成本的極致控制?四月份，科大訊飛技術(shù)團(tuán)隊(duì)通過(guò)深度解析DeepSeek-V3 / R1 推理系統(tǒng)成本，發(fā)現(xiàn)除了極致的推理性能及吞吐優(yōu)化外，大模型成本與算力資源有效利用率、首響用戶體驗(yàn)等體系化的綜合策略緊密關(guān)聯(lián)。

基于以上洞察，訊飛星辰MaaS平臺(tái)成功復(fù)現(xiàn)了生產(chǎn)級(jí)PD(生產(chǎn)部署優(yōu)化)+大EP(大規(guī)模跨節(jié)點(diǎn)專家并行)，實(shí)現(xiàn)了高性能的DeepSeek V3上線：

萬(wàn)路并發(fā)保障：大規(guī)模并發(fā)場(chǎng)景下，系統(tǒng)穩(wěn)定、延遲低，用戶體驗(yàn)更流暢;

請(qǐng)求級(jí)指標(biāo)提升 ：TTFT(首Token延遲)性能提升30%，TPOT(單Token生成時(shí)間)性能提升35%，顯著減少延遲，降低用戶「等候感」;

彈性混合云架構(gòu)：支持多源異構(gòu)算力調(diào)度，靈活應(yīng)對(duì)流量波峰波谷。

高性能DeepSeek V3上線：

萬(wàn)路并發(fā)無(wú)壓力，批量處理享半價(jià)

訊飛星辰 MaaS 平臺(tái)始終致力于打造高效、穩(wěn)定、低成本的大模型推理服務(wù)。目前平臺(tái)上提供星火全系列，以及DeepSeek、Qwen3等共50+個(gè)行業(yè)主流模型。在對(duì)DeepSeek V3推理系統(tǒng)成本進(jìn)行深度分析基礎(chǔ)上，實(shí)現(xiàn)了DeepSeek V3推理性能的階躍:

關(guān)鍵指標(biāo)對(duì)齊官網(wǎng)，萬(wàn)路并發(fā)流暢響應(yīng)

實(shí)現(xiàn)生產(chǎn)級(jí)PD+大EP復(fù)現(xiàn)，極致壓榨硬件性能，TTFT、TPOT等關(guān)鍵指標(biāo)對(duì)齊DeepSeek官網(wǎng)，其中TTFT性能提升30%，TPOT性能提升35%。大規(guī)模生產(chǎn)集群吞吐再翻倍，即使在萬(wàn)級(jí)并發(fā)壓力下，依然能保持低延遲與流暢響應(yīng)。

Batch API升級(jí)，高效低價(jià)數(shù)據(jù)處理

重點(diǎn)升級(jí)了支持DeepSeek V3的Batch API，為需要處理大規(guī)模數(shù)據(jù)且非實(shí)時(shí)場(chǎng)景的任務(wù)，如：企業(yè)級(jí)數(shù)據(jù)分析、內(nèi)容生產(chǎn)、客戶反饋處理等，提供高性價(jià)比推理服務(wù)且無(wú)并發(fā)限制，可實(shí)現(xiàn)價(jià)格比傳統(tǒng)調(diào)用降低50%，并在24小時(shí)內(nèi)完成任務(wù)處理。

彈性混合云架構(gòu)，流量洪峰更有保障

星辰MaaS平臺(tái)自研了彈性多源異構(gòu)混合云架構(gòu)，以自建算力為中心擴(kuò)展接入多個(gè)混合算力，提供穩(wěn)定可靠的算力保障用戶的流量洪峰，確保服務(wù)的穩(wěn)定性。 針對(duì)有大量調(diào)用需求的開(kāi)發(fā)者和企業(yè)，訊飛星辰MaaS平臺(tái)提供了專人對(duì)接的定制化方案。

模型工具升級(jí)：

精調(diào)方案隨心用，500+開(kāi)源模型自主托管

為進(jìn)一步降低模型定制門檻，助力開(kāi)發(fā)者快速創(chuàng)新，在提供高性能開(kāi)源模型的同時(shí)，近期，訊飛星辰MaaS平臺(tái)實(shí)現(xiàn)了多項(xiàng)功能上新：精調(diào)方案共享：開(kāi)放數(shù)據(jù)分類、表格問(wèn)答、劇本生成等多個(gè)精調(diào)方案，零門檻上手，開(kāi)箱即用，可快速落地在真實(shí)業(yè)務(wù)場(chǎng)景中。

星辰MaaS平臺(tái)提供了多種精調(diào)方案

以營(yíng)銷創(chuàng)作腳本為例，用戶只需輸入推廣場(chǎng)景、產(chǎn)品賣點(diǎn)、腳本風(fēng)格、面向人群等資料，即可實(shí)現(xiàn)從「創(chuàng)意構(gòu)思」到「爆款腳本」的全鏈路智能化生產(chǎn)。

Qwen3全系上線：繼率先支持Qwen3旗艦?zāi)Ｐ蚎wen3-235B-A22B和Qwen3-30B-A3B推理之后，目前Qwen3全系模型均已在星辰MaaS平臺(tái)上線，支持推理/訓(xùn)練，為開(kāi)發(fā)者提供了更為多元的模型選擇空間。

開(kāi)放自主托管渠道：支持開(kāi)發(fā)者自主托管開(kāi)源模型，包括HuggingFace提供的開(kāi)源模型(500+)及平臺(tái)預(yù)置模型，均可一鍵部署，即用即銷，進(jìn)一步降低了開(kāi)發(fā)成本，使開(kāi)發(fā)者和企業(yè)得以專注于業(yè)務(wù)邏輯創(chuàng)新，推動(dòng)AI創(chuàng)新應(yīng)用落地。

開(kāi)發(fā)者可在“模型選擇”中搜索HuggingFace提供的開(kāi)源模型平臺(tái)預(yù)置模型

秉承開(kāi)放開(kāi)源理念，下一步，星辰MaaS平臺(tái)將開(kāi)源面向大規(guī)模生產(chǎn)級(jí)的支持PD調(diào)度的集群鏡像方案，實(shí)現(xiàn)拓?fù)涓兄{(diào)度，兼容SGlang、自研等多種推理框架、自帶多源異構(gòu)彈性混合云調(diào)度，支持訓(xùn)推一體潮汐調(diào)度，進(jìn)一步降低多模型、多算力、高并發(fā)的大模型集群部署復(fù)雜度。

關(guān)于訊飛星辰MaaS平臺(tái)：

低門檻一站式大模型精調(diào)訓(xùn)練平臺(tái)，助力企業(yè)高效構(gòu)建專屬大模型。

開(kāi)箱即用，上手快：覆蓋數(shù)據(jù)工程、精調(diào)訓(xùn)練、推理服務(wù)等全生命周期工具鏈，提供開(kāi)箱即用、即用即銷的平臺(tái)服務(wù)能力。

模型豐富，應(yīng)用快：支持星火全系列并兼容DeepSeek、Qwen3等，共50+行業(yè)主流大模型版本的微調(diào)與服務(wù)，微調(diào)到應(yīng)用的工期從幾天降低到小時(shí)級(jí)。

成熟訓(xùn)推框架，高可用：構(gòu)建開(kāi)箱即用的訓(xùn)推工具與框架，支持lora、full sft等多種訓(xùn)練方式，定制模型按需托管，服務(wù)可用性99.95%。

算力利用率高，成本低：實(shí)現(xiàn)基于彈性混合云訓(xùn)推算力的潮汐調(diào)度，支持即用即銷的大模型自主托管推理模式，持續(xù)提升算力資源利用率，實(shí)現(xiàn)大模型推理成本持續(xù)降低。