參數(shù)量小、內(nèi)存占比小的端側(cè)模型，正成為“兵家必爭(zhēng)之地”。

“史上最強(qiáng)Mate”、“絕對(duì)對(duì)得起那四個(gè)字”。剛剛發(fā)布的華為Mate 70，基于“軟硬端云的AI技術(shù)底座”推出了AI運(yùn)動(dòng)軌跡還原、AI通話(huà)摘要、AI消息隨身等九大功能，讓AI手機(jī)的概念進(jìn)一步具象化。

自2024年年初至今，三星、蘋(píng)果、谷歌、vivo等國(guó)內(nèi)外手機(jī)廠商紛紛推出自家的AI手機(jī)，并將其中的AI功能作為核心賣(mài)點(diǎn)面向消費(fèi)者重點(diǎn)宣傳。根據(jù)Counterpoint數(shù)據(jù)，僅在

2024年第一季度，全球具有生成式AI功能的智能手機(jī)型號(hào)就從16個(gè)增加到30多個(gè)，支持生成式AI的智能手機(jī)在2024年第一季度占全球智能手機(jī)銷(xiāo)量的6%，比上一季度的1.3%有了顯著增長(zhǎng)。

事實(shí)上，不只是手機(jī)，越來(lái)越多的AR眼鏡、PC、汽車(chē)等消費(fèi)電子終端廠商，也在將AI技術(shù)應(yīng)用到自己的產(chǎn)品和服務(wù)中。

火熱落地的背后，是端側(cè)模型的快速興起。

與“力大磚飛”的云端大模型相比，端側(cè)模型雖然參數(shù)量更小，卻有著低延時(shí)、可靠性高、隱私安全性高、低成本的優(yōu)勢(shì)，這些恰恰是用戶(hù)量龐大、交互頻繁的智能終端所需要的。

01多尺寸、可落地

訊飛星火端側(cè)模型發(fā)布

面對(duì)洶涌而至的端側(cè)模型浪潮，頭部大模型廠商早早推出了自研的端側(cè)大模型?？拼笥嶏w基于多年的核心技術(shù)積累和成建制的研發(fā)隊(duì)伍，推出了星火端側(cè)模型矩陣，覆蓋0.4B-13B，效果已滿(mǎn)足落地商用要求，并已在汽車(chē)、AI PC等場(chǎng)景落地，更多場(chǎng)景持續(xù)深挖中。

在智能座艙領(lǐng)域，10月24日的科大訊飛全球1024開(kāi)發(fā)者節(jié)上，汽車(chē)端側(cè)星火大模型首次發(fā)布，并且在Q4就將率先在奇瑞、廣汽、長(zhǎng)城的車(chē)型中陸續(xù)“上崗”，讓每輛汽車(chē)上配置一位“雙商在線”的智能助手。

汽車(chē)端側(cè)星火大模型相比云端大模型效果損失≤1%，端側(cè)首次響應(yīng)時(shí)間40ms，端云融合交互時(shí)間低至1.3s;基于汽車(chē)端側(cè)硬件，在無(wú)網(wǎng)環(huán)境下也能使用。

“車(chē)?yán)镉悬c(diǎn)悶”“放點(diǎn)兒搖滾樂(lè)”“講個(gè)小紅帽與大灰狼的故事”……無(wú)論是簡(jiǎn)單地指令，還是復(fù)雜地句子，車(chē)主想到什么就說(shuō)什么，車(chē)機(jī)不僅能聽(tīng)懂，還能做得好。即使行駛在無(wú)網(wǎng)、弱網(wǎng)的隧道、野外，依舊可以進(jìn)行流暢的語(yǔ)音交互。

AI PC 領(lǐng)域，訊飛推出的7B端側(cè)模型，可開(kāi)發(fā)寫(xiě)作助手、會(huì)議助手、PPT助手，本地RAG隱私保護(hù)個(gè)人知識(shí)庫(kù)等辦公場(chǎng)景應(yīng)用，滿(mǎn)足個(gè)性化，隱私安全的AI PC助手構(gòu)建要求。

作為部署在終端設(shè)備上運(yùn)行的大型預(yù)訓(xùn)練模型，端側(cè)模型雖然參數(shù)量更小，但性能卻絲毫不弱。通過(guò)知識(shí)蒸餾，端側(cè)大模型能夠在保持較高性能的同時(shí)，大幅減少模型參數(shù)量和計(jì)算復(fù)雜度。這種技術(shù)使得復(fù)雜的AI模型可在資源受限的端側(cè)設(shè)備上高效運(yùn)行，實(shí)現(xiàn)低能耗、高響應(yīng)速度和高準(zhǔn)確度的AI推理。

與云端大模型相比，端側(cè)模型還有著獨(dú)特的優(yōu)勢(shì)：

在實(shí)時(shí)性上，借助端側(cè)模型，用戶(hù)大部分?jǐn)?shù)據(jù)處理均在本地完成，減少了對(duì)云端的依賴(lài)，大幅提高響應(yīng)速度。

可靠性方面，即使在網(wǎng)絡(luò)不穩(wěn)定或無(wú)網(wǎng)絡(luò)環(huán)境下，端側(cè)模型仍然能夠提供服務(wù)。

從隱私安全來(lái)看，用戶(hù)數(shù)據(jù)無(wú)需上傳云端，從而降低數(shù)據(jù)泄露風(fēng)險(xiǎn)。

經(jīng)濟(jì)性方面，端側(cè)模型的計(jì)算均在用戶(hù)本地的設(shè)備上進(jìn)行，無(wú)需使用手機(jī)等廠商的云推理服務(wù)，大幅降低了用戶(hù)使用成本。

目前，端側(cè)模型正在加速落地，在手機(jī)、PC、耳機(jī)、音箱、XR、汽車(chē)、具身智能，及眾多可穿戴設(shè)備等場(chǎng)景不斷應(yīng)用。

02端側(cè)模型開(kāi)發(fā)框架

輕松定制開(kāi)發(fā)本地化應(yīng)用

為了讓開(kāi)發(fā)者在各類(lèi)場(chǎng)景平臺(tái)快速使用上訊飛星火端側(cè)模型，除基礎(chǔ)能力外，訊飛推出了端側(cè)模型應(yīng)用開(kāi)發(fā)框架-SparkEdge，包含完善的端側(cè)內(nèi)容安全審核，本地RAG，智能體開(kāi)發(fā)框架等應(yīng)用開(kāi)發(fā)剛需能力，支持開(kāi)發(fā)者輕松定制本地化應(yīng)用。

? 主流平臺(tái)全覆蓋，接入方式更靈活

兼容平臺(tái)方面，訊飛星火端側(cè)模型既兼容主流Windows、Linux、Android等通用平臺(tái)以及各類(lèi)國(guó)產(chǎn)化操作系統(tǒng)平臺(tái)，也可適配國(guó)內(nèi)外的CPU、GPU、NPU等不同算力平臺(tái)。

接入方式上，跨平臺(tái)SDK供移動(dòng)端等原生應(yīng)用開(kāi)發(fā)者快速接入;輕量級(jí)Service輕量級(jí)Service方案一鍵星火+開(kāi)源，云+端模型絲滑切換，滿(mǎn)足多應(yīng)用多模型調(diào)度需求。

? 豐富本地的開(kāi)發(fā)配套能力

端側(cè)內(nèi)容審核：提供純本地輕量級(jí)審核方案，保障模型輸入輸出內(nèi)容安全

本地智能體框架：針對(duì)本地郵件信息總結(jié)，寫(xiě)作，系統(tǒng)指令控制和跨應(yīng)用協(xié)同等場(chǎng)景，提供完整智能體和Tools開(kāi)發(fā)框架，滿(mǎn)足Prompt型，任務(wù)規(guī)劃型等各類(lèi)本地智能體快速構(gòu)建

本地RAG方案：針對(duì)本地設(shè)備說(shuō)明書(shū)，個(gè)人敏感文檔等知識(shí)管理問(wèn)答場(chǎng)景，提供輕量級(jí)RAG方案，滿(mǎn)足隱私安全的個(gè)人知識(shí)庫(kù)快速構(gòu)建

端微調(diào)：針對(duì)端側(cè)模型微調(diào)量化需求，提供完整平臺(tái)化鏈路，”云訓(xùn)端推”，支持用戶(hù)快速完成個(gè)性化微調(diào)定制

目前，訊飛星火端側(cè)模型已在訊飛開(kāi)放平臺(tái)面向開(kāi)發(fā)者開(kāi)放調(diào)用。

同時(shí)，面向機(jī)器人、AI PC、鍵鼠等智能硬件場(chǎng)景，訊飛還提供了端云協(xié)同大模型應(yīng)用開(kāi)發(fā)框架SparkChain，讓智能硬件開(kāi)發(fā)者，無(wú)需關(guān)注大模型應(yīng)用開(kāi)發(fā)過(guò)程中，模型選擇，開(kāi)發(fā)框架，能力組合，硬件適配等各類(lèi)問(wèn)題，專(zhuān)注于智能硬件產(chǎn)品創(chuàng)新，星火SparkChain一套全搞定。

03下一個(gè)賽點(diǎn)

共同推動(dòng)AI落地提速

相關(guān)研究報(bào)告顯示，2023年中國(guó)端側(cè)模型市場(chǎng)規(guī)模達(dá)8億元，持樂(lè)觀態(tài)度估計(jì)，預(yù)計(jì)2024年中國(guó)端側(cè)模型市場(chǎng)將達(dá)到21億元。

面對(duì)廣闊的市場(chǎng)，想要推進(jìn)端側(cè)大模型的部署與應(yīng)用，讓AI真正做到無(wú)處不在，單一企業(yè)的力量難以覆蓋全部產(chǎn)業(yè)鏈環(huán)節(jié)，需要構(gòu)建開(kāi)放合作的生態(tài)系統(tǒng)，探索更多的應(yīng)用場(chǎng)景。

科大訊飛作為人工智能領(lǐng)域的領(lǐng)軍者，自2017年起承建國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)，已開(kāi)放767項(xiàng)AI能力，匯聚超774.9萬(wàn)開(kāi)發(fā)者團(tuán)隊(duì)，累覆蓋終端設(shè)備數(shù)超41.2億，鏈接超千萬(wàn)生態(tài)伙伴。“端側(cè)AI元年”已然到來(lái)，訊飛將與生態(tài)伙伴緊密合作，推動(dòng)端側(cè)模型的普及落地，為用戶(hù)提供性能更優(yōu)異、體驗(yàn)更好的智能終端設(shè)備。