(電子發(fā)燒友網(wǎng)報(bào)道 文/章鷹) 2025年是端側(cè)AI爆發(fā)元年，以AI眼鏡為例，Meta的Ray-Ban系列價(jià)格已降至299美元，2025年預(yù)計(jì)出貨200萬副，此外，混合AI在端側(cè)實(shí)現(xiàn)手機(jī)拍照功能優(yōu)化，汽車自動(dòng)駕駛的本地決策，都依賴算力提升，這對(duì)端側(cè)AI SoC的性能帶來挑戰(zhàn)，上游IP廠商的新品可以給SoC廠商帶來最新助力。

7月9日，在上海張江舉辦的端側(cè)AI技術(shù)論壇上，安謀科技（中國）有限公司高級(jí)產(chǎn)品經(jīng)理葉斌表示，當(dāng)前端側(cè)AI正從概念走向現(xiàn)實(shí)，安謀科技自研“周易”NPU可驅(qū)動(dòng)終端算力躍遷，助力產(chǎn)業(yè)把握端側(cè)AI“芯”機(jī)遇。

端側(cè)大模型參數(shù)提升，安謀科技DSA架構(gòu)驅(qū)動(dòng)芯片能效比

“當(dāng)前，端側(cè)設(shè)備部署的AI大模型10B為上限，Meta開源了LIama3大模型，包括8B、30B、70B模型。未來，數(shù)據(jù)將在云端匯集訓(xùn)練，云端AI模型將具備更強(qiáng)的通用性。終端設(shè)備上則進(jìn)行輕量化模型運(yùn)用，體現(xiàn)出更低延遲、更具個(gè)性化和隱私安全等優(yōu)勢(shì)。端側(cè)設(shè)備，從旗艦平板、手機(jī)、智慧屏到PC，硬件平臺(tái)的演進(jìn)中，對(duì)AI SoC來講，多核、算力提升成為當(dāng)前主流發(fā)展趨勢(shì)。”安謀科技葉斌分析說。

在他看來，隨著技術(shù)發(fā)展，計(jì)算重心將進(jìn)一步向更高效、更專業(yè)的計(jì)算架構(gòu)或芯片轉(zhuǎn)移，以平衡性能與成本，更好地支撐大模型及各類AI應(yīng)用的發(fā)展。這種情況下，DSA架構(gòu)仍然是端側(cè)追求能效比和面效比的選擇。端側(cè)利用NPU IP等多核協(xié)同，實(shí)現(xiàn)算力提升，將成為技術(shù)發(fā)展的關(guān)鍵。

安謀新一代周易NPU IP支持高精度浮點(diǎn)運(yùn)算，應(yīng)對(duì)未來應(yīng)用場(chǎng)景

葉斌指出，安謀科技新一代自研周易“NPU” IP，從架構(gòu)設(shè)計(jì)角度對(duì)于transformer繼續(xù)優(yōu)化，兼容CNN超分場(chǎng)景和大模型場(chǎng)景加速，并且持續(xù)大規(guī)模軟件投入，不斷完善算字庫，支持大語言模型輕量化部署與快速響應(yīng)，快速滿足AI PC、手機(jī)、智能座艙，ADAS等新興端側(cè)AI應(yīng)用需求。

AI大模型要提升理解能力，必然要增加上下文窗口、序列長(zhǎng)度來達(dá)到一個(gè)效果。AI處理器的架構(gòu)設(shè)計(jì)上，充分考慮算力配比平衡的需求。

端側(cè)AI能力受制于算力墻、內(nèi)存墻和功耗墻。從應(yīng)用和場(chǎng)景算力匹配的能力看，從存儲(chǔ)的演進(jìn)路線來說，LPDDR5X可以支持端側(cè)10B以下的模型，主要應(yīng)用在手機(jī)、PAD和PC端，汽車智能座艙都是在10B上下的模型，物聯(lián)網(wǎng)設(shè)備的模型體量更小，未來存儲(chǔ)演進(jìn)到LPDDR6，預(yù)期模型的容量可以提升50%以上。

葉斌表示，大模型是算法、硬件平臺(tái)雙向奔赴的一個(gè)過程，隨著更低位寬的算法應(yīng)用，效果提升，最終令這些模型可以部署到端側(cè)。未來2年到3年，更大的模型在端側(cè)部署的場(chǎng)景。我們預(yù)測(cè)，20B、30B的AI模型部署在端側(cè)，甚至到30B、40B的模型在端側(cè)部署。

在當(dāng)前趨勢(shì)下，端側(cè)AI應(yīng)用對(duì)算力的需求將持續(xù)增加，從CNN時(shí)代的INT低精度變?yōu)樾枰呔鹊腇LOAT浮點(diǎn)運(yùn)算。安謀科技新一代周易NPU做了性能的升級(jí)和優(yōu)化，支持多數(shù)據(jù)類型，從INT4、 INT8、INT16以及FLOAT 浮點(diǎn)運(yùn)算。考慮到能效比，硬件上面做到充分的復(fù)用。未來在端側(cè)減少內(nèi)存數(shù)據(jù)的搬運(yùn)，中間做一個(gè)專用的加速優(yōu)化。長(zhǎng)下文場(chǎng)景，安謀科技在AI加速部分進(jìn)行了增強(qiáng)。此外，我們對(duì)于多任務(wù)執(zhí)行QOS技術(shù)進(jìn)行增強(qiáng)，確保端側(cè)AI多樣應(yīng)用的使用體驗(yàn)。

葉斌強(qiáng)調(diào)說：“我們看到AI大模型對(duì)帶寬提出更高要求及AI計(jì)算中心偏移。結(jié)合端側(cè)大模型訴求，端側(cè)從NPU，追求能效比和面效比的選擇。加上多級(jí)緩存，硬件流水的結(jié)構(gòu)，使得數(shù)據(jù)本地化，節(jié)省數(shù)據(jù)搬運(yùn)和功耗的開銷。”

在端側(cè)AI設(shè)備加速落地，AI SoC芯片設(shè)計(jì)熱潮的推動(dòng)下，半導(dǎo)體IP的戰(zhàn)略價(jià)值不斷顯現(xiàn)。IP授權(quán)模式，安謀科技采取靈活的架構(gòu)授權(quán)模式，無論是硬件、軟件，NPU除了DSK架構(gòu)外，軟件生態(tài)也非常關(guān)鍵。安謀科技繼承了ARM的基因，NPU IP有一套完整的軟件工具鏈，GPU最新量化工具，還有動(dòng)態(tài)識(shí)別的支持和開源的模型庫，安謀科技加大投入不斷完善算子庫，憑借軟硬件的創(chuàng)新系統(tǒng)，新一代周易NPU IP能更好滿足新興端側(cè)AI應(yīng)用需求，滿足用戶兼具功耗和性能優(yōu)勢(shì)的端側(cè)算力體驗(yàn)。