電子發(fā)燒友網(wǎng)報道（文/李彎彎）大模型在端側(cè)部署是指將大型神經(jīng)網(wǎng)絡(luò)模型部署在移動終端設(shè)備上，使這些設(shè)備能夠直接運行這些模型，從而執(zhí)行各種人工智能任務(wù)，如圖像識別、語音識別、自然語言處理等。隨著大模型小型化、場景化需求的增加，推理逐步從云端擴(kuò)展向端側(cè)。這種趨勢在PC和手機(jī)等終端產(chǎn)品上尤為明顯。

大模型在端側(cè)部署加速

大模型在端側(cè)部署的過程通常包括幾個階段，首先是模型訓(xùn)練階段，在這個階段，使用大量的標(biāo)注數(shù)據(jù)訓(xùn)練出對應(yīng)的模型文件。訓(xùn)練時需要考慮模型的大小和計算量，以便適應(yīng)端側(cè)設(shè)備的硬件條件。

接著是模型壓縮，為了降低模型在端側(cè)設(shè)備上的存儲和運行壓力，通常需要對模型進(jìn)行壓縮。這可以通過剪枝、量化等手段來實現(xiàn)，以減小模型的大小和降低計算復(fù)雜度。

再就是模型部署，在這個階段，將壓縮后的模型部署到端側(cè)設(shè)備上。這包括將模型文件傳輸?shù)皆O(shè)備上，在設(shè)備上安裝必要的推理引擎和運行時環(huán)境等步驟。

最后，在模型部署完成后，端側(cè)設(shè)備就可以使用這些模型進(jìn)行推理計算了。這通常包括加載模型、輸入數(shù)據(jù)預(yù)處理、模型計算、結(jié)果輸出等步驟。

在大模型端側(cè)部署過程中，需要考慮一些技術(shù)挑戰(zhàn)和限制。例如，端側(cè)設(shè)備的硬件條件通常比云端服務(wù)器要差很多，因此需要在模型設(shè)計和壓縮階段充分考慮這些因素。此外，端側(cè)設(shè)備的網(wǎng)絡(luò)帶寬和延遲也可能對模型推理的實時性和準(zhǔn)確性產(chǎn)生影響。

為了克服這些挑戰(zhàn)和限制，一些技術(shù)工具和平臺被開發(fā)出來，如MLflow、Ray Serve、Kubeflow、Seldon Core、BentoML和ONNX Runtime等。這些工具可以幫助用戶更方便地構(gòu)建、部署和管理機(jī)器學(xué)習(xí)模型，從而提高模型在端側(cè)設(shè)備上的性能和可用性。

現(xiàn)如今，大模型在端側(cè)的部署正在加速。在PC領(lǐng)域，繼英特爾推出首個AI PC處理器后，聯(lián)想集團(tuán)、惠普、宏碁等廠商相繼發(fā)布多款A(yù)I PC新品。據(jù)報道，已有超過10款筆記本可以本地運行AI大模型，并且還有一批新品將陸續(xù)上市。

在手機(jī)領(lǐng)域，從2023年下半年開始，小米、OPPO、vivo等手機(jī)廠商紛紛在新系統(tǒng)中增加大模型能力。到2024年1月，中國手機(jī)市場Top5中，除蘋果之外，已經(jīng)全數(shù)發(fā)布自有端側(cè)大模型產(chǎn)品。

大模型在端側(cè)部署的優(yōu)勢也日益凸顯。一方面，端側(cè)部署可以降低數(shù)據(jù)傳輸延遲和帶寬限制，提高實時性和響應(yīng)速度。另一方面，端側(cè)部署可以更好地保護(hù)用戶隱私和數(shù)據(jù)安全，因為數(shù)據(jù)可以在本地進(jìn)行處理，而無需傳輸?shù)皆贫恕?br />
國內(nèi)外廠商推出支持大模型端側(cè)部署芯片

大模型要在端側(cè)部署離不開芯片的支持，英特爾、高通、聯(lián)發(fā)科等都推出了針對大模型在PC、手機(jī)等移動端部署所需的芯片。英特爾推出了首款基于Intel 4制程的酷睿Ultra系列處理器第一代產(chǎn)品Meteor Lake，這款處理器首次在客戶端CPU中采用了Chiplet（芯粒）設(shè)計和自家的Foveros先進(jìn)封裝技術(shù)，集成了NPU（神經(jīng)網(wǎng)絡(luò)處理單元），可以本地運行200億參數(shù)大模型，無需聯(lián)網(wǎng)即可秒級生成高質(zhì)量多模態(tài)數(shù)據(jù)。

高通發(fā)布的第三代驍龍8移動平臺，是其首個專為生成式AI打造的移動平臺。該平臺支持在終端側(cè)運行100億參數(shù)的模型，并面向70億參數(shù)大預(yù)言模型每秒生成高達(dá)20個token，且能夠在終端側(cè)通過Stable Diffusion生成圖片。

此外，高通還推出了AI Hub，這是一個為開發(fā)者提供的AI模型庫，包括傳統(tǒng)AI模型和生成式AI模型，能夠支持在驍龍和高通平臺上進(jìn)行部署。這個模型庫支持超過75個AI模型，如Whisper、ControlNet、Stable Diffusion和Baichuan-7B等，開發(fā)者可以輕松地獲取這些模型并將其集成到應(yīng)用程序中。

聯(lián)發(fā)科與阿里云展開深度合作，在天璣9300和天璣8300移動平臺上實現(xiàn)了通義千問大模型的端側(cè)部署。聯(lián)發(fā)科的天璣系列移動芯片，如天璣9300和天璣8300，都是高性能、高能效的移動計算平臺。這些芯片不僅具有強(qiáng)大的處理能力，還支持先進(jìn)的5G技術(shù)和生成式AI技術(shù)，為端側(cè)大模型部署提供了堅實的基礎(chǔ)。

另外，國內(nèi)的愛芯元智、芯動力科技等公司也針對大模型在端側(cè)的部署優(yōu)化產(chǎn)品。愛芯元智的AX650N芯片在大模型端側(cè)部署方面就展現(xiàn)出了顯著的優(yōu)勢。

具體來說，AX650N在部署Swin Transformer這類大型視覺模型時，能夠保持高精度和高效率。由于大部分端側(cè)AI芯片在架構(gòu)上對于MHA（Multi-Head Attention）結(jié)構(gòu)沒有過多優(yōu)化，因此部署大型模型時往往需要進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的修改，這可能導(dǎo)致精度下降和重訓(xùn)的麻煩。然而，AX650N通過其獨特的架構(gòu)和優(yōu)化，能夠直接支持原版Swin Transformer的部署，從測試板到demo復(fù)現(xiàn)只需要5分鐘，私有模型在私有環(huán)境中運行也僅需1小時。

此外，AX650N還具備32路視頻解碼/視頻結(jié)構(gòu)化處理、被動散熱、支持低延時編解碼、HDMI輸出和USB 3.0等特性，這些特性使得它非常適合用于各種視覺感知和邊緣計算的應(yīng)用場景。在大模型端側(cè)部署方面，AX650N不僅提供了強(qiáng)大的計算能力，還通過其易部署和低功耗的特點，為實際應(yīng)用落地提供了更多的可能性。

芯動力科技是一家清華系的AI芯片創(chuàng)企，他們面向大模型推出了AzureBlade L系列M.2加速卡。這款加速卡具有強(qiáng)大的性能，能夠順利運行大模型系統(tǒng)，并且其大小僅為80mm（長）x22mm（寬），非常適合在PC等端側(cè)設(shè)備上部署。

AzureBlade L系列M.2加速卡已經(jīng)實現(xiàn)了與Llama 2、Stable Diffusion等模型的適配，成為助推大模型在端側(cè)設(shè)備上部署的加速器。這種具備體積小、性能強(qiáng)，且有通用接口的M.2加速卡，能夠突破端側(cè)設(shè)備有限的計算和存儲能力，為大模型在端側(cè)的落地提供了機(jī)會。

寫在最后

大模型在端側(cè)部署是一個復(fù)雜的過程，需要考慮多種因素和技術(shù)挑戰(zhàn)。但是通過合理的模型設(shè)計、壓縮和優(yōu)化以及使用適當(dāng)?shù)墓ぞ吆推脚_，就可以讓端側(cè)設(shè)備具備更強(qiáng)的人工智能能力。如今，在產(chǎn)業(yè)鏈各環(huán)節(jié)的努力下，大模型在端側(cè)部署的現(xiàn)狀呈現(xiàn)出加速的趨勢，預(yù)計，未來隨著技術(shù)的不斷進(jìn)步和優(yōu)化，大模型在端側(cè)部署的應(yīng)用將會越來越廣泛。