過去十年里，人工智能 (AI) 和機器學習 (ML) 經歷了重大變革——卷積神經網絡 (CNN) 和循環神經網絡 (RNN) 正在向Transformer和生成式人工智能 (GenAI) 過渡。這一變革背后，是產業對高效、準確、具有上下文能力、能夠處理復雜任務的模型的迫切需求。

最初，AI和ML模型嚴重依賴數字信號處理器 (DSP) 來執行音頻、文本、語音和視覺處理等任務。這些模型雖然有效，但在準確性和可擴展性方面存在局限性。神經網絡的引入，尤其是CNN，顯著提高了模型準確率。例如，作為開創性的CNN，AlexNet在圖像識別方面實現了65%準確率，超過了DSP的50%準確率。

下一個行業里程碑是Transformer的發展。2017 年，谷歌在其論文《Attention is All You Need》中提出了Transformer概念，帶來一種更高效的順序數據處理方式，徹底改變了AI模型的發展。不同于CNN以局部方式處理數據，Transformer使用注意力機制來評估輸入數據中不同部分的權重。這使得Transformer能夠捕捉數據中的復雜關系和依賴關系，從而在自然語言處理 (NLP) 和圖像識別等任務中表現出色。

Transformer推動了GenAI的興起。GenAI利用Transformer模型根據學習到的模式生成新數據，例如文本、圖像甚至音樂。Transformer理解和生成復雜數據的能力使其成為ChatGPT和DALL-E等熱門AI應用的基礎，這些模型已展示出非凡的能力，如生成連貫的文本和根據文本描述創建圖像，彰顯了GenAI的潛力。

圖 1：Transformer正在取代機器視覺和RNN/CNN，使GenAI實現更高的準確性

邊緣設備部署GenAI的優勢

在邊緣設備上部署GenAI具有諸多優勢，特別是在實時處理、隱私和安全至關重要的應用中。比如，智能手機、物聯網設備和自動駕駛汽車等邊緣設備都可以受益于GenAI。

在邊緣設備上部署GenAI可滿足對低延遲處理的需求。自動駕駛、實時翻譯和語音助手等應用需要即時響應，而云端處理帶來的延遲可能會阻礙這一點。通過在邊緣設備上直接運行GenAI模型，可以最大限度地減少延遲，從而確保更快、更可靠的性能。

隱私和安全也是重要的考慮因素。將敏感數據發送到云端進行處理會帶來數據泄露和未經授權訪問的風險。通過在設備上本地處理數據，邊緣GenAI可以增強隱私并減少潛在的安全漏洞。這在醫療保健等應用中尤為重要，比如患者數據必須得到極其謹慎的處理。

連接受限也在推動邊緣GenAI的發展。在互聯網接入不可靠的偏遠地區或無服務地區，配備GenAI的邊緣設備可以在沒有云連接的情況下獨立運行，以確保持續的功能。這對于災難響應等應用至關重要，因為在這些場景中，通信基礎設施可能無法使用。

邊緣設備部署GenAI的挑戰

在邊緣設備上部署GenAI有諸多益處，但也帶來了一系列挑戰，包括計算復雜性、數據要求、帶寬限制、功耗和硬件限制等，需要加以解決以確保模型有效實施和運行。

先來看GenAI模型的計算復雜性。作為GenAI模型的基礎，Transformer由于注意力機制和廣泛的矩陣乘法而需要進行密集計算，也就需要大量的計算資源和內存，可能會給邊緣設備上有限的資源造成壓力。此外，邊緣設備通常需要執行實時處理，尤其是在自動駕駛或實時翻譯等應用中，GenAI模型的高計算需求，使得在邊緣設備上實現必要的速度和響應頗具挑戰。

表1：GenAI模型（包括大型語言模型 (LLM) 和圖像生成器）參數明顯大于CNN

?

數據需求也是一個重大挑戰。訓練GenAI模型需要大量數據，例如GPT-4模型是在數TB的數據上進行訓練的，對于存儲和內存容量有限的邊緣設備來說，處理和存儲這些數據是不切實際的。即使在推理過程中，GenAI模型也可能需要大量數據才能生成準確且相關的輸出。由于存儲限制，在邊緣設備上管理和處理這些數據有很大的挑戰。

帶寬限制進一步增加了在邊緣設備上部署GenAI的難度。邊緣設備通常使用低功耗內存接口，如低功耗雙倍數據速率 (LPDDR) ，與數據中心使用的高帶寬內存（HBM）相比，其提供的帶寬較低，可能會限制邊緣設備的數據處理能力，從而影響GenAI模型的性能。在內存和處理單元之間高效地傳輸數據對于發揮GenAI模型性能至關重要，有限的帶寬可能會導致處理速度變慢和效率降低。

功耗是另一個關鍵問題。由于計算需求高，GenAI模型可能會產生較大的功耗，對于邊緣設備來說這是一個關鍵問題，特別是那些依賴電池供電的設備，如智能手機、物聯網設備和自動駕駛汽車。高功耗還會增加散熱，需要有效的熱管理解決方案。在緊湊的邊緣設備中管理散熱也具有挑戰性，并可能影響其使用壽命和性能。

硬件限制也是挑戰之一。與數據中心服務器相比，邊緣設備的處理能力通常有限。選擇能夠在保持能效和性能的同時，滿足GenAI需求的合適處理器至關重要。邊緣設備的內存和存儲容量有限，可能會限制可部署的GenAI模型的大小和復雜性。這就需要開發優化的模型，使其能夠在這些限制內運行而不會影響性能。

模型優化可以幫助解決這些挑戰。模型量化（降低模型參數的精度）和剪枝（去除冗余參數）等技術可以幫助降低GenAI模型的計算和內存需求。但是，這些技術需要謹慎應用，以保持模型的準確性和功能。開發專門針對邊緣部署優化的模型有助于解決其中一些挑戰，涉及創建輕量級的GenAI模型，這些模型可以在邊緣設備上高效運行而不會犧牲性能。

軟件和工具鏈支持也很關鍵。在邊緣設備上有效地部署GenAI需要強大的軟件工具和框架來支持模型優化、部署和管理，還需確保軟件資源與邊緣硬件的兼容性，并提供高效的開發流程。對于實時應用來說，優化推理過程需減少延遲并提高效率，涉及對模型進行微調，并利用硬件加速器來實現最佳性能。

還必須解決安全和隱私問題——確保在邊緣設備上處理的數據的安全性至關重要，強大的加密和安全的數據處理實踐有助于保護敏感信息。在邊緣設備本地處理數據，可以盡量減少將敏感數據傳輸到云端，來幫助解決隱私問題。但是，也要確保GenAI模型本身不會意外泄露敏感信息。

通過仔細選擇硬件、優化模型以及利用先進的軟件工具來應對這些挑戰，在邊緣設備上部署GenAI變得更加可行和有效，使廣泛的應用能夠從GenAI的能力中受益，同時保持邊緣計算的優勢。

邊緣設備部署GenAI的處理器選擇

如上所述，選擇合適的嵌入式處理器有助于克服邊緣部署GenAI的挑戰，必須在計算能力、能源效率和負載靈活性之間取得平衡。

GPU和CPU具有靈活性和可編程性，因此適用于各種AI應用。但是，它們可能不是最節能的選擇。特別是會消耗大量電力的GPU，對電池供電的設備來說并不理想。ASIC 提供了針對特定任務優化的解決方案，具有高效率和高性能。然而，其缺乏靈活性，使其很難適配不斷發展的AI模型和工作負載。

神經處理單元 (NPU) 在靈活性和效率之間取得了平衡。包括新思科技ARC NPX NPU IP在內的NPU專為AI工作負載而設計，為矩陣乘法和張量運算等任務提供優化的性能，以及可編程且低功耗的解決方案，使其適用于邊緣設備。

圖 2：邊緣AI/ML的 CPU、GPU、NPU和ASIC比較，NPU提供最高效的處理能力以及可編程性和易用性。

例如，在NPU上運行Stable Diffusion這樣的GenAI模型，功耗僅為2瓦，而在GPU上運行則需要200瓦，功耗顯著降低。NPU還支持混合精度算法和內存帶寬優化等高級功能，能夠更好地滿足GenAI模型的計算需求。

結論

向Transformer和GenAI的轉變代表了AI和ML領域的重大進步。這些模型提供了卓越的性能和多功能性，支持從自然語言處理到圖像生成等廣泛的應用。在邊緣設備上部署GenAI可以釋放無限可能，提供低延遲、安全且可靠的AI能力。

然而，要充分發揮邊緣GenAI的潛力，必須解決計算復雜性、數據需求、帶寬限制和功耗等挑戰。選擇合適的處理器（如NPU）可以提供一個平衡的解決方案，為邊緣應用提供必要的性能和效率。

隨著AI技術的不斷發展，邊緣設備集成GenAI將在推動創新和擴大智能技術覆蓋范圍方面發揮關鍵作用。通過應對這些挑戰并利用先進處理器的優勢，我們可以讓AI無縫融入日常生活。