雖然開發人員繼續開發模擬人腦的AI，但AI離真正能夠獨立思考的設備還有很長的路要走。

編譯來源：semiengineering

人工智能正在許多新應用程序中部署，從提高性能、降低各種終端設備的功耗到發現數據移動中的異常情況。 雖然大多數人都熟悉使用機器學習和深度學習來區分貓和狗，但新興的應用程序展示了如何以不同的方式使用這種能力。例如，數據優先級和分區可用于優化芯片的功率和性能，而無需人工干預。并且可以在整個設計和制造流程中使用各種類型的人工智能來捕捉人類無法捕捉到的錯誤或缺陷。但是所有這些新組件和功能也使設計芯片更加復雜，因為概率取代了有限的答案并且變量增加了。

Rambus產品管理高級總監 Frank Ferro 表示：“當你將 AI 移到邊緣時，邊緣開始看起來像數據中心。基帶執行許多相同的處理功能。在內存要求方面，我們看到很多 5G 客戶的帶寬不足，并希望在網絡邊緣使用 HBM。但是，網絡中有更多的可配置性，您可以管理工作負載，而不是去云端。平衡這些工作量非常重要。” 盡管如此，正如 AI 芯片設計師所了解的那樣，AI 世界中沒有什么是簡單的。“在 AI 設計中，有許多問題需要回答，” Synopsys戰略營銷經理 Ron Lowman 說. “在人工智能設計中，有許多問題需要回答。

你想處理什么算法？你的功率預算是多少？你想達到什么樣的精度？在圖像識別應用程序中，你可能不需要32位浮點處理器。低成本的16位圖像芯片可能很好。如果你只需要92%的精度，低成本芯片可能會降低你的總體預算。如果你知道你想實現什么，那么采用 IP 方法將有很多優勢。您可以選擇正確的 AI 處理器、正確類型的內存（SRAM 或 DDR）I/O 和安全性。選擇正確的 IP 很重要，但進行建模和基準測試也將幫助開發人員優化 AI 解決方案并減少錯誤。” 對于任何高級芯片，設計挑戰都可能迅速增加，更多的變量需要更好的模型、更多的工藝步驟和更多的時間。弗勞恩霍夫 IIS設計方法負責人 Roland Jancke 說：“你從一個非常復雜的芯片將要執行的概念開始，然后你會看到對芯片的不同部分是否有不同的要求。在過去，你只會設計一些東西，開發它，然后把它錄下來，看看它是否有效。那已經不可行了。現在需要一個集成的流程。

從一開始，就需要考慮可能的故障模式。甚至可能需要從一開始就使用有限元方法進行仿真，這在過去通常沒有做過。過去，從非常粗糙的模型開始，并且想要集成的功能。因此如果你有一個 MATLAB 模型，那并不能反映芯片不同部分之間的物理交互。你需要在開發過程的早期整合不同的模型——物理模型、功能模型——看看你的概念是否足夠實用。” 隨著移動部件的增多，這變得更加困難，特別是當這些塊針對特定數據類型和用例進行定制或半定制時。但好處是，更好的算法和計算元素還允許在更小的空間內處理更多數據，并且與過去的實現相比，功耗要低得多。反過來，這使得處理可以更接近數據源，在那里它可以用來確定哪些數據是重要的，在任何特定時間點應該在哪里處理這些數據，以及可以丟棄哪些數據。

?一個轉折點

大多數這些變化本身是漸進式和漸進式的，但總體而言，它們允許在邊緣進行推斷和訓練，在邊緣，一系列異構體系結構開始出現。。通過利用各種類型的神經網絡，可以為特定目的加快處理速度，為不同的應用提供不同的精度和精度。

復雜的 AI 流程可以分解為 AI 堆棧?

來源：麥肯錫公司

對于任何執行復雜算法和計算的 AI 芯片，都有幾個關鍵要求。首先，他們需要能夠并行處理數據，使用多個計算元素和寬數據路徑來減少延遲。在許多情況下，這還涉及一些與計算元素非常接近的局部內存，以及高帶寬內存。其次，這些設備需要針對尺寸、成本和功率預算進行優化，這通常需要根據預計工作負載調整大小的高吞吐量架構。反過來，這需要一些權衡，需要針對特定用例進行平衡。第三，這些架構通常涉及混合處理器來管理復雜的數據流和電源管理方案，其中可能包括 CPU、GPU、FPGA、eFPGA、DSP、NPU、TPU 和 IPU。 “在設計中，開發人員需要考慮培訓、推理、低功耗、連接性和安全性的要求，”英飛凌物聯網、無線和計算業務部首席軟件產品營銷經理 Danny Watson 說，“種方法可以實現需要本地快速決策的新用例，同時滿足當今物聯網產品的功耗預算。” Watson 指出，關鍵是收集正確的數據，以便應用程序可以利用這些數據，從而使他們能夠利用技術改進。

?無處不在的人工智能

對于芯片公司來說，這都是一件大事。根據 Precedence Research 的最新報告，整個人工智能市場將從 2021 年的 870 億美元增長到 2030 年的超過 1.6 萬億美元。這包括數據中心和邊緣設備，但增長速度非常快。事實上，人工智能是當今如此熱門的領域，幾乎所有主要科技公司都在投資或制造人工智能芯片。它們包括蘋果、AMD、Arm、百度、谷歌、Graphcore、華為、IBM、英特爾、Meta、NVIDIA、高通、三星和臺積電。 這個市場五年前幾乎不存在，十年前大多數公司都在考慮云計算和高速網關。但是隨著帶有更多傳感器的新設備的推出——無論是汽車、智能手機，甚至是內置某種程度智能的電器，正在生成如此多的數據，因此需要圍繞數據的輸入、處理、移動和存儲設計架構。 “在人工智能應用中，正在部署各種技術，”Arteris IP高級技術營銷經理 Paul Graykowski 說。“最近的一位客戶開發了一種復雜的多通道 ADAS SoC，它可以處理四個傳感器數據通道，每個通道都有自己的專用計算和 AI 引擎來處理數據。同樣，新的 AI 芯片架構也會不斷變化，以滿足新應用的需求。”

?從大到小

獲得結果的時間通常與芯片間的距離成正比，更短的距離意味著更好的性能和更低的功耗。因此，盡管超大規模數據中心仍需要處理海量數據集，但芯片行業正齊心協力將更多處理轉移到下游，無論是機器學習、深度學習還是其他人工智能變體。 Cerebras 是深度學習領域的典型代表，在這個領域，速度至關重要，結果的準確性緊隨其后。Cerebras 產品管理總監 Natalia Vassilieva 報告說，葛蘭素史克公司通過在其表觀基因組語言模型中使用晶片級設備，提高了藥物發現效率。在一種情況下，葛蘭素史克能夠將大型化合物庫基于深度神經網絡的虛擬篩選時間從在GPU集群上運行的183天減少到在大腦設備上運行的3.5天。該“芯片”擁有超過 2.6 萬億個晶體管、85萬?個 AI 優化內核、40 GB 片上內存和每秒 20 PB 的內存帶寬（1 PB 等于 1,024 TB）。它還消耗 23 kW 的功率，并使用內部閉環、直接對芯片的液體冷卻。 Graphcore采用了不同的方法，引入了智能處理單元（IPU）技術。通過使用多指令、多數據 (MIMD) 并行性和本地分布式內存，IPU 可以提供 22.4 PFLOPS（每秒 1 petaflop 等于每秒 1000 teraflop），而只需要空氣冷卻。此外，IPU 在單精度下的理論算術吞吐量高達 31.1 TFLOPS。它比 A100 的 624 TFLOPS 快得多。在 Twitter 進行的一項測試中，IPU 的性能優于 GPU。

人工智能也可以變小。支持人工智能的智能事物，也稱為物聯網 (AIoT)/嵌入式人工智能，正在蓬勃發展。根據評估報告，邊緣人工智能硬件將從 2020 年的 70 億美元增長到 2030 年的 390 億美元。人工智能為邊緣計算、網絡端點和移動設備增加了智能。隨著物聯網，越來越多的應用程序正在使用嵌入式人工智能。其中包括可穿戴設備、智能家居和智能遙控器，其中包括一些使用語音識別的設備。同樣依賴嵌入式 AI 的還有 AR/VR 游戲、智能汽車面板、物體和運動檢測、家庭保健、抄表、智能工廠、智能城市、工業自動化和智能建筑，包括控制和能源管理。

Cadence?Tensilica AI 產品的產品營銷總監 Suhas Mitra 表示：“AI 能夠在本地更快地處理數據，從而使物聯網計算更加高效。這包括提供更好的響應時間和更小的延遲，因為生成的數據也在邊緣設備上即時處理。執行人工智能邊緣處理將更加可靠，因為它可能并不總是能夠通過實時無線或有線連接不斷向云發送大量數據。它還減輕了存儲和處理大量數據的壓力云中的大量數據，可能包含個人和敏感信息。關于向云發送用戶信息的隱私問題可能會導致不經同意就無法上傳數據。

做更多的邊緣計算可以延長電池壽命，因為當使用人工智能方法時，一些計算在邊緣平臺上需要更少的周期。因此，消耗的能量更少，散熱也更低。” 在進行推理之前，所有的 AI 芯片都需要經過訓練。雖然數據集通常非常大，需要大型數據中心進行培訓，但可以在個人計算機或開發系統級別進行進一步培訓。開發人員將經歷一個艱苦的過程，以確保實現最佳推理算法。許多 AI 芯片制造商為其客戶提供培訓合作伙伴名單。即使有顧問的幫助，開發人員仍然需要支付咨詢時間并完成培訓工作。 一種更簡單的方法是使用預訓練模型來實現，例如 Flex Logix 的 EasyVision 平臺。通過預先培訓的X1M模塊芯片，開發人員可以繞過培訓過程，直接進行產品開發和測試。” Flex Logix推理營銷高級總監 Sam Fuller 說。“經過預訓練的解決方案已經過現場測試和驗證，比開發人員的試錯法效率更高。

通常，專用預訓練芯片比常規CPU效率更高。” ?

想得更小

將 AI 包含在更小的設備中的可能性也在增加，這要歸功于由 tinyML 基金會建立的微型機器學習，以支持在 mW 范圍內運行的嵌入式設備機器學習和數據分析。其中許多設備可以在視覺、音頻、慣性測量單元（IMU）和生物醫學中執行ML。此外，它還提供了一個名為 ScaleDown 的開源神經網絡優化框架，以簡化將 ML 模型部署到 tinyML 設備的過程。 TinyML 可以在任何可編程 AI 芯片上運行，包括 Arduino 板。Arduino 的使命是為愛好者、學生和教育工作者提供電子設備和軟件。它經過多年的發展，基于 Arduino 的解決方案已用于當今的許多工業領域。但是結合 tinyML 和 Arduino 硬件可能會提供非常低成本的嵌入式 AI 解決方案，典型的硬件成本不到 100 美元。 在這些微型設備中設計人工智能的挑戰之一是功率預算。Synaptics 已經接受了開發低功耗預算 AI 和傳感器芯片的挑戰。

據領導 Synaptics 低功耗 AI 產品線的高級產品經理 Ananda Roy 表示該公司的Katana AI SoC能夠進行人員檢測/計數和跌倒檢測，并可以在24 MHz下以30 mW或90 MHz的更高功率運行主動AI視覺推斷。深度睡眠模式的功耗小于100μW。總的來說，它比其他AI芯片更節能。為了實現高效的電源管理，神經處理單元 (NPU) 依賴于具有多個存儲體的存儲架構，這些存儲體可以在不使用時設置為超低功耗模式，以及可擴展的工作電壓和處理器速度，就像踩在當你需要你的車開得更快時加油。 FlexSense 是一款用于 AI 應用的傳感器芯片，其設計結合了低功耗 RISC CPU 和模擬硬件前端，該前端經過高度優化，可有效轉換電感和電容傳感器輸入。與車載霍爾效應和溫度傳感器一起，它包括四個傳感器，用于檢測觸摸、力、接近度和溫度等輸入，所有這些都在一個小封裝中（1.62 x 1.62 mm），在睡眠模式下僅使用240μW或10μW。

低功耗傳感器采用小封裝 (1.62 x 1.62 mm) 來源：Synaptics

?安全問題和改進

在安全方面，人工智能既是一個潛在的漏洞，也是一個潛在的解決方案。隨著人工智能芯片針對特定用例進行了優化，算法也在不斷更新，業界的經驗教訓會減少，攻擊面也會擴大。但人工智能也可用于識別數據流量中的異常模式，發出警報或自動關閉受影響的電路，直到可以進行更多分析。 恩智浦產品經理 Srikanth Jagannathan 指出了電池驅動設備的功能、芯片安全性和低功耗的正確組合的重要性。i.MX AI芯片結合了Arm的低功耗Cortex-M33、Arm TrustZone和NXP的片上EdgeLock、嵌入式ML和多i/O。功耗約為2.5瓦。然而，它能夠提供1個TOPS的性能（在 1 GHz 下進行 512 次并行乘法累加運算）。

i.MX AI 芯片將 Arm 的低功耗 Cortex-M33 與 Arm TrustZone?和?

NXP 的片上 EdgeLock、嵌入式 ML 和多個 I/O 相結合 ?來源：恩智浦 西門子 EDA 嵌入式軟件部門的高級產品經理 Kathy Tufto指出需要建立軟件信任鏈，但這從硬件開始。目標是防止任何未經過身份驗證和驗證的代碼執行。在她確定的解決方案中：

靜態數據：安全的信任引導根和信任訪問控制的軟件鏈。

Data at Motion：安全協議和加密加速。

使用中的數據：通過內存管理單元 (MMU) 進行硬件強制分離。

“設備制造商還必須記住，在部署設備后通常會出現安全問題，這意味著他們需要以在部署后可以更新的方式設計設備，”Tufto 說。“包括 FDA 在內的監管機構堅持在發布前和發布后管理 CVE 的策略，以滿足醫療設備的安全要求。常見漏洞和暴露 (CVE) 監控是針對設備中的模塊評估新 CVE 的過程，允許設備制造商在發現新 CVE 時確定適當的操作。

雖然制造商可以自己執行這些活動，但如果您使用包含安全漏洞監控和補丁的商業軟件解決方案（例如 Sokol Flex OS、Sokol Omni OS 和 Nucleus RTOS），它會更簡單、更容易。” ?

結論

人工智能芯片將繼續發展和擴展，人工智能將以多種方式在這些芯片內部和被這些芯片使用。這將使設計這些芯片變得更加困難，并且從功能和安全的角度來看，也將更難確保它們在整個生命周期中都能按預期工作。需要時間才能看到哪些好處大于風險。 雖然開發人員繼續開發模擬人腦的人工智能，但他們離真正能夠獨立思考的設備還有很長的路要走。然而，有許多方法可以針對特定用例和應用優化這些系統，并且并非所有這些方法都需要人工干預。隨著時間的推移，這可能意味著更多的人工智能在更多的地方做更多的事情，這將帶來涉及功率、性能和安全性的設計挑戰，這些挑戰都難以規劃、識別和最終解決。

編輯：黃飛

?