多模態傳感信號AI處理為智算中心和邊緣智能開啟感知智能的新篇章

全球領先的邊緣AI和智能音頻專家XMOS宣布：公司已推出端側多模態AI傳感器融合接口（AI Sensor Hub），該接口利用XMOS的xcore軟件定義系統級芯片（SoC）上靈活的接口和高效的算力，在邊緣對來自不同接口的包括音頻、圖像、視覺和其他多種傳感器輸出的多模態信號進行融合以及AI計算，既可支持本地設備獨立地對各種傳感器信號進行AI推理計算，也可作為智算系統的輸入前端并執行相應的功能。該方案可立即實施的應用包括大模型、云服務和專用網絡及系統的智能接入，以及智能視頻門鈴、視頻監控設備、多模態傳感器集中器、車牌識別等邊緣智能設備。

與那些裝備精良、耗費靡多的云服務和計算機系統不同，XMOS利用其集AI、DSP、控制和I/O于一體的xcore軟件定義SoC，結合諸如深度神經網絡（DNN）等模型，可以超小型化和低功耗的單芯片就實現了這些多種傳感信號的多模態AI處理。XMOS的多模態技術已經取得了突破性進展，合作伙伴通過使用xcore這樣的嵌入式SoC不僅運行了DNN模型，還開發了實現人臉檢測、特征提取、身份驗證、安防報警、車牌識別和圖像分類等功能的系統解決方案，而且還根據平臺需求開發了實時數據預處理智能前端。

xcore.ai之所以能夠在各種AI應用中成為一種可以提供低延遲和高度確定性的AI功能的處理器，得益于獨特的多線程微架構。每個 xcore.ai 具有 16 個邏輯內核，分屬兩個多線程處理器功能塊，而每個功能塊配備 512kB 的 SRAM 和一個提供整數和浮點 ALU 的矢量單元。強大的處理器間通信基礎設施為每個集成處理器和多個 xcore.ai SoC 之間提供高速通信，不僅可以實現最終的可擴展性，而且還實現了并行多線程、多核矩陣計算。

系統架構

XMOS解決方案的優勢

可以無需聯網，持續工作，始終可用

無需外部存儲，完成實時圖像等信號的處理

絕對保護隱私，可設置為離線解決方案，不將數據傳遞到云端

邊緣AI提供低延遲響應

將所有代碼和模式的大小縮減到僅有0.6MB

XMOS xcore.ai處理器如何支持邊緣AI?

可開發和訓練你自己的模型

使用XMOS的“AI工具”進行轉換

生成最優化的、矢量化的xcore代碼

可同時運行多個模型

用C或C++語言定義您自己的應用程序

對于AI芯片的開發來說，友好的開發環境極為重要。為了幫助設計師更好地開發各種邊緣AI應用，XMOS把所有計算資源及其調度管理都放在同一個易用和強大的開發環境中。這為開發人員提供了完善的技術支持、工具支持和其他支持。XMOS提供完善的開發工具鏈與豐富的軟件庫，如免版稅的軟件、強大的XTC開發工具套件，以及專門設計的評估平臺。通過使用這些工具，顯著降低了開發難度，幫助工程師快速將產品概念轉化為實際應用，并縮短了產品上市時間。

“XMOS的多模態AI模型處理功能可在最具挑戰性的應用場景中，實現實時的、持續工作的AI應用，同時保護個人數據和隱私，” XMOS亞太區市場和銷售負責人牟濤說道。“當然，該方案也可以根據需要，靈活地作為大模型、云和網絡的智能輸入接口，對傳感信號進行數據格式轉換提供給下一級平臺處理，或者進行本地AI處理后只將關鍵信息提供給平臺。同時，XMOS提供的集成開發環境和第三方軟件可以很方便地開發出商用的邊緣AI解決方案”

與XMOS面對面交流

第23屆廣州國際專業燈光、音響展覽會（以下簡稱“廣州展”）將于5月27 – 30日在中國進出口商品交易會展館A、B、D區盛大啟幕！XMOS作為全球領先的數字音頻及多媒體AI處理芯片及解決方案提供商，將攜其分銷商曉龍國際、威健實業和瑞致科技，以及增值分銷及設計公司飛騰云和其它方案公司共同參加本屆廣州展，屆時將展出先進音頻接口、AI降噪及空間音頻、DSP音效、Hi-Fi解碼器參考設計和麥克風陣列參考設計等技術和方案。歡迎蒞臨XMOS展位：5.2A66。

如希望了解XMOS全球領先的音頻解決方案、邊緣計算解決方案、軟件定義SoC及其在其他垂直行業的應用，或與我們合作共同開發面向全球的創新性產品，以及預約在廣州展期間的見面交流，請發送郵件到：[email protected]

關于XMOS

作為一家匠心獨到的半導體科技企業，XMOS一直站在智能物聯網技術的前沿，致力于滿足市場對靈活計算不斷演進的需求。XMOS開發和提供了集AI、控制、DSP和IO于一顆芯片的平臺化SoC，讓各行各業的客戶能夠僅用軟件編程的方式，自己就能定義和實現高性能、高確定性和智能化的軟件定義SoC，使客戶和伙伴的工程師能夠充分地發揮其創造性，同時其解決方案還能夠更完美地適用于各種場景，包括消費電子、工業和汽車等重要支柱性領域。

審核編輯 黃宇