眼睛是大自然進(jìn)化杰作的結(jié)果。從感光視網(wǎng)膜到攜帶信息的視神經(jīng)，再到分析神經(jīng)系統(tǒng)——自然視覺是一項(xiàng)高度復(fù)雜的數(shù)據(jù)處理活動(dòng)，它使用低功耗神經(jīng)網(wǎng)絡(luò)。對(duì)所見事物的智能抽象使人類和動(dòng)物能夠在幾分之一秒內(nèi)得出結(jié)論，眼睛捕捉到的可見光與他們的生活有什么相關(guān)性。這種自然智能的杰作用了數(shù)百萬年的時(shí)間來進(jìn)化。人工智能 (AI) 系統(tǒng)的開發(fā)人員需要更快地實(shí)現(xiàn)這一壯舉。

因此，人工智能加速應(yīng)用程序的開發(fā)人員正在轉(zhuǎn)向緊湊型和預(yù)配置的嵌入式視覺套件，這些套件以節(jié)能的方式結(jié)合了經(jīng)過驗(yàn)證的人工智能硬件和軟件。目前，人們對(duì)專用邊緣計(jì)算解決方案特別感興趣。對(duì)于 AI 加速系統(tǒng)，這是根據(jù)圖像信息實(shí)時(shí)做出明智決策的神經(jīng)痛點(diǎn)。通過基于云的分析繞道而行需要更長(zhǎng)的時(shí)間，并且取決于持續(xù)的網(wǎng)絡(luò)可用性。而在邊緣，您始終處于動(dòng)作現(xiàn)場(chǎng)，這使得在幾分之一秒內(nèi)自動(dòng)獲取和評(píng)估視覺圖像數(shù)據(jù)成為可能。

邊緣解決方案必須穩(wěn)健可靠

對(duì)于這種視覺邊緣計(jì)算系統(tǒng)來說，強(qiáng)大而可靠的硬件是絕對(duì)必要的，因?yàn)閿?shù)據(jù)無法在受保護(hù)的空調(diào)環(huán)境中處理，就像云計(jì)算一樣。無論是部署在戶外還是在野外，在車輛上旅行還是坐在制造車間，視覺邊緣計(jì)算系統(tǒng)都必須具有彈性。

對(duì) AI 視覺的需求來自視覺應(yīng)用，例如農(nóng)業(yè)中的成熟水果檢測(cè)、制造業(yè)中的自動(dòng)化產(chǎn)品檢測(cè)、樓宇自動(dòng)化中的訪問控制或銷售點(diǎn)零售購物車中的產(chǎn)品識(shí)別。基于邊緣的實(shí)時(shí)分析優(yōu)于人工檢查，因?yàn)樗恐?7 天、每天 24 小時(shí)工作。這些優(yōu)勢(shì)對(duì)于惡劣環(huán)境中的工業(yè)操作尤為重要。以監(jiān)控風(fēng)力渦輪機(jī)為例，或?qū)ιa(chǎn)過程進(jìn)行安全相關(guān)的視頻監(jiān)控。麥肯錫的一項(xiàng)研究發(fā)現(xiàn)，人工智能系統(tǒng)還可以通過預(yù)測(cè)性維護(hù)將工廠利用率和生產(chǎn)力提高多達(dá) 20%。帶有自動(dòng)缺陷檢測(cè)的視覺質(zhì)量監(jiān)控甚至可以將生產(chǎn)率提高多達(dá) 50%。

所有這些應(yīng)用程序的共同點(diǎn)是，它們必須在提供的圖像、視頻或機(jī)器數(shù)據(jù)中找到模式以進(jìn)行決策。更重要的是，這些應(yīng)用程序必須能夠識(shí)別模式或?qū)ο?，即使它們與模型 100% 不匹配。例如，必須正確識(shí)別交通標(biāo)志，無論它是從哪個(gè)角度記錄的，或者是否有一半被雪或泥土覆蓋。這需要挖掘大量數(shù)據(jù)。

標(biāo)準(zhǔn) CPU 不適用于此類任務(wù)，因?yàn)樗鼈冡槍?duì)具有最高數(shù)學(xué)正確性的一次計(jì)算過程進(jìn)行了優(yōu)化。因此需要另一種計(jì)算方法。人工智能需要人工神經(jīng)網(wǎng)絡(luò)來模仿大腦的直觀工作方式。與必須準(zhǔn)確計(jì)算所有內(nèi)容和每個(gè)點(diǎn)以做出決定相比，這使得識(shí)別和決策制定速度更快。

NPU——嵌入式視覺系統(tǒng)的核心

神經(jīng)形態(tài)處理器或神經(jīng)處理單元 (NPU) 對(duì)于為邊緣的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)提供這種計(jì)算性能是必不可少的。NPU 擅長(zhǎng)分析圖像和模式，使其成為 AI 加速嵌入式視覺系統(tǒng)的中央計(jì)算單元。受大腦神經(jīng)網(wǎng)絡(luò)架構(gòu)的啟發(fā)，神經(jīng)形態(tài)處理器是事件驅(qū)動(dòng)的，只是偶爾需要電源。這意味著 NPU 僅消耗幾瓦，即使對(duì)于最高的計(jì)算和圖形任務(wù)也是如此。

NPU 是高度專業(yè)化的計(jì)算核心，經(jīng)過優(yōu)化以執(zhí)行機(jī)器學(xué)習(xí)算法。它們不僅可以處理高度并行的工作負(fù)載，還可以極快地計(jì)算重復(fù)性任務(wù)。這對(duì)于卷積神經(jīng)網(wǎng)絡(luò)很重要，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)點(diǎn)必須在數(shù)千個(gè)范圍內(nèi)進(jìn)行折疊。例如：在全高清圖像中，大約需要處理 200 萬像素。這需要每秒處理許多操作 (OPS)，而 NPU 需要實(shí)現(xiàn)每秒數(shù)萬億次操作 (TOPS) 的性能才能滿足邊緣計(jì)算要求。但是，即使是極其強(qiáng)大的 CPU 也無法提供這種性能，這怎么可能呢？在這里，另一個(gè)區(qū)別點(diǎn)開始發(fā)揮作用：?jiǎn)蝹€(gè) AI 指令不像 x86 或 ARM CPU 等標(biāo)準(zhǔn)應(yīng)用處理器的指令集那么復(fù)雜。因此，每個(gè)計(jì)算步驟消耗的資源沒有 32 位或 64 位系統(tǒng)那么多。但最終，工程師在他們的應(yīng)用中需要兩者。

為邊緣定制的入門套裝

這就是為什么像 NXP 的 i.MX 8M Plus 這樣的處理器將這樣的 NPU 與四個(gè)標(biāo)準(zhǔn) Arm Cortex-A53 內(nèi)核和一個(gè) Arm Cortex-M7 控制器集成在一起，以構(gòu)建適合機(jī)器學(xué)習(xí)并可以高效執(zhí)行 AI 算法的應(yīng)用處理器。但在視覺應(yīng)用中，只有當(dāng)圖像以必要的質(zhì)量實(shí)時(shí)交付時(shí)，所有這些才有意義。因此，工程師還需要一個(gè)圖像信號(hào)處理器 (ISP)，以便在采集過程中對(duì)圖像和視頻進(jìn)行預(yù)處理。這種預(yù)處理質(zhì)量越高，NPU 中的后處理就越準(zhǔn)確。因此，高質(zhì)量的 ISP 不僅適用于高性能工業(yè)圖像處理；在任何可以使用圖像處理算法來產(chǎn)生更好的視覺效果的地方，這都是一個(gè)福音。

人工智能加速的眼睛

Another important point is how vision data are received. One channel for vision data communication is MIPI CSI-2.0. If this interface is also pre-integrated in the processor, no additional converter modules are required. This not only simplifies system design but also minimizes the physical footprint. A small size combined with low power consumption and minimal heat dissipation are essential requirements for AI based vision at the edge for applications such as battery powered autonomous vehicles in logistics and farming.

同時(shí)，應(yīng)用程序還應(yīng)支持連接相機(jī)的不同通信標(biāo)準(zhǔn)，例如 USB 3 或 GigE 視覺，這些標(biāo)準(zhǔn)在機(jī)器人和質(zhì)量檢測(cè)的工業(yè)應(yīng)用中很常見。特別是 GigE 視覺允許相機(jī)和 NPU 之間的距離更長(zhǎng)。例如，這對(duì)于公共汽車和火車中的視頻監(jiān)控應(yīng)用至關(guān)重要。

專為人機(jī)交互而設(shè)計(jì)

但是基于 NPU 的嵌入式視覺系統(tǒng)的應(yīng)用范圍遠(yuǎn)遠(yuǎn)超出了人或物體的識(shí)別。例如，手勢(shì)和情感識(shí)別與自然語言處理相結(jié)合，將人與機(jī)器之間的交互通信應(yīng)用提升到了一個(gè)新的水平。超短的響應(yīng)時(shí)間和精確的本地化有助于優(yōu)化工業(yè)制造中的機(jī)器人產(chǎn)品組裝或倉庫物流。并且配備了高安全標(biāo)準(zhǔn)，甚至可以在客戶服務(wù)或醫(yī)療保健等敏感領(lǐng)域找到應(yīng)用。

構(gòu)建塊靈活性

鑒于可能的嵌入式視覺應(yīng)用的多樣性，不言而喻，該領(lǐng)域的技術(shù)平臺(tái)必須允許開發(fā)定制應(yīng)用。一個(gè)通用的解決方案將不適合。因此，開發(fā)人員需要一組預(yù)配置的構(gòu)建塊，他們可以輕松地適應(yīng)他們的個(gè)人需求。這些不僅應(yīng)包括硬件組件，還應(yīng)包括軟件支持。

在硬件方面，采用模塊化計(jì)算機(jī)的模塊化方法是一種廣泛使用且高效的設(shè)計(jì)原則。計(jì)算機(jī)模塊將所有必需的組件集成在一個(gè)應(yīng)用就緒的構(gòu)建塊中：具有集成 NPU、ISP 和 MIPI CSI-2.0 支持的 SoC，例如 NXP 的 i.MX 8M Plus、RAM 和用于 USB 等附加接口的通用控制器，以太網(wǎng)和 MMC 在一個(gè)具有可擴(kuò)展性能的標(biāo)準(zhǔn)化模塊上。整個(gè)構(gòu)建塊被插入到特定應(yīng)用的載板上，該載板只執(zhí)行所需的外部接口，并且可以很容易地設(shè)計(jì)成適合所需的物理尺寸和堅(jiān)固性。

定制視覺

如果這些模塊不僅帶有標(biāo)準(zhǔn)的 BSP，而且還帶有對(duì)中間件和應(yīng)用程序級(jí)的全面軟件支持，那么這些模塊的設(shè)計(jì)是最容易的。為了獲得最大的靈活性，開發(fā)人員還需要預(yù)配置工具，例如可用于 MIPI CSI-2.0 以及 USB 3 或 GigE 等其他工業(yè)相機(jī)標(biāo)準(zhǔn)的視覺相機(jī) SDK。軟件解決方案應(yīng)集成推理引擎和庫，例如 Arm 神經(jīng)網(wǎng)絡(luò) (NN) 和基于開源的 TensorFlow Lite，以最有效地提供所需的 AI 發(fā)現(xiàn)。恩智浦 eIQ 機(jī)器學(xué)習(xí)環(huán)境等軟件開發(fā)平臺(tái)為開發(fā)人員提供了適用于恩智浦微處理器和微控制器的專用庫和開發(fā)工具。

憑借其 AI 入門套件（參見圖 1），康佳特制作了一個(gè)具有集成軟件支持的模塊，可用于加速 NXP 處理器的實(shí)施。

點(diǎn)擊查看完整大小的圖片

圖 1：congatec 的 AI 加速嵌入式視覺入門套件集成了 AI 眼睛的關(guān)鍵組件：作為眼睛的 Basler dart 相機(jī)、帶有 2x MIPI CSI 作為視神經(jīng)的 SMARC 2.1 載板以及作為視神經(jīng)的 SMARC 2.1 模塊大腦。（來源：康佳特）

該套件的核心是一個(gè)信用卡大小的 SMARC 2.1 計(jì)算機(jī)模塊 (COM)（圖 2）。該模塊基于 i.MX 8M Plus 處理器，可讓開發(fā)人員快速、安全地將 AI 視覺引入其邊緣應(yīng)用程序。

點(diǎn)擊查看完整大小的圖片

圖 2：AI 視覺背后的大腦：conga-SMX8-Plus SMARC 2.1 模塊將神經(jīng)形態(tài)智能帶到了邊緣，TDP 僅為 6 瓦。（來源：康佳特）

該模塊適用于 -40 至 +85°C 溫度范圍內(nèi)的工業(yè)應(yīng)用，工作功耗低，僅為 2 至 6 瓦，并帶有被動(dòng)冷卻功能。這使其非常適合各種戶外和移動(dòng)車輛應(yīng)用。

結(jié)論

嵌入式視覺的集成對(duì)于人工智能加速系統(tǒng)的成功至關(guān)重要——無論它們部署在自動(dòng)駕駛汽車、視頻監(jiān)控?cái)z像頭還是協(xié)作機(jī)器人中。開發(fā)人員可以使用預(yù)配置的嵌入式視覺構(gòu)建模塊（例如康佳特的 AI 入門套件）更輕松、更快速地創(chuàng)建自定義解決方案。康佳特與 Basler 合作開發(fā)的這個(gè)構(gòu)建模塊平臺(tái)將 NXP i.MX 8 Plus 處理器與其集成的神經(jīng)處理單元 (NPU) 相結(jié)合。

審核編輯 黃昊宇