當出現新的行業流行語或短語時，像我們這樣寫這個話題的人們所面臨的挑戰是弄清楚一家公司的確切含義，尤其是當該公司使用該短語滿足其自身的營銷目標時。最新的一種是邊緣人工智能或邊緣AI。

由于物聯網（IoT）的激增以及能夠添加相當數量的計算能力或處理能力以在這些設備中實現智能的能力，因此“邊緣”可能相當寬泛，并且可能意味著“網關”到“端點”。因此，我們決定確定業界在邊緣與端點的定義上是否達成共識，誰愿意添加邊緣AI，以及可以為邊緣添加多少“智能”。

首先，邊緣和端點之間有什么區別？好吧，這取決于您的觀點-云中沒有的任何事物都可以定義為邊緣。

定義：邊緣可以是很多東西，端點實際上是端點

最清晰的定義可能來自英飛凌技術公司概念和系統工程的高級負責人沃爾夫岡·富特納（Wolfgang Furtner）。他說：““邊緣AI”一詞從“邊緣”本身繼承了模糊性。有些人將汽車稱為邊緣設備，而其他人則將該術語用于具有低功率無線連接的小型能量收集傳感器。邊緣以相對方式使用，并且將局部性與中心性區分開。但是確實，有必要區分您在邊緣發現的各種事物。有時您會聽到諸如使用“邊緣”或“葉節點”之類的術語。Edge AI可以包括很多東西，包括汽車中的計算服務器。”

但是他說的關鍵是，“端點AI駐留在網絡的虛擬世界與現實世界相撞的位置，傳感器和執行器都在附近。”

恩智浦半導體公司機器學習技術總監Markus Levy說，這全都與語義有關，在哪里劃定了界限。邊緣機器學習（ML）與“端點”機器相同，除了邊緣機器學習還可以包括發生在網關甚至是霧計算環境中的機器學習。端點ML通常與分布式系統有關，例如，我們的客戶甚至在傳感器級別上都在增加智能。另一個例子是家庭自動化系統，其中有“衛星”設備（例如恒溫器，門鈴攝像頭，安全攝像頭或其他類型的連接設備），盡管它們可以獨立執行機器學習功能，但它們也可能會饋入進行更高級ML處理的網關。”

從Arm的角度來看，其基礎設施業務總經理兼副總裁Chris Bergey的說法略有不同，他評論了邊緣服務器和端點中智能水平的提高。他說：“諸如網橋和交換機之類的基本設備已被功能強大的邊緣服務器所取代，這些邊緣服務器將數據中心級的硬件添加到端點和云之間的網關中。那些進入5G基站的功能強大的新型邊緣服務器足夠強大，可以執行復雜的AI處理-不僅包括ML推理，而且還包括培訓。”

這與端點AI有何不同？Bergey評論說：“由于其強大的內部硬件，智能手機長期以來一直是端點AI的沃土測試平臺。隨著物聯網與AI的進步和5G的推出相交，更多的設備上智能意味著更小的，對成本敏感的設備可以變得更智能，功能更強大，同時由于對云或互聯網的依賴程度降低而受益于更大的隱私和可靠性。隨著向端點提供更多智能的這種發展持續不斷，確切地發生智能的地方的邊界也將開始從端點到邊緣融合在一起，從而強調了對異構計算基礎架構的需求。”

對于其他人來說，優勢就是云中沒有的一切。例如，Edge AI and Vision Alliance的創始人Jeff Bier說：“我們將Edge AI定義為在數據中心外部全部或部分實現的任何AI。情報可能就在傳感器旁邊，例如在智能相機中，或者在更遠的地方（例如雜貨店的設備間），甚至在更遠的地方（例如在蜂窩基站中）。或這些的某種組合或變化。”

Xilinx采取了類似的立場。該公司負責AI，軟件和生態系統的產品營銷總監Nick Ni表示：“ Edge AI基本上是一種自給自足的智能，可在現場部署，而無需依賴數據中心。對于需要實時響應，安全性（例如，不向數據中心發送機密數據）和低功耗（這是大多數設備）的應用程序而言，這是至關重要的。就像人類不再依賴數據中心每天做出無數的決定一樣，在未來幾年中，邊緣人工智能將在半自動汽車和智能零售系統等應用程序中占據市場主導地位。”

Imagination Technologies的人工智能高級總監Andrew Grant重申了這一點。“就我們而言，這都是邊緣。客戶決定它的去向。我們將看到非常多的混合方法，在這種情況下，云和數據中心也絕對有作用。”他補充說：“市場[走向邊緣]的速度驚人。邊緣已經出現了一波運動，但是對于許多應用來說，硅的實現需要時間。Grant解釋說：“我們正在與一家中國的流量管理公司進行交流，該公司正在從云中來回移動數據。當我向他們解釋我們的工作時，如果交通信號燈本身可以確定汽車是否在行駛，他們便立即看到不必將數據存儲到云端的好處。”

嵌入式系統提供商Adesto Technologies的CTO Gideon Intrater表示，它們不一定區分邊緣和端點，因為該公司提供用于IoT邊緣服務器的設備以及IoT邊緣設備。“雖然我們不傾向于在自己的通信中使用'端點'一詞，但也許'端點'在定義上與邊緣設備保持一致。這些設備中的AI通常是某種程度的本地推斷，通過專用的加速器，通過近內存處理或內存計算，算法可以作為程序在處理器上運行。”

他補充說：“幾乎所有應用程序中的邊緣AI都已成為現實。我們看到了工業和建筑實施中的巨大機會，其中AI可以通過預測性和預防性維護，制造中的質量控制以及許多其他領域來提供收益。該行業才剛剛起步，并且每天過去，我們都希望AI為我們做更多的事情。當我們的沒有AI的舊設備無法直觀地了解我們的需求時，我們常常會感到沮喪，因為我們還有其他可以提供直觀功能的設備。最終用戶不知道如何使AI解決方案有效。他們只是期望它能工作。”

現在是技術采用周期的早期-那么誰會想要呢？
因此，我們在定義上很清楚：要么坐在營地中說邊緣就是所有不在云中的事物，要么與其他人清楚地將端點標識為物理世界與數字世界的交匯點，主要是傳感器。但是特定的應用程序將確定可能需要添加智能的點，邊緣和端點之間的界限越來越模糊，并且計算基礎設施有些不同。

下一個問題是誰會想要它，對邊緣AI的市場期望是什么？恩智浦的Levy解釋說：“這是我們所有人仍要解決的問題。”“行業領導者積極參與實施；我不能說出名字，但是我們有大量的客戶在邊緣進行各種機器學習。但是，如果您看一下“技術采用周期”，我仍然相信該行業的大多數甚至還沒有處于“早期采用者階段”，而這實際上將在2020年中后期開始顯現。

“客戶仍在理解機器學習可能帶來的很棒的事情。但我通常會提供一些指導：1）可以省錢嗎？例如，通過使工廠裝配線的運行速度更快或更有效，例如替換以前進行目視檢查的員工人數；2）它可以賺錢嗎？例如，通過向產品添加一個很酷的功能使其更有用。也許這是條形碼掃描儀，通過使用機器學習，它可以消除包裝中以前無法精確掃描的皺紋。”

英飛凌的Furtner表示，這實際上是一個問題，即“邊緣AI的好處是什么？”他說：“實際上，關于邊緣的好處是，我們可以將其在約束方面的“弱點”轉變為優勢。人們確實關心諸如易用性，功能，隱私，安全性，成本，氣候或資源的可持續利用之類的事情。這些都是我們使用Edge AI可以實現的所有好處。我們堅信，在正確的地方使用AI可以改善我們的生活，并且端點中有很多AI的用例。Edge AI用于預測性維護和進一步的自動化或機器人技術，家庭自動化或智能農業，僅舉幾個例子。通過我們在低功耗，支持AI的傳感器上的工作，我們使直觀的傳感變得更加普遍，從而刺激了家庭或城市中的新應用，使生活更輕松，更安全，更綠色。

他還說，edge-AI提供了一種以更節省資源的方式，從而以可持續的方式從物聯網數據的爆炸式增長中獲取價值的能力，這在氣候變化時期至關重要。

Jeff Bier表示，應用程序需求將在五個關鍵領域推動對邊緣AI的需求：

• 帶寬：即使使用5G，也可能沒有足夠的帶寬將所有原始數據發送到云端。

• 延遲：許多應用程序需要比從云中獲得更快的響應時間。

• 經濟性：即使給定的應用程序可以在帶寬和延遲方面從技術上使用云，在邊緣執行AI可能更經濟。

• 可靠性：即使給定的應用程序在帶寬和延遲方面可以在技術上使用云，但與云的網絡連接并不總是可靠的，并且無論是否具有此連接，應用程序都可能需要運行。在這種情況下，需要邊緣AI。一個例子是面部識別門鎖。如果網絡連接斷開，您仍然希望您的門鎖能夠正常工作。

• 隱私：即使給定的應用程序可以在帶寬，延遲，可靠性和經濟性方面在技術上使用云，也可能有許多應用程序出于隱私原因需要本地處理。一個例子是嬰兒監視器或臥室監控攝像頭。

邊緣應該有多聰明？這取決于內存容量
這似乎是一個顯而易見的問題，但現實是您需要務實，每個應用程序都不同。

Levy說：“智能通常不是限制因素，限制是存儲容量。”“實際上，內存限制了可以部署的機器學習模型的大小，尤其是在MCU域中。為了更深入一點，例如基于視覺的應用程序的機器學習模型將需要更多的處理能力和更多的內存。同樣，當需要實時響應時，處理能力更是一個因素。”

“我舉一個例子，就是一個帶有內置攝像頭的微波爐來確定放入哪種食物-1或2秒的響應時間就足夠了，從而可以使用NXP i.MX RT1050之類的東西。內存量將決定模型的大小，進而決定機器可以識別的食物類別的數量。但是，如果插入了無法識別的食物該怎么辦？現在轉到網關或云計算出它是什么，然后使用該信息來允許智能邊緣設備重新訓練。為了直接回答有關要包含多少“智能”的問題，所有這些都歸結為性能，準確性，成本和能耗之間的權衡。除此之外，我們還在開發一個將自動編碼器用于另一種形式的ML（異常檢測）的應用程序。簡而言之，

Furtner回應了務實的態度。“ Edge AI在能耗，空間和成本方面受到嚴重限制。在這種情況下，問題不是“我們應該在邊緣上放多少智能”，而是“我們在邊緣上能買多少智能？”接下來的問題將是“哪些已知的AI技術可以以足夠“微小”的方式應用于邊緣而被精簡？因此，功耗肯定會限制端點智能的數量。這些端點通常由小型電池供電，甚至取決于能量收集。數據傳輸也消耗大量能量。”

他補充說：“讓我們來一個智能傳感器。為了使本地AI在這些情況下正常運行，必須針對其特定的屬性和行為進行優化。此外，只有通過嵌入式AI才有可能實現某些新傳感器。例如用于液體和氣體的環境傳感器。端點AI有很多原因。智能數據的使用和減少或快速的實時本地反應是顯而易見的。數據隱私和安全性是其他。可以在生成原始數據的地方處理大量傳感器原始數據，而大量的計算任務仍保留在云中。最低功耗神經計算的最新進展（例如，邊緣TPU，神經形態技術）使邊界變得偏向邊緣和端點節點。”

Imagination Technologies的Grant表示：“在我們看來，將盡可能多的智能置于邊緣是很明顯的，然后可以在設備的使用壽命內使用軟件優化。”他將其比作游戲機行業，在該行業中，供應商發布了一個新的游戲機，但隨后在整個硬件壽命內對其進行了軟件更新進行了優化。他補充說，從成本或尺寸的角度來看，將神經網絡加速器添加到片上系統（SoC）并不重要。“因此，加速邊緣的機會確實是巨大的。”

Arm的Bergey說：“隨著異構計算在整個基礎架構中無處不在，至關重要的是，我們能夠確定對數據進行處理最有意義的地方，并且這會因應用程序而異，甚至可能會根據一天中的時間而變化。市場需要能夠將不同角色移交給AI的不同層的解決方案，以便獲得那種推動真正業務轉型的整體見解。在邊緣，人工智能將扮演雙重角色。在網絡級別，它可以用于分析數據流以進行網絡預測和網絡功能管理-將數據智能地分發到當時最有意義的位置，無論是在云還是其他地方。”

Adesto的Intrater補充說：“在邊緣放置多少“智能”的決定取決于特定的應用程序，以及它可以處理多少延遲（對于實時任務關鍵型應用程序而言不多），功率范圍是多少。 （對于電池供電的設備來說很小），安全性和隱私問題，以及是否有互聯網連接。即使有Internet連接，由于帶寬消耗，您也不想將所有內容都發送到云中進行分析。跨邊緣和云計算的明智之舉在于平衡所有這些問題。”

他繼續說：“您還可以在本地邊緣服務器上進行AI，當然培訓和分析通常在云中完成。通常，這并不是一個簡單的決定AI發生位置的決定–“智能”通常是分布式的，其中一些發生在云中，而某些發生在邊緣設備中。典型的AI系統在本地完成AI和遠程完成AI之間有這樣的分歧。Alexa / Siri是一個很好的例子，其中設備中存在用于語音/關鍵字識別的算法，然后從那里進行的交互在云中進行。”

有哪些支持技術？
“邊緣AI有許多關鍵的使能技術。Edge AI和視覺聯盟的Bier說：“也許最明顯的是高性能，高能效，廉價的處理器，它們善于運行AI算法。”“但是還有很多其他的。其中最重要的一些是（1）軟件工具，用于有效使用這些處理器，以及（2）云平臺，以聚合來自邊緣設備的元數據，并管理邊緣設備的配置和維護。”

如您所料，我們與之交談的大多數公司都為邊緣AI提供了一系列設備和IP。英飛凌表示，它將為物聯網提供傳感器，執行器，包括NN（神經網絡）加速器在內的微控制器以及硬件安全模塊。“電源效率，安全性和安全性是我們關鍵能力的一部分。通過我們的產品組合，我們幫助將真實世界與數字世界聯系起來，為邊緣提供安全，強大和節能的AI解決方案。” Wolfgang Furtner說。

Xilinx的Nick Ni表示，將AI邊緣產品推向市場并非易事，因為工程師需要將機器學習技術與傳感器融合，計算機視覺和信號轉換等傳統算法融合在一起。“優化所有工作負載以滿足端到端響應能力，需要自適應的域特定體系結構（DSA），該體系結構允許在硬件和軟件中進行編程。Xilinx SoC，FPGA和ACAP提供了這樣的適應性平臺，可以在滿足端到端產品要求的同時進行持續創新。”

恩智浦表示，其支持技術包括硬件和軟件。Levy說：“有些客戶使用我們的低端Kinetis或LPC MCU來實現某些智能功能。在我們的i.MX RT交叉處理器級別上，它的確開始變得越來越有趣，我們為集成的MCU提供了Cortex M7，其工作頻率為600-1000MHz。我們的新型RT600包括M33和HiFi4 DSP，通過使用DSP在異構模式下運行以加速神經網絡的各個組件，我們實現了中等性能的機器學習。最新的i.MX 8M Plus將4個A53與一個專用的神經處理單元（NPU）相結合，可提供2.25 TOPS和2個數量級的推理性能（運行功率低于3W）。高端NPU對于實時語音識別（即NLP），手勢識別，

從軟件角度來看，Levy表示，恩智浦提供了其eIQ機器學習軟件開發環境，以支持從i.MX RT到i.MX 8應用處理器等的整個恩智浦產品組合中的開源ML技術。“借助eIQ，我們為客戶提供了在自己選擇的計算單元上部署ML的選項，包括CPU，GPU，DSP或NPU。您甚至還會看到運行語音應用程序（例如，DSP上的關鍵字檢測，GPU或CPU上的人臉識別，NPU上的高性能視頻應用程序）的語音應用程序的異構實現，或其任意組合。”

Arm的Bergey說：“隨著我們邁向一萬億個IoT設備的世界，我們面臨著前所未有的基礎設施和架構挑戰–因此，我們為應對這一巨大機遇而需要的技術也在不斷發展。在Arm，我們的重點是提供高度可配置，可擴展的解決方案，以滿足性能和功耗要求，以實現無處不在的AI。”

對于邊緣的AI，Adesto提供了使能技術，包括具有AI加速器的ASIC，用于將權重存儲在用于語音和圖像識別的AI芯片中的NOR閃存以及將舊數據和新數據連接到云分析的智能邊緣服務器，例如IBM Watson。和Microsoft Azure。

Intrater補充說：“我們還在通過RRAM技術探索內存中AI計算，其中單個存儲單元既充當存儲元素，又充當計算資源。在這種范例中，深層神經網絡（DNN）的矩陣成為NVM細胞的陣列，矩陣的權重成為NVM細胞的電導。點積運算是通過對將輸入電壓施加到RRAM單元上而產生的電流求和來完成的。由于無需在計算資源和內存之間移動權重，因此該模型可以實現電源效率和可伸縮性的無與倫比的組合。”

我們的觀點
對我來說，邊緣AI和端點AI之間有非常明顯的區別。端點是物理世界與數字世界交互的點。但是定義邊的方式非常有彈性。供應商的不同之處在于，將數據中心中不存在的所有內容都說成是邊緣（包括網關，網絡邊緣，汽車），還是將端點定義為邊緣的子集的供應商。

最終，該定義是不相關的。這取決于應用程序，以及實際上可以在端點或邊緣放置多少智能。在內存可用性，性能需求，成本和能耗之間進行權衡。這將確定可以在邊緣進行多少推理和分析，需要多少神經網絡加速器，這是SoC的一部分，還是與CPU，GPU或DSP一起使用。這并不是要忘記使用內存計算和AI等技術來解決挑戰的創新方法。

對此達成了廣泛共識：您投入多少智能取決于應用程序，并且需要基于可用資源的務實方法。