這是來自Sunya OS創始人Nikhil Bhaskaran在物聯網2019的一篇演講，Sunya OS是一個優化了嵌入式系統的AI庫的操作系統，使開發人員能夠以非常低的成本非常快速地構建AI邊緣解決方案。在接下來的五年里，人工智能將滲透到一切事物之中；而邊緣分析將成為人工智能的下一件大事。

目前人工智能領域的工作更多的是從應用的角度來解決工業問題。人們希望盡快將解決方案推向市場。為此，大多數人工智能庫都內置在云中。在這種情況下，有一個很大的堆棧，第一個挑戰從數據開始。

你需要訓練一個模型，最大的挑戰不是創建一個模型，而是找到數據并以一種有效地訓練模型的方式安排數據。因此，獲取正確的數據有很大的市場。

第二部分是模型的建立。有許多應用程序不需要創建像人臉識別和目標檢測這樣的模型。因為這些常見的應用程序已經有現成的模型，所以只需要為應用程序選擇合適的模型。之后，您需要進一步訓練您的模型，因為大多數模型通常針對不同的數據集進行訓練，而這些數據集不能提供良好的輸出。

由于每個庫都擅長某一方面，因此需要仔細選擇適合應用程序的正確庫。

在有了工作模式之后，必須有目的地使用它來產生足夠的資金。一些賺錢的人應該關注的問題是：它（模型）應該用于什么？市場在尋找什么？

除此之外，還有一個主要的競爭，因為人工智能中的每個人都直接在云上進行模型訓練和數據工作。然而，人工智能同樣可以在嵌入式計算機上運行良好。這通常是人們不知道的。

所有的人工智能都會在邊緣發生

在云端運行模型時，通常使用googleengineapi或Amazon的對象識別模型，并為此支付一定的費用。一旦解決方案建立起來，在一段時間內你必須支付大量的錢。

相反，同樣的模型可以被編碼到硬件上。在嵌入式系統上，您可以獲得云的性能，而無需長期付費。所有的分析都在嵌入式設備上進行，它只向云端發送有限的數據。

邊緣分析將是人工智能的下一個大事件。AI庫發送的所有數據都將由處理器進行計算并給出結果。例如，在過去，當在玩游戲時，所有的數學計算都是在GPU中完成的。現在，芯片上有向量處理單元，可以快速處理來自云端的向量（數據）。

GPU也擅長浮點運算。

人們不知道很多人工智能應用程序可以構建在公司可以優化的芯片上。

今天可用于人工智能的庫的數量約為800多個，這聽起來可能令人難以置信，但當電腦問世時，人們從來沒有想到它竟然這么大。漸漸地，它成為我們生活中的必需品。人工智能將比這個大得多。在接下來的五年里，人工智能將滲透到一切事物之中。很多產品都會內置人工智能。

目前，有二十多家公司從事人工智能技術。其中最受歡迎的有騰訊、Caffe、Chainer、ONNX和PyTorch。

嵌入式系統面臨的挑戰

在人工智能領域工作的人經常面臨諸如模型大小、選擇合適的模型和框架等挑戰。系統方面的挑戰是大多數人沒有意識到的。其中包括：

平臺

在云中，代碼是預先安裝的。但是對于嵌入式，您需要獲取源代碼并將其編譯到機器中。

吸引力

找到正確的來源也是一個挑戰。人們需要做大量的研究來找到正確的源代碼、正確的補丁并配置它們。

體系結構支持

通常使用ARM，它可以是ARM7或ARM8。在ARM8中霓虹燈支持的幫助下，硬件fpu（浮點單元）提供5倍的性能。這是非常有利的，但也具有挑戰性。

匯編

交叉編譯無法提供所需的性能。因此，要獲得性能并使庫在硬件上以最佳方式工作，您需要執行本機編譯。這需要很長的編碼時間，并且消耗大量的時間。

安裝

編譯后可能會遇到幾個錯誤消息。需要注意正確安裝庫，尤其是對于新機器。

不僅僅是這些，所有庫通常都有一些依賴關系。每個工具/框架/庫平均有4-5個依賴項。

這些包也需要編譯，以便從安裝在嵌入式系統上的AI庫中獲得最佳性能。稱為Docker的軟件是運行包的最快方法，但它在運行時并沒有得到優化，必須小心使用。

業界有這樣一種看法，要想在邊緣運行人工智能，你需要大量的計算，或者需要有更好的計算能力，這樣才能獲得足夠的性能。然而，這是不正確的。當這個解決方案被出售時，你的成本會更高。所以，重點應該放在更好的工程上，這樣可以降低價格。這應該在不損害最新技術進步的情況下實現。

OpenGL和OpenCL庫

在一個嵌入式系統中，當CPU明顯存在時，GPU和NPU是可選的。如果你有GPU，那么它將有OpenGL或OpenCL庫。OpenGL是一個圖形庫，它將接收到的圖形計算傳遞給GPU。OpenCL是一個計算庫，它檢查硬件上的計算能力；它得到的任何計算請求都在系統中分布。通過添加OpenCL，您的性能會非常高。它是一個額外的層，處理請求比操作系統好得多。

在應用程序方面還有很多工作要做。在云中編寫代碼之后，當您運行它時，分析過程就開始了。在此過程中，代碼生成未知數量的威脅，如果系統無法處理這些威脅，這些威脅可能會導致硬件故障。但在嵌入式系統中，它是定制的。

在這里，邊緣計算扮演了一個主要角色，它直接在硬件上執行計算操作，而不是將數據發送到云端進行計算。

隨著嵌入式人工智能領域的發展，有一些框架只是為這方面而構建的。目前，TVM在這方面做得最好。
責任編輯：tzh