機器學習的本質是讓計算機能夠更有效率的模仿人類的行為，特別在圖像分類、圖像識別、語音識別等領域，機器學習能夠在分秒之間，集中處理數以百萬計的計算。過去在合理的成本下，這樣的處理能力是無法想象的，直到最近幾年才能夠實現。這主要是因為，如若這些處理不在邊緣實現，就要放到云端來進行。數據要被上傳到云端，這樣的話，我們就會擔心誰會看到這些數據。我們相信云端服務期的運營商和負責人嗎？顯然答案是否定的，因此在本地進行邊緣計算，用戶隱私就能夠更好的被保護，響應速度也會更快，可靠性也會更強，因為即便服務器斷電，本地設備依然可以穩定工作，甚至設備可以在沒有網絡的偏遠地區正常工作。

i.MX8M Plus 應用處理器

通過i.MX8M Plus ，NXP將機器學習帶到了邊緣設備中，這款產品不僅僅是達到了2萬億次每秒這樣的強大計算能力。只是做到這樣的計算性能并不困難，但NXP所實現的是帶來了模型壓縮的優化以及針對稀疏性的優化，稀疏指的是機器學習算法參數或者數據中有大量權重為0，進而能夠避免在推理時支付這些模型系數的存儲費用，計算效率將會大大增加。模型壓縮同樣也很重要，鑒于計算過程中存在大量的數據交換，如果足夠壓縮，那么對于系統內存的占用就會降到最低。另外同樣牽涉到系統內存的一點是i.MX8M Plus 搭載 DRAM 控制器能夠進行每秒4G 處理，是 NXP有史以來 DRAM 速度之最。

i.MX8M Plus 與機器學習、機器視覺

機器學習是基于圖像數據的，數據的來源通常是一個系統中的攝像頭模塊，而攝像頭模塊需要一個圖像處理單元，也就是ISP。談到 i.MX8M Plus 的ISP 單元，在很多系統中，攝像頭可能距離目標非常遠，為了得到你需要的細節，其分辨率必須足夠高，比如4K分辨率，也就是800萬像素。

處理如此高清的影像數據，就需要ISP 的協助。可能對于低分辨率的視頻，ISP 并非必需，在很多系統中，用戶可能并沒有意識到，攝像模塊是否集成ISP。但在高分辨率下，就需要 ISP 被集成在處理器中，就像i.MX8M Plus 這樣。有趣的是，NXP i.MX8MPlus 中實際上集成了兩個 ISP，兩路攝像頭輸入。因而在大多數的應用場景下，將會獲得更立體的圖像，就像人的兩只眼睛一樣，可以感知圖像的深度。另外一個應用是兩路攝像頭，其一作為廣角或者魚眼視角，另一路則聚焦某一場景的特寫。除此之外，還有其它的應用需要用到這樣的功能。

圖像處理需要很強的計算能力，ISP的功能理論上也可以由 CPU 或 GPU 來實現，但要將這樣的計算量，將這些數據轉化為系統可識別的形式和參數再進行計算和處理，涉及到的工作量太大了。因此在這樣的系統下，必須使用一個專門處理圖像任務的單元，也就是 ISP，就像 i.MX8M Plus所做的那樣。

i.MX8M Plus 高動態范圍（HDR）支持

i.MX8MPlus還有一個重點是HDR，也就是高動態范圍，你可能在很多手機上看到過這個詞，但在嵌入式應用以及消費類產品甚至工業應用中HDR 都非常重要。HDR 主要是融合多重曝光的圖像，具體表現為拍攝亮度不同的兩張圖像，一張是長曝光，一張是短曝光，其中一張能夠幫助獲得更好的高光部分的細節，另一張則獲得更好的低亮度區域的細節。甚至可以拍三張或者更多，來融合成為一張圖像。這樣高光和暗部的細節都可以保留，這在某些特定場景中非常重要，比如在家里，窗戶邊很亮，有的地方卻很暗，有了 HDR，所有的細節你都可以看清楚。

扭曲矯正帶來更好的圖像

在攝像頭相關應用中，扭曲矯正是一個非常重要的功能。攝像頭接收到的圖像可能是扭曲的，類似觀看魚缸的場景。你可以看到很多的東西，但它們都是扭曲的。扭曲矯正，可以將圖像恢復為人類、機器學習可以識別的正常形狀，直線曲線區別分明，也沒有倒置的現象，這就是扭曲矯正引擎所負責的。但引擎能做的不僅僅是這些，除了能夠矯正這些意外的干擾，同時它也可以矯正由于攝像頭問題導致的圖像不清晰、變形等。

引擎同樣可以對像素進行處理，獲得更好的圖像質量。針對i.MX8MPlus 的 ISP 架構我們的設計保證了所有的處理都以流的形式進行，也就是說ISP直接從攝像頭接收圖像進行處理，將它們輸出到系統內存。ISP 幾乎不需要從系統重新構建圖像再進行處理輸出，這樣就可以帶來非常低的延遲表現，以及非常高效的針對圖像的處理表現。iSP 針對圖像增強，進行了非常多的處理，比如降噪處理，這在暗光環境中非常重要。在這樣的環境下，很多像素都會被進行涂抹，但你不能對太多區域都進行涂抹，否則你的圖像將會變得非常模糊。所以你必須使用 ISP 來分辨，哪里是可以進行涂抹處理的，哪里則是需要清晰呈現的內容。其它的處理任務包括，檢測圖像傳感器的壞點，確保正常工作，以及白平衡的調節，分辨出不同的光照環境，例如日光、燈光等等。還有提供信息，幫助自動曝光以及對焦，所有的這些都是由ISP 來完成的。

H.265視頻編碼

在許多應用中，攝像頭接入系統，數據被送入機器學習算法或是直接被存儲在網絡中。不管圖像被送入何處，它們還是需要被存儲在某些地方，比如服務器或者是本地設備。你不可能直接保存原始文件，因為原始的文件實在是太大了，因此必須對數據進行編碼，i.MX8M plus 的視頻編碼是非常高效的。我們支持 h.265編碼算法，比起業內廣泛使用的 h.264更加先進和高效。

iMX8MPlus在工業應用中的特色

i.MX8M Plus有一些針對工業應用的特色，其一就是 ECC，也就是錯誤糾正代碼。用來在用戶無需感知的情況下，檢測出內存的錯誤，甚至進行修復。

這異常的重要，因為在某些應用中內存的錯誤會帶來嚴重的后果，雖然不會導致硬件的永久損壞，但當讀取內存的軟件和程序時有可能會崩潰。

為了避免這些情況的發生，你就需要ECC 來進行檢測和修復，這樣軟件的錯誤率，也就是我們常說的 SER將會大大降低。i.MX8M Plus在緩存和片上RAM 中都帶有ECC，而DRAM 總線還支持在線 ECC，它不需要存儲任何額外的位，就能夠將ECC 算法與主數據同時發送出去。

TSN也是 i.MX8M plus 中的亮點，tsn 指的是時間敏感網絡。在工業應用中你希望可以確保能夠在對的時間點將數據發送出去，而通常以太網中任何人在任何時間都有可能正在發送數據。可能會造成擁堵，可能你需要晚一些再發一次，在工業應用中，這無疑是會帶來問題的。而 TSN 則能夠很好的解決這樣的困擾。i.MX8M Plus同樣也支持一些工業級的外設，我們甚至集成了800MHz的 Cortex-M7協處理器來協助組合。組合運行操作系統，M7內核同時可以進行一些實時性的控制，來確保低延遲。我們還有兩路 CANFD用于本地與系統或是與網絡低延遲的通信。

i.MX8M Plus所提供的所有的這些特性和外設，能夠助力工業及應用的設計為工業應用帶來無限的可能。

如何測評i.MX8MPlus

作為NXP官方金牌合作伙伴，飛凌嵌入式與NXP深入合作，推出了基于i.MX 8M Plus處理器的開發套件OKMX8MP-C開發板與FETMX8MP-C核心板，除了繼承了上述CPU能力外，飛凌嵌入式在iMX8MPlus核心板上還集成了LPDDR4、eMMC、PMIC等關鍵元器件，形成了可以獨立運行的最小系統；同時，考慮低成本基礎應用以及高端NPU應用的不同需求，DDR可選擇2GB、4GB、6GB、8GB多種版本；這款核心板的優勢不僅僅在于性能上，其功能也是十分的豐富，雙千兆以太網、雙CAN-FD、2個USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。

審核編輯：符乾江