隨著自動(dòng)化程度的提高，工業(yè)成像和機(jī)器視覺(jué)應(yīng)用在工業(yè)控制中變得越來(lái)越普遍，以支持提高生產(chǎn)率的動(dòng)力。為了實(shí)現(xiàn)提高效率的承諾，圖像處理系統(tǒng)需要高速運(yùn)行，以確保節(jié)拍時(shí)間，即每個(gè)新單元開(kāi)始生產(chǎn)之間的平均時(shí)間，盡可能短。

同時(shí)，市場(chǎng)上出現(xiàn)了高分辨率相機(jī)，能夠進(jìn)行高清晰度記錄，并且可以支持生產(chǎn)線上組件的極細(xì)細(xì)節(jié)成像。由于使用千兆以太網(wǎng)，它們能夠高速傳輸這些高質(zhì)量圖像。因此，圖像處理軟件的高性能至關(guān)重要。

這表明在硬件中實(shí)現(xiàn)關(guān)鍵算法，但工業(yè)圖像處理的靈活性至關(guān)重要。不同類型的組件和組件需要特別關(guān)注某些視覺(jué)特征。組裝后對(duì)PCB的檢查通常是檢測(cè)焊道中的斷裂和擠壓，指示可能的故障源。檢查發(fā)動(dòng)機(jī)歧管可能會(huì)尋找未對(duì)準(zhǔn)或缺失的緊固件。雖然這些任務(wù)可能使用通用模塊，例如邊緣檢測(cè)和模式匹配來(lái)識(shí)別感興趣的區(qū)域，但每個(gè)模塊都需要自己的一組圖像處理程序來(lái)執(zhí)行完整的檢查任務(wù)。

靈活性將變得更加重要當(dāng)調(diào)用圖像處理子系統(tǒng)來(lái)協(xié)助設(shè)置自動(dòng)化時(shí)。圖像處理不僅對(duì)于檢查而言是必要的，而且有助于定位機(jī)器人系統(tǒng)并對(duì)其進(jìn)行訓(xùn)練。傳統(tǒng)上機(jī)器人使用精心計(jì)算的運(yùn)動(dòng)輪廓進(jìn)行編程，而現(xiàn)在他們開(kāi)始使用視野內(nèi)的攝像機(jī)和物體來(lái)對(duì)齊自己并確定需要拾取和處理的組件。要運(yùn)行此類映像應(yīng)用程序，開(kāi)發(fā)人員需要一個(gè)功能工具包，可以在平臺(tái)上輕松組裝，具有實(shí)時(shí)運(yùn)行算法所需的性能。

可視化工具包，提供一組基本功能包括工業(yè)在內(nèi)的多種形式的圖像處理以O(shè)penCV庫(kù)的形式提供。現(xiàn)在，開(kāi)源OpenCV庫(kù)已經(jīng)成為許多領(lǐng)域中圖像處理的流行選擇，現(xiàn)在已達(dá)數(shù)百萬(wàn)行代碼。到2016年，SourceForge存儲(chǔ)庫(kù)記錄了超過(guò)1300萬(wàn)次的庫(kù)下載。

OpenCV涵蓋了圖像處理和機(jī)器視覺(jué)應(yīng)用所需的許多功能，從基本的像素級(jí)操作，如閾值處理到特征提取基于深度學(xué)習(xí)等機(jī)器學(xué)習(xí)技術(shù)進(jìn)行對(duì)象識(shí)別。它的功能可以從C/C ++，Java和Python等語(yǔ)言中獲得。

從C ++訪問(wèn)，OpenCV使用“cv”命名空間中的類和函數(shù)提供服務(wù)。例如，要檢索存儲(chǔ)的圖像和顯示，開(kāi)發(fā)人員首先通過(guò)基于cv：Mat類創(chuàng)建對(duì)象來(lái)創(chuàng)建合適的圖像數(shù)組。函數(shù)cv :: imread（）用于賦值，將圖像數(shù)據(jù)插入到使用cv :: Mat聲明的數(shù)組中：

cv :: Mat圖像（height，width，pixel_type）;

image = cv :: imread（“image.bmp”）;

鏡像圖像的簡(jiǎn)單操作可以通過(guò)聲明一個(gè)新的Mat對(duì)象來(lái)實(shí)現(xiàn) - 例如“鏡像” - 并發(fā)出命令cv :: flip（image，mirrored，1）。第三個(gè)位置使用的整數(shù)決定了圖像翻轉(zhuǎn)的軸。

Mat數(shù)組提供對(duì)圖像數(shù)據(jù)的低級(jí)別像素訪問(wèn)，以支持掃描區(qū)域以查找屬性（例如最小值或最大值）的算法，并支持直接操作數(shù)據(jù)。但是該庫(kù)還實(shí)現(xiàn)了在機(jī)器視覺(jué)中有用的更高級(jí)過(guò)濾功能，例如邊緣檢測(cè)過(guò)濾器。例如，cv :: Sobel和cv :: Laplacian調(diào)用實(shí)現(xiàn)了對(duì)圖像的濾波器，該圖像通過(guò)將圖像數(shù)據(jù)與3×3或更大的矩陣進(jìn)行卷積來(lái)檢測(cè)像素亮度的突然變化。在源陣列上執(zhí)行過(guò)濾器會(huì)生成包含可能邊緣的數(shù)組。較大的內(nèi)核可用于抑制高頻噪聲并以更高的置信度產(chǎn)生實(shí)際邊緣。使用Canny算子等函數(shù)進(jìn)行閾值處理可以提高結(jié)果的整體質(zhì)量。

可以使用cv :: HoughLinesP等函數(shù)提取圖像中檢測(cè)到的行，并用于支持對(duì)其進(jìn)行操作的算法在源圖像中找到的形狀。這些可用于確定是否存在預(yù)期在圖像中的物體，例如發(fā)動(dòng)機(jī)殼體上的緊固件。

雖然OpenCV是為計(jì)算效率而設(shè)計(jì)的，但是高分辨率的數(shù)據(jù)流量相機(jī)可以挑戰(zhàn)純軟件實(shí)現(xiàn)，甚至是那些在高性能多核SoC上運(yùn)行的軟件。 OpenCV不僅支持在通用處理器上實(shí)現(xiàn)其功能，還支持在圖形處理單元（GPU）甚至自定義硬件上實(shí)現(xiàn)其功能。保持基于軟件的控制的靈活性，同時(shí)利用硬件實(shí)現(xiàn)下可實(shí)現(xiàn)的性能的一種方法是采用可編程邏輯。 Xilinx Zynq-7000提供了一種在單個(gè)SoC中訪問(wèn)多核CPU和可編程邏輯的便捷方式。

Zynq-7000平臺(tái)將一個(gè)或兩個(gè)ARM?Cortex?-A9處理器與靈活的硬件組合在一起。嵌入式現(xiàn)場(chǎng)可編程門陣列（FPGA）以及支持高速I/O的外設(shè)。 Zynq-7000器件支持兩種形式的FPGA架構(gòu)：一種基于Xilinx Artix-7架構(gòu)，另一種基于高性能Kintex-7架構(gòu)。所有這些都采用28 nm CMOS工藝實(shí)現(xiàn)，具有高性價(jià)比的高邏輯和存儲(chǔ)密度。

除了基于查找表概念的靈活可編程邏輯外，Artix和Kintex架構(gòu)均提供數(shù)字信號(hào)處理（DSP）資源設(shè)計(jì)用于有效處理濾波器和卷積。使用片式架構(gòu)，DSP資源可以調(diào)諧到器件，Kintex提供比Artix更高的DSP引擎與位級(jí)邏輯比。超過(guò)2000條互連線將處理器復(fù)合體連接到可編程結(jié)構(gòu)，有助于支持在處理模塊之間傳輸圖像數(shù)據(jù)所需的高帶寬。

使用Zynq-7000平臺(tái)的設(shè)計(jì)人員可以使用高級(jí)別Vivado Design Suite中的綜合（HLS）技術(shù)將算法編譯成可編程硬件。傳統(tǒng)的FPGA開(kāi)發(fā)是圍繞硬件描述語(yǔ)言（HDL）構(gòu)建的，例如Verily和VHDL。盡管這些HDL分別與C和Ada具有語(yǔ)法上的相似性，但它們的運(yùn)行細(xì)節(jié)水平低于大多數(shù)軟件開(kāi)發(fā)人員所熟悉的程度。 Verilog和VHDL基于位級(jí)操作和組合邏輯。 HLS技術(shù)提供了將用C ++等語(yǔ)言表達(dá)的算法轉(zhuǎn)換為硬件的能力。

HLS綜合利用面向?qū)ο蟮腃 ++基礎(chǔ)，讓程序員識(shí)別并發(fā)機(jī)會(huì)，在代碼中進(jìn)行低級(jí)調(diào)度，為合成引擎提供如何從源代碼生成硬件的方向。例如，創(chuàng)建用于在FPGA架構(gòu)上部署的嵌套矩陣乘法運(yùn)算的程序員可以識(shí)別可以在Vivado HLS實(shí)現(xiàn)工具中分配給硬件及其相關(guān)調(diào)度的每個(gè)循環(huán)的處理模塊。在圖1中，Row，Col和Product標(biāo)識(shí)符表示輸出塊。圖2顯示了Row塊及其包含的Col塊的擴(kuò)展，以及用于在塊之間移動(dòng)數(shù)據(jù)的兩個(gè)區(qū)域。控制流循環(huán)顯示合成操作的延遲。

圖1：適用于FPGA實(shí)現(xiàn)的嵌套循環(huán)代碼。

圖2：在Vivado中查看的嵌套循環(huán)部分的控制流程圖。

為了提高性能，設(shè)計(jì)人員可以展開(kāi)循環(huán)以允許更多功能并行發(fā)生（如果可用的DSP節(jié)點(diǎn)和查找表）硬件可用。對(duì)于圖像和視頻處理工作，Vivado環(huán)境包括許多提供直接支持的庫(kù)。

HLS成像庫(kù)包括與OpenCV imgproc模塊非常接近匹配的函數(shù)。例如，雖然軟件中的OpenCV將使用cv :: Mat聲明來(lái)創(chuàng)建在內(nèi)存中保存圖像所需的數(shù)組，但是有一個(gè)相應(yīng)的模板類，稱為hls :: Mat <>，它提供相同的核心功能。聲明一個(gè)名為image的數(shù)組的等效調(diào)用將顯示為：

hls :: Mat image（）;

而不是從磁盤讀取圖像，它通常使用hls :: stream <>數(shù)據(jù)類型將處理器復(fù)合體傳遞到FPGA架構(gòu)中。在處理器空間和FPGA中處理圖像之間存在關(guān)鍵差異。硬件結(jié)構(gòu)是在假設(shè)將存在以像素流形式通過(guò)邏輯元件的加速操作流水線的情況下編程的。因此，依賴于對(duì)圖像數(shù)據(jù)的隨機(jī)訪問(wèn)的算法需要轉(zhuǎn)換為可以作用于線性流的形式。

流式訪問(wèn)也意味著如果兩個(gè)硬件映射函數(shù)需要圖像，它需要重復(fù)。這通常使用hls :: Duplicate函數(shù)執(zhí)行。另一個(gè)不同之處在于浮點(diǎn)值的處理。 OpenCV本身支持浮點(diǎn)運(yùn)算，但這在典型FPGA的DSP資源上通常效率低下。將所有數(shù)據(jù)類型轉(zhuǎn)換為定點(diǎn)等價(jià)物然后在將數(shù)據(jù)傳遞回軟件例程后使用縮放轉(zhuǎn)換以保持與核心OpenCV函數(shù)的兼容性是有意義的。

硬件對(duì)函數(shù)的適用性可能決定應(yīng)用程序或子系統(tǒng)的分區(qū)。 Zynq-7000平臺(tái)上與OpenCV兼容處理的參考設(shè)計(jì)之一是實(shí)現(xiàn)角點(diǎn)檢測(cè)和創(chuàng)建覆蓋圖，顯示圖像中的所有角落。其結(jié)構(gòu)如圖3所示。

圖3：快速應(yīng)用示例的數(shù)據(jù)流結(jié)構(gòu)。

與許多人一樣機(jī)器視覺(jué)應(yīng)用程序，實(shí)現(xiàn)采用管道的形式。第一個(gè)功能是灰度轉(zhuǎn)換，可以通過(guò)從RGB源提取綠色通道來(lái)近似。然后進(jìn)行角點(diǎn)檢測(cè)，然后使用模塊在圖像上繪制角點(diǎn)。

應(yīng)用程序在硬件使用方面的問(wèn)題是在目標(biāo)圖像中繪制疊加層需要隨機(jī)訪問(wèn)圖像陣列，這是面向流的硬件實(shí)現(xiàn)不容易支持的。設(shè)計(jì)人員可以采用的方法是在FPGA和處理器復(fù)合體之間劃分功能。綠色通道提取和角點(diǎn)檢測(cè)卷積很容易在硬件中實(shí)現(xiàn)。一旦通過(guò)Zynq-7000的AXI4接口將圖像流回處理器存儲(chǔ)器，就可以在圖像上執(zhí)行角圖繪制功能，這些圖像的計(jì)算密集度較低。

涉及數(shù)字的更復(fù)雜的圖像處理系統(tǒng)執(zhí)行提取，識(shí)別和其他任務(wù)的協(xié)作模塊可能涉及比固定延遲流水線更復(fù)雜的架構(gòu)。例如，不同的情況可能需要對(duì)圖像進(jìn)行更密集的處理。例外情況可能會(huì)觸發(fā)對(duì)部分?jǐn)?shù)據(jù)的更深入分析。這些考慮使調(diào)度變得復(fù)雜。最簡(jiǎn)單的選擇是在處理器復(fù)合體上運(yùn)行自由選擇的函數(shù)，但如果某些函數(shù)是計(jì)算密集型的，則存在整體系統(tǒng)性能受損并且控制例程將錯(cuò)過(guò)關(guān)鍵期限的風(fēng)險(xiǎn)。 FPGA的區(qū)域可以保留用于計(jì)算密集型功能，但除非留出大部分，否則無(wú)法保證資源在某些條件下可用。所需要的是在處理器復(fù)合體和其他加速器之間分配功能的動(dòng)態(tài)方法，例如能夠在FPGA架構(gòu)上運(yùn)行的加速器。

嵌入式多核構(gòu)建模塊（EMB2）庫(kù)提供動(dòng)態(tài)所需的支持預(yù)定的異構(gòu)系統(tǒng)。 EMB2庫(kù)可從GitHub獲得，為各種嵌入式實(shí)時(shí)應(yīng)用程序提供一組設(shè)計(jì)模式，這些應(yīng)用程序需要在GPU，GPU和可編程硬件上實(shí)現(xiàn)高性能計(jì)算支持，以及支持OpenCV等環(huán)境的C ++包裝器。

EMB2庫(kù)符合多核任務(wù)管理應(yīng)用程序編程接口（MTAPI），由多核協(xié)會(huì)定義，以確保跨異構(gòu)計(jì)算平臺(tái)的高可移植性。 MTAPI體系結(jié)構(gòu)將工作負(fù)載組織為一組任務(wù)和隊(duì)列，后者用于實(shí)現(xiàn)數(shù)據(jù)元素流的處理流程。任務(wù)提供了將多個(gè)工作包彼此同步所需的組織。

EMB2和MTAPI的一個(gè)關(guān)鍵方面是它們支持能夠?qū)ν蝗蝿?wù)使用不同實(shí)現(xiàn)的概念。如果構(gòu)成庫(kù)的一部分的調(diào)度程序確定硬件結(jié)構(gòu)中有資源可用，則它將運(yùn)行能夠?qū)嵗匾壿嫷拇a版本，并允許數(shù)據(jù)流入和流出。如果處理器上有更大的空間，則可以標(biāo)記純軟件版本以備運(yùn)行。開(kāi)發(fā)人員只需確保兩個(gè)表單都可供調(diào)度程序調(diào)用。結(jié)果是高性能應(yīng)用程序的靈活執(zhí)行環(huán)境和適合OpenCV架構(gòu)的應(yīng)用程序。

結(jié)論

由于靈活的開(kāi)源庫(kù)和平臺(tái)的結(jié)合提供高速微處理器和可編程硬件，現(xiàn)在可以實(shí)現(xiàn)適用于工業(yè)物聯(lián)網(wǎng)的高效機(jī)器視覺(jué)應(yīng)用。