人腦是我們所知道的最先進的緊湊型處理單元;但是，由于采用了新的處理器，工具，架構和軟件，圖像處理方面的改進可能會很快超過我們。新技術及其快速采用率為工業制造和檢驗，以及醫藥，消費電子/游戲，當然還有機器人技術提供了巨大潛力。

目前，我們正在開展先進的功能，如當執行諸如填充水的簡單任務時，比例，積分和微分（PID）功能。事實上，我們進行了如此復雜的運動控制和平衡，機器人可能很快就會羨慕我們。然而，我們出色的能力之一就是我們能夠在視野中挑選模式，執行物體識別，深度感知，軌道運動和測量相對速度甚至加速度，使我們與大多數機器區別開來。

早期的圖像處理主要集中在澄清靜止圖像上，許多邊緣增強算法和細微的細節都沒有在快速幀率和高度剛性圖像上進行。處理器更簡單，更慢，并且執行DSP功能的能力更低，因此結果粗略，獲取速度慢，并且遠不如辨別人眼和大腦那么可靠。

然而，隨著我們改進機器，我們開始為它們提供我們無法比擬的卓越功能，圖像和實時視頻處理是我們未來的機器（霸主？）將擁有的這些功能之一。這要歸功于處理器，工具，算法和我們現在正在制定的啟發式方法，我們能夠為機器提供這些功能，這些功能可能很快就會超出我們自己的能力。

內存和架構問題

視頻信息在數字域，因此無論圖像來自NTSC，PAL，RGB，YUB，分量還是隔行掃描或非隔行掃描的HD源都無關緊要。前端同步和解碼器芯片和硬件階段可以很好地捕獲圖像像素并將它們填充到內存陣列中，通常作為光柵化掃描線。

內存架構和拓撲結構很重要，但是，因為它們會影響處理器訪問和操作數據的方式。例如，您可以以線性方式將圖像數據壓縮到存儲器中，但這可能意味著相鄰幀不會在位可尋址存儲器邊界處排列。例如，使幀的掃描線的第一行在二進制計數器的零點處對齊更快更容易。比較連續幀數據變得更容易訪問和獲得，如果不需要復雜的尋址方案來索引和逐幀地觀察視野的相同部分。

另一個與記憶相關的因素可以簡化視頻處理和信息提取與位平面分離有關，特別是隨著像素分辨率和調色板深度的增加。當發生這種情況時，以最高有效位（MSB）到最低有效位（LSB）方式查看單色圖像的能力允許邊界和邊緣突出（圖1）。僅查看MSB渲染圖像時會出現最大的對比。可以提取一些深度和灰度信息，查看連續不太重要的位渲染圖像。

圖1：位平面分離允許邊緣更清晰地突出，因為最高有效位（MSB）顯示出比最低有效位更多的對比度（最低有效位）。這意味著需要對并行視頻數據進行抽取，并將位大小分成單獨的單色存儲器平面。 （來源：Digi-Key）

這意味著必須將圖像數據實時分離為面向比特的高效內存塊，處理器可以將其編入索引并快速檢查。這是硬件架構發揮作用的地方。

并行與流水線

可以使用兩種主要的架構方法來完成實時視頻處理任務。第一種是使用多個處理器并為每個處理器分配問題的一部分，可以是并行，串行或兩者。例如，每個檢查位平面分離的存儲器塊的24個處理器的陣列可以比必須一次檢查每個塊的單個處理器快24倍地辨別邊緣和邊界。任務執行處理器將任務委派給每個單獨的處理器，并以部分“消化”的形式檢查壓縮結果。這使得下一階段決策處理器能夠以更加靈敏的方式對數據采取行動。

當涉及立體視覺處理時，這一點尤為重要，因為深度感知更容易實現。位平面分離的圖像可以顯示邊緣，但是，每個相機的存儲塊的不同部分中的相同邊緣的位置將是用于從數字三角測量算法確定深度的位置。由于這些邊緣在兩個相機的存儲塊之間逐幀移動，處理器可以比使用逐幀彩色像素嘗試更快地提取距離，速度和方向數據（圖2）。 p>

監視各個位平面的各個處理器可以容納著色，光源，甚至可以識別被跟蹤對象的部分模糊邊緣，因為它在視野中的其他移動或靜止物體的前方和后方移動。

圖2：立體成像可以通過檢查檢測到的存儲器陣列中的位置來利用位平面分離帶來的對比度作為每個相對圖像的失真。當物體在連續幀中移動時，這些可用于確定深度以及相對運動。 （來源：Digi-Key）

同樣重要的是要注意可以使用抽取的像素和調色板分辨率。并非每一位24或36位A/D轉換的彩色像素都需要提取所需的信息。環境光級別和著色可用作算法的一部分，以確定分辨率的最佳抽取。

簡單與復雜架構

術語處理器可在此處有所不同。它可以是相當高功率，快速時鐘的CISC DSP類型的功能，或基于硬件的功能RISC模塊，或介于兩者之間的任何位置。這是設計工程師可以做出的另一種架構選擇。

我們是使用具有復雜架構和信號處理功能的多處理器還是多核處理器，還是使用在分立硬件中實現的專用邏輯塊像FPGA結構？兩者都是有效的方法，并且都帶有它們的特征和好處。此外，它們不是相互排斥的：它們可以一起用于為手頭的任務創建最佳解決方案。

例如，用于質量控制檢查應用程序等應用程序的視覺系統可以使用類似快照的檢查算法，查看焊接連續性，焊盤完整性，電路板走線一致性和結構缺陷等特定事項。當電路板移動通過靜止視野時，或者當攝像機使用機器人機制移動時，就會發生這種情況。

像NXP i.MX 6DualPlus和i.MX 6QuadPlus這樣的多核處理器系列應用處理器專為圖形密集型應用而設計。該系列具有1.2 GHz ARM Cortex-A9處理器，具有高級內存管理和64位DDR3接口或與內部L2高速緩存RAM集成的雙通道32位LPDDR2內存。

此背景是使用四維720-MHz著色器的3D圖形加速，可以使用專用硬件提供高性能圖形。特殊部件，如四核32位MCIMX6QP5EYM1AA支持 - 硬件 - 高達1920 x 1200（HD）分辨率的雙顯示器，這意味著幀存儲器和刷新本質上支持圖像采集和顯示（對于調試和測試非常有用） out算法），以及圖像處理。

硬件大小調整和反交錯簡化了視頻數據格式化和索引，以允許更多編碼資源用于圖像數據處理和覆蓋到顯示數據上。這種重疊的示例包括調整大小的圖像，其可以查看數據幀的特定部分以減少處理時間。另一個例子是使用著色器，不僅可以使圖像更加突出人眼，還可以在要處理的圖像中顯示細節。

示例代碼和硬件設計也是此外，還使用恩智浦MCIMX6QP-SDB開發平臺，該平臺包括完整的硬件設計文件，并直接支持Android，Linux和FreeRTOS操作環境。為了簡化接口，HDMI連接以及LVDS連接和支持兩個1 GHz MIPI DSI數據通道，以及相機MIPI CSI端口（圖3）。

圖3.恩智浦MCIMX6QP-SDB開發平臺的多核處理器可以實時渲染和處理圖像數據，如開發環境工具包和演示軟件所示。 （來源：恩智浦）

這些處理器本身可以編碼，以便在單個高分辨率立體快照幀中查看許多焊點的圓錐形狀，例如，根據需要應用于印制電路板質量檢測視頻處理。

此外，可以級聯多個處理器以擴展功能。但是，當軟件仍然太慢時，專用硬件本身或與這些高端類型的處理器結合使用可以將性能提升到最高水平。

基于硬件的算法

流水線硬件邏輯序列發生器總是比基于軟件的處理器執行得更快。管道填充可能需要幾個周期，但是一旦填滿，每個時鐘周期都會提供處理和消化的信息，而不是編碼方法可能需要的多個時鐘周期才能達到相同的交付水平。

雖然檢測機可能不需要基于硬件加速的超快速度，但許多應用都會。與敵方野戰炮兵機器人作戰的野戰炮兵機器人只有在其目標獲取，動作控制和準確性優越的情況下才能獲勝。最快，最簡化的硬件將繼續存在。

現代邏輯陣列具有密度，速度和深度，以及內存和外設接口，可以適應非常復雜的任務，包括實時視頻。大規模邏輯陣列的多門級架構在很大程度上已被查找表（LUT）邏輯元件所取代，這些邏輯元件能夠在單個同步時鐘周期內輸出每個邏輯塊的結果。請記住，現代邏輯陣列的時鐘頻率可以達到GHz。

要使用FPGA開發視頻處理算法，您需要使用實現目標部件的平臺，處理邏輯代碼模式的上傳，提供對I/O的訪問，具有干凈的時鐘源，并包括針對特定需求的良好混合片上硬宏，例如鎖相環（PLL）和高速存儲器接口。一旦您確定了制造商和零件系列，開發平臺就會落實到位。

例如，采用National Instruments的Digilent Nexys視頻FPGA板，采用Xilinx高密度，高性能的Artix FPGA系列（圖4）。它們的范圍從1300到16,825個邏輯單元和45到740個DSP切片功能塊。一個關鍵特性是雙端口RAM速度高達509 MHz，允許通過獨立的邏輯階段進行并發訪問和修改。

圖4.使用開發平臺（例如National Instruments的Digilent Nexys視頻FPGA板）大大簡化了使用FPGA開發流水線視頻算法，其中包括視頻處理輸入和輸出提供性能最高的高密度FPGA（在本例中來自Xilinx。）（來源：Nexys，一家美國國家儀器公司）

National Instruments主板采用低功耗1 V內核，具有四通道功能SPI Flash和DDR3存儲器接口分別用于直接訪問非易失性和易失性存儲器的外部池。 HDMI和DVI接口也包括使用最小化轉換差分信令（TMDS）標準。

雖然開發平臺是在相對較快的時間范圍內評估和設計風險相對較低的好方法，但最終，您我們想要開發自己的主板并使用自己的測試和開發平臺。幸運的是，Xilinx Vivado工具套件受免費的Webpack許可證支持，該許可證包括能夠創建Microblaze軟核處理器，可以在FPGA內部用作流程引擎來指導和管理基于邏輯的流水線架構的可編程性。可以在Nexys站點下載設計資源，示例項目，數據表和教程。

結論

采用低功耗，高性能半導體和正確的工具，架構和算法，機器將在我們曾經認為我們遠遠優越的領域迅速超越人類，例如模式識別，物體識別，深度感知，運動跟蹤以及測量相對速度甚至加速度的能力。

不只有這樣才能實現工業控制和醫療領域的新應用，還能實現消費電子，游戲，當然還有機器人技術。