監(jiān)控系統(tǒng)中對更高質(zhì)量視頻圖像的需求需要在傳感器和可用視頻數(shù)據(jù)之間建立高級鏈接。僅由軟件處理組成的圖像處理系統(tǒng)無法滿足這些需求，基于ASIC的系統(tǒng)無法提供所需的靈活性。由于像素處理的計算密集型特性，使用JPEG2000編碼的基于FPGA的成像處理設(shè)計提供了一種強大而靈活的方法。

高清數(shù)字視頻已變得司空見慣;我們大多數(shù)人都在自己的家中擁有高清設(shè)備。然而，將該技術(shù)轉(zhuǎn)移到實時軍事監(jiān)視應(yīng)用在捕獲高清圖像和分發(fā)大量數(shù)據(jù)方面帶來了重大挑戰(zhàn)。圖像傳感器現(xiàn)在正在千兆像素領(lǐng)域生產(chǎn)，使用較小的百萬像素探測器陣列實現(xiàn)。圖像數(shù)據(jù)采集必須靈活，以便于與各種傳感器接口，并且必須與數(shù)據(jù)處理和壓縮緊密耦合才能分發(fā)數(shù)據(jù)。與傳統(tǒng)軟件或ASIC成像處理系統(tǒng)相比，利用FPGA協(xié)處理器具有許多優(yōu)勢，并且可以將復(fù)雜的算法打包到一個小型，功能強大的設(shè)備中。

因此，基于FPGA的處理器可以在高清圖像傳感器和低帶寬JPEG2000壓縮數(shù)據(jù)之間提供關(guān)鍵鏈路。可重構(gòu)計算的這一趨勢使得滿足機載和地面車輛平臺（如捕食者無人機、收割者無人機、蜂鳥無人機直升機、MULE自主地面機器人、浮空器等）中強大成像系統(tǒng)的需求成為可能。基于 FPGA 的高性能計算允許軍事監(jiān)視系統(tǒng)接收和處理來自各種來源的高清傳感器數(shù)據(jù)，并使用 JPEG2000 壓縮數(shù)據(jù)以進(jìn)行傳輸。

像素處理對于 FPGA 而言是無痛的

圖像像素處理的高度計算特性可以在現(xiàn)代FPGA器件中高效實現(xiàn)。Virtex-6 SX475T FPGA 具有超過 475 K 個邏輯單元和 2，016 個嵌入式 DSP 模塊，可靈活連接到系統(tǒng)的其余部分，包括集成的 6.5 Gb 收發(fā)器以及許多其他功能強大的元件。這些特性允許在單個FPGA器件中將許多圖像處理功能流水線連接在一起，用于多個圖像傳感器。表1中詳述的示例圖像處理設(shè)計表明，全功能圖像處理和壓縮通道只需要不到7%的FPGA資源。

表 1：圖像處理系統(tǒng)示例 – FPGA 資源要求

（單擊圖形可縮放 1.9 倍）

圖像處理系統(tǒng)需求：夠硬嗎？

軍事監(jiān)視系統(tǒng)希望能夠查看廣闊的區(qū)域，例如大于16平方公里，因為“通過蘇打吸管觀察”無法獲得太多信息。此外，監(jiān)控系統(tǒng)通常必須在距離目標(biāo)數(shù)公里的距離內(nèi)運行，以保持安全，同時生成高分辨率圖像。所有這些都需要捕獲和處理大量的圖像數(shù)據(jù)。例如，DARPA ARGUS-IS系統(tǒng)使用368個500萬像素探測器（總計1.8千兆像素），能夠生成超過260 Gbps的原始數(shù)據(jù)。

這些數(shù)據(jù)必須在實時系統(tǒng)中捕獲和處理，通常具有極端的SWaP限制。此外，成像系統(tǒng)在捕獲原始像素數(shù)據(jù)后可能需要許多其他所需的功能才能使用：

有缺陷的像素校正

彩色濾光片陣列插值

色彩校正

伽瑪校正

色彩空間轉(zhuǎn)換

圖像降噪

邊緣增強

視頻縮放

視頻窗口 – 對象跟蹤

穩(wěn)

視頻壓縮（JPEG2000、H.264、MPEG-4）

數(shù)據(jù)加密

用于傳輸和/或存儲的視頻輸出

基于FPGA處理器的可重構(gòu)計算技術(shù)非常適合滿足這些苛刻的需求。這種方法比專用軟件處理系統(tǒng)更小、更快、更高效，并且比ASIC方法更靈活、更具成本效益。圖像傳感器和軟件處理之間的基本環(huán)節(jié)非常適合FPGA技術(shù)。

適應(yīng)各種圖像傳感器接口

監(jiān)控系統(tǒng)和其他成像平臺正在迅速發(fā)展和擴展，以利用各種傳感器進(jìn)行光學(xué)，紅外和合成孔徑雷達(dá)技術(shù)，并且圖像尺寸一直在增加。圖像傳感器的物理接口各不相同，因此處理系統(tǒng)需要一個靈活的模塊化接口，以便與這些系統(tǒng)一起擴展和擴展。可重構(gòu)計算系統(tǒng)通過支持多種格式和物理接口的傳入數(shù)據(jù)來滿足這一需求，例如，CameraLink、SDI、原始像素、LVDS、多千兆位串行接口、光纖等。基于FPGA的系統(tǒng)非常適合從各種來源和協(xié)議采集圖像數(shù)據(jù)，因為具有可編程I/O模塊、集成收發(fā)器和SERDES模塊。

此外，監(jiān)控系統(tǒng)可能具有許多不同的任務(wù)目標(biāo)，這些目標(biāo)需要在處理視頻數(shù)據(jù)時具有靈活性。例如，系統(tǒng)可能需要每隔幾秒鐘提供整個視場的全分辨率圖像，或者使用較小的圖像窗口跟蹤移動目標(biāo)，該窗口以10 Hz更新。系統(tǒng)可能需要控制圖像系統(tǒng)具有的數(shù)據(jù)帶寬，以便下行鏈路或存儲數(shù)據(jù)以供以后傳輸。基于FPGA的圖像處理器可以在系統(tǒng)中重新配置，從而允許在不修改硬件的情況下添加升級和附加功能，例如模式匹配或運動檢測。與任何預(yù)定義的圖像采集卡或基于ASIC的硬件相比，這是一個很大的優(yōu)勢。圖1顯示了可重構(gòu)圖像處理系統(tǒng)的靈活性，該系統(tǒng)能夠從各種源和接口接收圖像數(shù)據(jù)，實現(xiàn)一系列計算復(fù)雜的圖像處理功能，并通過各種接口輸出壓縮的視頻流。

圖 1：可重構(gòu)圖像處理硬件的靈活性

使用 JPEG2000 進(jìn)行前期數(shù)據(jù)壓縮

從任何系統(tǒng)中的彩色圖像傳感器接收的數(shù)據(jù)必須首先進(jìn)行插值以獲得每個像素的RGB分量，然后通常轉(zhuǎn)換為YCrCb色彩空間，以使用色度子采樣來減少數(shù)據(jù)量。然而，通過使用FPGA處理系統(tǒng)，視頻數(shù)據(jù)可以使用JPEG2000進(jìn)一步壓縮，并且在無損壓縮中將帶寬額外減少2：1，在視覺無損壓縮中減少10：1，在有損壓縮中最大可降低100：1。FPGA圖像處理器提供的壓縮數(shù)據(jù)允許系統(tǒng)輕松存儲，通過軟件進(jìn)一步處理，并將數(shù)據(jù)傳輸給用戶。使用 JPEG2000 進(jìn)行圖像數(shù)據(jù)壓縮可為系統(tǒng)提供卓越的結(jié)果，而無需預(yù)先進(jìn)行數(shù)據(jù)壓縮，并減少系統(tǒng)需要處理的數(shù)據(jù)。

JPEG2000編解碼器在軍事監(jiān)視應(yīng)用中特別受歡迎，因為它提供了非常高的性能，低延遲，執(zhí)行無損壓縮的能力以及其他非常有用的功能。這種壓縮標(biāo)準(zhǔn)的工作原理是使用小波變換將單個圖像幀分解成分辨率越來越低的子波段。然后將數(shù)據(jù)排列成數(shù)據(jù)包，其中包含有關(guān)連續(xù)像素組的信息。生成的圖像流提供了有用的功能，例如可選區(qū)域、可選分辨率、錯誤恢復(fù)能力和帶寬限制，此外還允許系統(tǒng)以圖像流的壓縮格式使用它。例如，JPEG2000數(shù)據(jù)可用于遠(yuǎn)程監(jiān)控系統(tǒng)，以從相同的圖像傳感器下行鏈接小型高清圖像窗口或廣域快照的靈活組合，而無需先解壓縮數(shù)據(jù)。

它也可以在特定帶寬下使用，只需提取部分JPEG2000數(shù)據(jù)并截斷流的更高分辨率部分即可。這對于傳輸圖像數(shù)據(jù)非常有用，因為圖像中最重要的信息可以使用不到20%的JPEG2000數(shù)據(jù)流來傳遞。由于每個視頻幀都經(jīng)過單獨壓縮，因此進(jìn)一步增強了這種誤差恢復(fù)能力，這使得數(shù)據(jù)鏈路能夠以較少的糾錯方式運行。因此，與其他壓縮標(biāo)準(zhǔn)相比，JPEG2000對數(shù)據(jù)丟失的擔(dān)憂較少，后者需要來自多個幀的信息進(jìn)行解碼。最后，JPEG2000數(shù)據(jù)可以在同一原始流中以不同的分辨率和質(zhì)量進(jìn)行查看。

雖然JPEG2000編碼器的實現(xiàn)相當(dāng)復(fù)雜，但FPGA提供了大量資源，可以在圖像處理設(shè)計中包含此功能。有一些 IP 核可隨時集成到 FPGA 設(shè)計中，或者 FPGA 可用于與 ADV212 ASIC（JPEG2000 片上系統(tǒng)）接口。這兩個選項都有自己的優(yōu)點和缺點（表2），這些編解碼器選項中的任何一個都可以在COTS硬件上使用，例如阿爾法數(shù)據(jù)ADM-XRC-5T2-ADV夾層FPGA板。

表 2：在 FPGA 中使用 IP 核實現(xiàn) JPEG2000 圖像壓縮時，與使用連接到 FPGA 的外部 ASIC 設(shè)備相比，需要進(jìn)行設(shè)計權(quán)衡。

將 COTS FPGA 硬件用于圖像處理器

為了 促進(jìn) 高級 圖像 數(shù)據(jù) 處理， 模 塊 化 FPGA 圖像 處理 板 （ 例如 基于 PMC/XMC 的 板 卡 ） 可以 用于 工業(yè) 標(biāo)準(zhǔn) 的 嵌入式 計算 系統(tǒng)， 包括 CompactPCI、 VME、 VXS、 VPX、 PCI、 PCI Express 和其他 外 形 規(guī)格 中的 系統(tǒng)。這些小型 （74 mm x 144 mm） 模塊可與最大的 FPGA 器件一起使用，可用于工作站開發(fā)系統(tǒng)，或直接移至堅固耐用的部署監(jiān)控系統(tǒng)中。對于 JPEG2000 壓縮，COTS 板提供 IP 核所需的大量板載內(nèi)存和/或?qū)Ｓ?JPEG2000 專用集成電路。主機計算系統(tǒng)可以輕松控制硬件圖像處理器卡以應(yīng)用用戶設(shè)置，重新配置FPGA以進(jìn)行各種視頻操作，控制圖像窗口，命令目標(biāo)跟蹤以及接收輸出視頻流。這種COTS硬件通常提供軟件驅(qū)動程序和API接口，使控制和數(shù)據(jù)傳輸在系統(tǒng)中無縫。

審核編輯：郭婷