作者：DR. TIBOR KOZEK，JUJU JOYCE，SUHEL DHANANI

現代電光/紅外（EO/IR）系統變得越來越復雜，因此需要FPGA最好提供的處理能力。這些系統中最關鍵的設計挑戰是將高性能傳感器/視頻處理與低功耗相結合。為了幫助解決這一難題，本文介紹了關鍵的傳感器處理和視頻處理算法，以及如何在FPGA上實現它們。

便攜性和多功能性，加上領先的 COTS 技術，是許多現代航空航天和國防 （A&D） 傳感器平臺的特征。無論是安裝在無人機系統（UAS）、人包上，還是作為自主傳感器留下來，光電/紅外（EO/IR）系統都變得極其復雜，需要FPGA提供的最好處理能力。由于低尺寸平臺中的可用能量和散熱，功率限制也收緊了。

這些軍用成像系統變得越來越復雜，并集成了多個先進的傳感器 - 從熱紅外到可見光譜，甚至紫外焦平面。不僅這些傳感器輸出必須全部校正（有缺陷的像素校正和顏色校正）并進行插值，而且來自多個傳感器的圖像必須融合，覆蓋和進一步處理，以便在戰場上進行本地顯示和/或傳輸。這些系統的關鍵設計挑戰是將高性能傳感器/視頻處理與低功耗相結合。以下討論重點介紹一些關鍵的傳感器處理和視頻處理算法，以及如何在FPGA上實現這些算法。由于基于 FPGA 的設計減少了元件數量，同時增加了靈活性，因此降低了系統功耗。

典型傳感器處理系統

FPGA 是幾乎所有最先進的 EO/IR 系統的首選平臺，因為它們滿足了可編程性、高性能傳感器/視頻處理和低功耗的要求。

事實上，每一代新一代低功耗 FPGA 的特性都通過結合使用架構增強功能和更低的內核電壓，以及硅特征尺寸縮小帶來的幾何優勢，顯著降低了靜態和動態功耗。

傳感器處理

EO/IR系統中使用的圖像傳感器的輸出需要使用算法進行校正，例如用于非均勻性校正和像素替換的算法。雖然這些算法通常只需要每個像素進行一些數學運算，但需要以像素速率進行計算，并且每個像素的數據可能不同。在這種情況下，FPGA是一個理想的平臺，因為架構中固有的并行性，以及算法IP的現成可用性，以實現視頻處理功能。

對于非均勻性校正，需要將像素特定系數流式傳輸到實現校正公式的邏輯塊中。對于較小的傳感器，這些系數可以存儲在內部FPGA存儲器中。根據傳感器的分辨率和系數的精度，內存要求會有所不同。對于較大的傳感器，這些數據需要緩沖在外部存儲器中，并與每個視頻幀的像素流同步讀出。在任何一種情況下，通常都需要根據一些選定的參數（例如焦點陣列（FPA）溫度）來更改校正數據集，該溫度從地面到高度變化很大。

這種算法的典型數據流將雙重緩沖校正系數，以允許來自閃存的相對較慢的數據流在應用新數據集之前完成。FPGA的主要優勢之一是能夠創建適合算法的數據路徑，而不是改變算法以適應預定義的架構。這對于實現低功耗至關重要。FPGA中的海量I/O和大量邏輯元件允許輕松實現并行性，現成的IP算法有助于簡化設計。表1顯示了一些可用于FPGA的更典型的傳感器處理算法，例如Altera的Cyclone系列中的算法。

表 1：適用于 FPGA 器件的典型傳感器處理算法，如阿爾特拉的旋風系列。

FPGA降低EO/IR傳感器系統功耗的另一種方法是大幅降低占位面積。例如，圖1顯示了一個基于Altera Cyclone FPGA的系統，該系統實現了具有集成處理功能的熱傳感器。FPGA 可執行實時圖像增強、圖像穩定和數字增強分辨率，還可以驅動集成的微顯示器。在這種情況下，FPGA功耗約為500 mW。

圖 1：集成圖像處理的熱傳感器系統。

視頻處理：混合和縮放

軍用EO/IR系統通常包括多個圖像傳感器，其輸出必須融合在一起并顯示在具有非標準分辨率的自定義顯示器上。（“非標準”意味著分辨率不同于典型的臺式機或筆記本電腦LCD。視頻處理系統可用于在自定義顯示器上從兩個視頻源生成復合圖像。FPGA內部的視頻數據路徑可以從多個源生成復合圖像。

輸入視頻首先格式化為所需的色彩空間，然后與多個其他視頻流進行縮放（調整大小）和混合（alpha混合）。縮放和混合是最常用的視頻功能之一，可以使用FPGA可用的現成IP算法來實現。

縮放可以像復制（或刪除）前一個像素一樣簡單，也可以使用復雜的插值過濾技術來實現以生成新像素。圖 2 顯示了可用于縮放的不同算法之間的差異。

圖 2：不同的視頻縮放算法及其在視頻縮放IP中的實現

該圖說明了所有生成的像素（以純黑色顯示）與所有原始像素（以白色顯示）。有許多方法可以生成純黑色像素;例如，最近鄰算法復制前面的像素。更復雜的方法是取垂直和水平維度的兩個相鄰像素的平均值。有時這被稱為雙線性縮放 - 雙線性，因為它使用大小為2x2的像素數組來計算單個像素的值。

進一步了解這一概念，可以通過在水平維度中使用“m”像素和在垂直維度中使用“n”像素來計算新像素。圖 2 還顯示了如何使用每個維度中的四個像素生成像素（也稱為四抽頭縮放引擎）。

當然，這個技巧涉及分配給每個像素的權重 - 在通過算法實現時也稱為系數。系數將決定縮放圖像的質量。

圖 2 描述了一個可用于交替旋風 FPGA 的此類擴展 IP 核。此功能預集成了各種“Lanczos”過濾器功能。Lanczos 多元插值方法用于計算任何數字采樣數據的新值。當用于縮放數字圖像時，Lanczos 函數指示原始圖像中的哪些像素和比例組成最終圖像的每個像素。

也可以從一系列Lanczos算法中進行選擇以縮放圖像或完全繞過它們以支持自定義系數。在任何一種情況下，該函數都會自動執行為本質上是二維濾波器的HDL代碼生成繁瑣的工作。它還將其映射到各種FPGA結構，如DSP模塊和嵌入式存儲器模塊，從而提高生產率并縮短整體設計時間。

視頻疊加

另一個常用的功能是混合和覆蓋兩個或多個視頻流。這通常由 alpha 混合函數完成。這是一種從兩個或多個像素生成復合像素的方法。為一個像素分配一個稱為 alpha 的不透明度值。當 Alpha 為零時，該像素是完全透明的（即：不顯示）。當相同的 Alpha 值為 1 時，像素是完全不透明的 – 只能看到該像素，而不顯示另一個像素。

在數學術語中，復合像素的值計算如下：

C = αP1 + （1-α）P2

哪里

α是阿爾法值

P1 是視頻層 1 中的像素 1

P2 是視頻層 2 中的像素 2

C 是復合像素

可以使用相同的技術來創建半透明圖像，因為 alpha 值可以設置在 0 到 1 之間的任何位置。

組合來自兩個（或更多）圖像的信息的一種更復雜的方法是利用圖像融合算法。想象一下，一個熱紅外傳感器和一個可見光圖像傳感器描繪了同一個場景，但每個傳感器都包含圖像不同部分的信息。

如果可以應用 Alpha 混合來選擇一個圖像或另一個圖像在組合輸出中的主導地位，那么 alpha 就沒有一個單一的值可以從傳感器中提取所有可用的信息。

左上角的可見圖像包含有關周圍環境的信息，而右側的熱視圖僅顯示背景溫差的可識別特征。相反，熱傳感器的性能不受場景中強光源的影響，而可見光攝像機則由于飽和而在同一區域內不提供任何信息。

在融合視圖中，來自兩種輸入模式的信息的無縫組合是逐個像素實現的。一種模式中缺少的細節從另一種模式中“填寫”，反之亦然。最簡單的融合形式之一是對根據局部圖像統計數據計算的每個像素應用具有不同 Alpha 值的 alpha 混合。然而，最先進的融合算法通常不止于此，并對輸入圖像進行分解，從而提取每個像素周圍的相關特征。然后將這些特征組合在一起形成融合圖像。

審核編輯：郭婷