利用新型的處理硬件架構，以10至100 Gbit / s或更高的速度處理視頻流。

背景

諸如3D成像，虛擬現實和廣播之類的高級視覺系統依賴一個或多個高分辨率，高速相機。這些攝像頭系統每秒捕獲并傳輸多個千兆像素，這些像素需要實時處理或壓縮。盡管攝像頭傳感器技術和支持接口正在迅速發展，但是傳統的基于PCIe / CPU / GPU的PC體系結構卻缺乏以這種數據速率捕獲，處理和存儲圖像所需的性能。

基于高端FPGA的圖像采集卡具有超快的收發器和巨大的板載內存帶寬，為實時處理和壓縮提供了必要的基礎設施。開放式FPGA架構允許開發人員定制其采集路徑，并嵌入自己的圖像處理算法和壓縮塊。有了Gidel的ProcVision IDE這樣的支持生態環境和開發工具，FPGA代碼開發被大大簡化和加速，不再需要深厚的FPGA專業知識。因此，視覺系統設計者現在可以以前所未有的性能實現定制的、具有成本效益的千兆像素解決方案。

圖像傳感器正在引領潮流

CMOS圖像傳感器技術的進步使多百萬像素的成像器能夠以具有成本效益的價格獲得數百至數千FPS的幀率。Gpixel、Luxima Technology、Teledyne e2v、AMS/CMOSIS、安森美和索尼等公司正在為這一發展做出重大貢獻(見圖1)。

圖1：在通用視頻接口標準的有效帶寬上的高端圖像傳感器的分辨率和幀速率。

下一代圖像傳感器將產生每秒160千兆比特（Gbps）及以上的數據速率。此外，多攝像頭的應用已經變得無處不在，特別是在從虛擬現實到廣播、監控、醫療成像以及三維或高分辨率的質量檢測等領域。例如，一個三維體育廣播系統，可能包括30多個攝像頭，每個攝像頭的分辨率為65MP，速度為30fps。

最新的高端圖像傳感器和多攝像頭應用分別提供每秒幾千兆像素和幾百兆比特的數據。這些巨大的數據速率需要被實時捕獲、預處理、分析，而且往往還需要以高精度同步和低延遲的方式進行壓縮和存儲--這一要求遠遠超過了基于CPU架構的能力。相反，這種需求只能通過利用FPGA、GPU和/或CPU的獨特能力的新型異構處理解決方案來滿足。

高帶寬挑戰

對于超過20Gbps的傳感器數據傳輸速率，在標準化的相機接口中只有少數選擇：25、50或100GigE、多鏈路CoaXPress v2和PCIe。在20+Gbps時，光纜取代銅纜，將傳輸距離從25米延長到40公里。

高帶寬成像的另一個挑戰在于將視頻流傳輸到主機的高性能處理器，無論是GPU、FPGA還是CPU。視頻采集卡的主板接口通常是PCIe Gen.3 x8，有效帶寬僅為48Gbps。此外，在主機處理系統中，CPU/GPU和顯卡與主存儲器之間的RAM橋必須運行得足夠快，以避免幀丟失。智能網卡成功地分配了PCIe上的峰值負載，并大大減少了主機CPU上的工作量，但這往往是以處理能力不足導致的圖像幀丟失為代價的。

秒千兆像素實時處理解決方案

想要達到幾十上百Gbps的數據速率，除了昂貴的ASIC之外，只有基于高端FPGA的圖像采集卡架構才能提供必要的處理性能來克服上述挑戰。這些采集卡擁有遠甚于傳統的預處理步驟，以執行復雜的成像算法，從小波變換一直到深度學習推理和實時壓縮。壓縮是克服PCIe和主機內存帶寬瓶頸的一個強制性功能。

這種高端圖像采集卡的設計本身就是一個挑戰，特別是在涉及利用來自多個圖像區域或多個傳感器的數據的算法的實現時。為了規避可能的瓶頸并實現分布式處理的靈活性，圖像采集卡必須包括功能強大的收發器，足夠的FPGA資源，高機載內存訪問權限和快速DMA卸載引擎。

這樣的圖像采集卡通常包括訪問速度為TB/s的FPGA內部存儲器，以及訪問速度為數百GB/s的10+ GB DDR4板載存儲器。 在FPGA上實現機器視覺算法通常需要在FPGA編程方面有深入的專業知識。此外，在單個FPGA上實現多攝像機采集和處理需要集成多接口，攝像機協議，多源處理算法，存儲器控制器，I / O端口控制和主機橋。除了性能優化的架構之外，至關重要的是，圖像采集卡還應由集成開發環境（IDE）支持，該集成開發環境使非FPGA專家能夠開發成像算法并集成多個FPGA功能塊。

高帶寬優化的開放式FPGA采集卡

以色列技術領導者吉德爾（Gidel）擁有近三十年的經驗，創建了一個針對超高帶寬和多傳感器采集而優化的現成圖像采集生態系統，使開發人員可以將自己的專有算法代碼添加到現有的采集流水線。得益于專用的開發套件，添加圖像處理算法和定制采集路徑非常簡單，甚至可以由非FPGA專家執行。Gidel的開發套件可在不影響性能的情況下極大地加速系統開發。

Gidel的PCIe圖像采集卡，模塊和載板使視覺系統設計人員可以利用FPGA技術的最新進展，例如Intel的Stratix 10和Arria 10系列。Gidel的最新Proc10N模塊能夠同時捕獲和處理多達4 x 100 GigE攝像機或16 x 10 GigE攝像機，并具有精確的低延遲同步。通過以300 GB/s的速度訪問DRAM，Proc10N甚至可以在帶寬要求最高的應用中實現實時處理。Stratix 10 NX具有出色的矩陣計算功能，帶有專用的Tensor塊，是高性能推理計算（包括復雜的深度學習網絡）的理想選擇。

編輯：jq