典型的嵌入式視覺系統(tǒng)必須處理視頻幀，從這些處理的幀中提取特性，然后根據(jù)所提取的特性來決定下一步的動作。在你談?wù)摳咔寤?K2K視頻時，基于像素的任務(wù)中每個像素可能需要數(shù)百個操作，并且需要數(shù)百個GOPS（千兆運(yùn)算/秒）。 相比之下，基于幀的任務(wù)，每秒“僅”需要百萬次的操作，但是算法更加復(fù)雜。你需要一個硬件實(shí)現(xiàn)像素級任務(wù)，同時快速處理器能夠處理更復(fù)雜的“基于幀”的任務(wù)。

Avnet的技術(shù)營銷工程師Mario Bergeron在嵌入式視覺峰會上對此做了一個演講。

Bergeron演示了一個臉部識別和視線跟蹤應(yīng)用的幻燈片，其通過采用針對賽靈思全可編程器件的Xylon公司 LogicBricks IP實(shí)現(xiàn)的， 他還展示了系統(tǒng)如何分配硬件和軟件之間的應(yīng)用任務(wù)，如下圖所示。

一個重要的因素要注意：在將其發(fā)送到微處理器之前，硬件減少了54x的圖像數(shù)據(jù)率。

在Bergeron 演講中提到的一個最有趣的點(diǎn)是嵌入式視覺設(shè)計(jì)者所必須要處理的范圍廣泛的接口。Bergeron展示了一個安森美半導(dǎo)體的PYTHON圖像傳感器系列中4個圖像傳感器的幻燈片。傳感器系列包括了這類器件，其圖像大小范圍從640x480像素 到5120x5120像素，幀速率范圍從80到840幀/秒，和多個LVDS I/ O引腳的帶寬要求范圍從2.88到19.84Gbps。 制作一個可以處理這類圖像傳感器系列中所有傳感器的硬件是很難的，但是交由賽靈思全可編程器件聯(lián)合XYLON和Auviz Systems廠商的現(xiàn)成IP核來處理就會很容易。

Bergeron 提到的另一個工具是針對賽靈思Zynq SoCs 和MPSoCs 的全新SDSoC開發(fā)環(huán)境，該開發(fā)環(huán)境提供了以軟件為中心，系統(tǒng)級優(yōu)化的編譯器，其可以接受使用C或C++編寫的系統(tǒng)描述，同時能自動生成實(shí)現(xiàn)所描述系統(tǒng)所需要的軟件應(yīng)用和硬件配置。該SDSoC開發(fā)環(huán)境采用軟件編譯器、HLS（高層次綜合）和預(yù)設(shè)的硬件基礎(chǔ)設(shè)施來搭建這樣的系統(tǒng)。

Bergeron在與嵌入式視覺峰會相連的展覽會上的Avnet平臺中展示了上述描述的應(yīng)用。演示展示了實(shí)時運(yùn)行在賽靈思Zynq SoC上的臉部識別應(yīng)用，在MicroZed SOM (系統(tǒng)模塊)上插入了一個特別的載卡。同時， MicroZed SOM和載卡構(gòu)成Avnet嵌入式視覺開發(fā)套件，它可以接受來自多個供應(yīng)商的圖像。