想知道圖像傳感器輸出的圖像如何通過(guò)FPGA變成我們看到的色彩斑斕的圖片嗎？今天我們就帶你一探究竟。

01

什么是Raw像素？

我們通常看到的照片都是經(jīng)過(guò)ISP以及一些列圖像處理后的結(jié)果，那么最原始的由圖像傳感器輸出的像素是什么樣子的呢？你看到的美美噠畫(huà)面是這樣的：

圖1

但其實(shí)傳感器輸出的畫(huà)面是類似這樣的：

圖2

沒(méi)錯(cuò)這就是我們常說(shuō)的Raw像素構(gòu)成的Bayer模式，很多玩單反的人都知道大部分單反相機(jī)都支持Bayer格式Raw像素模式輸出照片，原因是Raw像素是傳感器獲得的最原始的圖像信息，方便我們后期做處理。今天我們要說(shuō)的就是如何用FPGA處理Raw像素。在此之前我們還是先對(duì)Raw像素和Bayer格式有個(gè)大概了解吧。

我們可以認(rèn)為每個(gè)像素均由紅綠藍(lán)俗稱RGB三個(gè)顏色分量組成，對(duì)于Raw像素你可以認(rèn)為它是只含有一個(gè)顏色分量的像素。對(duì)于Bayer模式，我們來(lái)看一組圖，一副圖像如果只顯示它的偶數(shù)行偶數(shù)列，并且只顯示它的紅色分量，那么看上去就是如圖3的樣子：

圖3

如果只顯示奇數(shù)行奇數(shù)列并且只顯示它的藍(lán)色分量，那么它就是圖4的樣子：

圖4

剩下的像素只顯示它的綠色分量，就是圖5的樣子。

圖5

我們把這三個(gè)分量組合起來(lái)就看到圖2的那種帶有彩色馬賽克的圖片，這也就是我們常說(shuō)的Bayer格式。當(dāng)然傳感器輸出的Raw像素并不是這么得來(lái)的，這里只是舉個(gè)栗子給大家形象的解釋一下Bayer格式里Raw像素是如何分布的。

接下來(lái)我們就說(shuō)說(shuō)如何用FPGA實(shí)時(shí)做De-Bayer。

02

如何用FPGA做De-Bayer？

這里所謂的De-Bayer就是將Bayer格式轉(zhuǎn)換成正常的RGB格式。我們采用雙線性插值法，這是一個(gè)平衡計(jì)算量和圖像質(zhì)量的算法。雙線性插值法是利用它自己鄰近的4個(gè)像素的顏色分量來(lái)補(bǔ)充自己所缺失的兩種顏色分量。

傳感器輸出像素通常是逐行掃描的方式，所以首先需要利用FPGA構(gòu)建3*3的模板。

圖6

如圖6，通過(guò)移位寄存器和FIFO構(gòu)建3*3的模板。FIFO的功能是用來(lái)做圖像行緩存，所以FIFO的大小需要根據(jù)圖像的分辨率以及像素位寬來(lái)確定。Lattice Crosslink 芯片片內(nèi)擁有20個(gè)9K的分布式RAM，可用于做行緩存。

雙線性插值算法是計(jì)算該像素左右上下像素的均值來(lái)作為填充顏色，對(duì)于逐行掃描輸出的傳感器完全可以用流水線處理的方法來(lái)做加法和除法運(yùn)算，從而達(dá)到很好的性能。這里要注意的一點(diǎn)是邊界的處理問(wèn)題，因?yàn)檫吔缦袼匚覀儫o(wú)法為它構(gòu)建3*3模板，這里對(duì)于邊界像素可以采用鄰近像素顏色插值的方法來(lái)進(jìn)行處理。

目前許多傳感器都是MIPI接口，而Crosslink本身就擁有強(qiáng)大的MIPI橋接功能，加入De-Bayer這對(duì)于Crosslink來(lái)說(shuō)就可以輕松實(shí)現(xiàn)CSI-2輸入DSI輸出。此外Crosslink處理雙線性De-Bayer速度可以滿足148.5兆赫茲，這就意味著可以處理1080p 60幀的CSI-2轉(zhuǎn)DSI。