首先來(lái)看下CMOS圖像傳感器長(zhǎng)啥樣：

我們都知道計(jì)算機(jī)不能處理模擬信號(hào)，只能處理數(shù)字信號(hào)，所以現(xiàn)實(shí)世界的光影也不能直接被計(jì)算機(jī)處理，所以要記錄數(shù)字影像，那么我們必須把真實(shí)的影像通過(guò)數(shù)字化轉(zhuǎn)變?yōu)橛?jì)算機(jī)能讀取寫(xiě)入的格式。因此我們就需要一種東西，能夠把光信號(hào)轉(zhuǎn)換為電信號(hào)，這也就是CCD和CMOS的由來(lái)，由于成本和功耗等等原因我們現(xiàn)在看到的數(shù)字相機(jī)和手機(jī)都是CMOS,具體原因展開(kāi)太麻煩所以也就不詳細(xì)說(shuō)了。

每一個(gè)CMOS像素都包括感光二極管(Photodiode)、浮動(dòng)式擴(kuò)散層(Floating diffusion layer)、傳輸電極門(mén)(Transfer gate)、起放大作用的MOSFET、起像素選擇開(kāi)關(guān)作用的M0SFET.在CMOS的曝光階段，感光二極管完成光電轉(zhuǎn)換，產(chǎn)生信號(hào)電荷，曝光結(jié)束后，傳輸電極門(mén)打開(kāi)，信號(hào)電荷被傳送到浮動(dòng)式擴(kuò)散層，由起放大作用的MOSFET電極門(mén)來(lái)拾取，電荷信號(hào)轉(zhuǎn)換為電壓信號(hào)。所以這樣的CMOS也就完成了光電轉(zhuǎn)換、電荷電壓轉(zhuǎn)換、模擬數(shù)字轉(zhuǎn)換的三大作用，通過(guò)它我們就能把光信號(hào)轉(zhuǎn)化為電信號(hào)，最終得到數(shù)字信號(hào)被計(jì)算機(jī)讀取，這樣，我們就已經(jīng)擁有了記錄光線明暗的能力，但這還不夠，因?yàn)槲覀冃枰省?/p>

現(xiàn)代彩色CMOS的原理也很簡(jiǎn)單，直接在黑白圖像傳感器的基礎(chǔ)上增加色彩濾波陣列(CFA)，從而實(shí)現(xiàn)從黑白到彩色的成像。很著名的一種設(shè)計(jì)就是Bayer CFA（拜耳色彩濾波陣列）。一個(gè)很有趣的事就是，我們用來(lái)記錄光影的CMOS,和我們用來(lái)輸出光影的顯示器，原理也剛好是向相反的，CMOS把光轉(zhuǎn)化為電信號(hào)最后以數(shù)字格式記錄，顯示器把解碼的數(shù)字格式從電信號(hào)重新轉(zhuǎn)化為光。光電之間的轉(zhuǎn)換也就構(gòu)成了我們?nèi)祟?lèi)數(shù)字影像的基礎(chǔ)。好了回到正題，為什么是RGB三種顏色？為什么G的占比要高于R和B呢？

這是因?yàn)槿艘暰W(wǎng)膜上的感光細(xì)胞分為兩種：視錐細(xì)胞和視桿細(xì)胞，分別對(duì)應(yīng)人眼的明視覺(jué)和暗視覺(jué)。視錐細(xì)胞又分三種：紅色感光細(xì)胞、綠色感光細(xì)胞、藍(lán)色感光細(xì)胞，它們對(duì)照明的明暗條件敏感度較低，只有當(dāng)光照強(qiáng)度達(dá)到一定條件錐細(xì)胞才能夠起作用。視桿細(xì)胞對(duì)光照的敏感度較高，可以在光照條件很暗的情況下對(duì)景物成像，卻不能感受顏色。這也解釋了為什么在晚上的時(shí)候人仍然能夠看到物體,卻不能有效地分辨物體的顏色的現(xiàn)象跟顏色有關(guān)的三種視錐細(xì)胞，每一種都對(duì)RGB三種顏色最敏感。

注意，是最敏感，所以藍(lán)視錐細(xì)胞不僅能感應(yīng)藍(lán)色，也可以感應(yīng)到綠和一部分紅色，綠視錐細(xì)胞不僅能感應(yīng)綠，也可以感應(yīng)一部份藍(lán)和紅，最后紅視錐細(xì)胞也是如此。所以通過(guò)三種視錐細(xì)胞感應(yīng)到不同波長(zhǎng)光譜的比例，人類(lèi)就能識(shí)別出視覺(jué)上除了紅綠藍(lán)之外的其他顏色。

人造的大部分顯示器，也都是利用這個(gè)特性來(lái)欺騙人類(lèi)看到紅綠藍(lán)之外的顏色，比如上圖就是我的顯示器在顯示黃色時(shí)實(shí)際發(fā)出的光譜，根本就沒(méi)有黃色，這就是一個(gè)騙子顯示器，但是通過(guò)對(duì)人眼視覺(jué)特性的利用，我們看到的就是黃色。1931年，CIE（國(guó)際標(biāo)準(zhǔn)照明委員會(huì)）建立了一系列表示可見(jiàn)光譜的顏色空間標(biāo)準(zhǔn)，定義了CIE-RGB基色系統(tǒng)。規(guī)定了RGB系統(tǒng)的三原色光波長(zhǎng)分別為700nm，546.1nm，435.8nm的紅光（R）、綠光（G）、藍(lán)光（B）。

通過(guò)混色實(shí)驗(yàn)可以得到上圖的一組曲線，它們表示在380nm-780nm范圍內(nèi)當(dāng)各個(gè)光譜能量一樣時(shí)，某一波長(zhǎng)的光譜色與

混色結(jié)果一樣，并稱(chēng)這三條曲線為CIE1931 RGB系統(tǒng)光譜三刺激值曲線，這與后文中我們要提到的標(biāo)定有很大關(guān)系。

這還可以延伸一下，由于計(jì)算顏色三刺激值時(shí)會(huì)出現(xiàn)負(fù)值，所以CIE又設(shè)計(jì)出了一套CIE-XYZ系統(tǒng)，用X, Y, Z來(lái)代表紅綠藍(lán)三原色，上圖也就是CIE1931 XYZ系統(tǒng)光譜三刺激值曲線。

著名的CIE 1931 xy色度圖也就是從此而來(lái)，我們可以用它描述出任意的一種人眼可見(jiàn)色彩。當(dāng)然后來(lái)為了更精確的修正，還有CIE 1976 u'v色度圖，我們的很多評(píng)測(cè)也都使用了這個(gè)標(biāo)準(zhǔn)。因此，在理論上只需要記錄RGB,也就能還原出我們眼睛看到的所有顏色了。

另一個(gè)事實(shí)是：皮皮蝦擁有16種視錐細(xì)胞，所以如果讓它看我們的顯示器，它只會(huì)覺(jué)得你給我看的這是個(gè)什么玩意？？？

好了我們回到濾鏡顏色的問(wèn)題上。對(duì)于基于Bayer CFA的設(shè)計(jì)，當(dāng)我們拍攝右側(cè)圖1的場(chǎng)景時(shí)，CMOS所有像素傳回來(lái)的圖像直接組合的結(jié)果就是右側(cè)圖2,當(dāng)我們將濾鏡顏色加到像素上會(huì)得到圖3,很明顯這也不應(yīng)該是我們最后看到的圖像。所以由3到4的過(guò)程，就需要插值算法來(lái)補(bǔ)足，之前真假4800萬(wàn)像素的爭(zhēng)論也就是在這一步。

對(duì)于Bayer CFA設(shè)計(jì)的CMOS,有常用的插值算法，比如相鄰像素插值、雙線性插值、三次多項(xiàng)式插值等，它們的目的都是為了還原出全部的RGB三個(gè)通道分量，比如雙線性插值就是這么算的：對(duì)于只有紅色分量的像素：例如R32：

對(duì)于只有綠色分量的像素：例如G33

對(duì)于只有藍(lán)色分量的像素：例如B43

通過(guò)還原得到完整的RGB分量，我們就能得到一幅沒(méi)有缺損的圖像了，但是這就是終點(diǎn)了嗎？并不是，我們不能直接把這樣的圖像存儲(chǔ)，因?yàn)檫@其中有一個(gè)很重要的問(wèn)題：Bayer CFA經(jīng)過(guò)插值之后，CFA的色特性與人眼的視覺(jué)特性并不一定重合，所以圖像中的像素顏色可能都是偏色的，這里可能是光學(xué)透鏡的光譜特性導(dǎo)致，也可能是Bayer CFA上的彩色濾鏡光譜特性導(dǎo)致，跟拍攝的環(huán)境光也有很大關(guān)系。所以還有一步，那就是校正標(biāo)定。校正標(biāo)定之中最重要的則是伽馬校正和顏色校正，先看伽馬校正：在現(xiàn)實(shí)世界中，幾乎所有的顯示器、攝影膠片以及很多電子照相機(jī)的光電轉(zhuǎn)換特性都是非線性的。這些非線性部件的輸出與輸入之間的關(guān)系通常用冪函數(shù)表示。理想狀態(tài)下，色彩強(qiáng)度(Intensity)與電子束的電壓信號(hào)之間成線性關(guān)系，但實(shí)際情況剛好想法，色彩強(qiáng)度與輸入的電壓信號(hào)之間是非線性關(guān)系。顯示器的輸出強(qiáng)度和輸出電壓的響應(yīng)大致成冪指數(shù)關(guān)系，下方式子表示輸出的強(qiáng)度隨著輸入電壓的增長(zhǎng)成指數(shù)增長(zhǎng)，通常我們就把這個(gè)冪指數(shù)稱(chēng)為伽馬(Gamma)：

為了使圖像在顯示器上的效果和實(shí)際情形更為接近，在攝像機(jī)獲取圖像后，必須進(jìn)行伽馬校正，把上邊式子的非線性關(guān)系校正為線性關(guān)系：

其中，是經(jīng)過(guò)校正處理后的圖像的像素值；是沒(méi)有經(jīng)過(guò)校正的像素值；伽馬值γ表示校正的程度，γ=1時(shí)，不進(jìn)行校正，γ值越大，像素灰度值的校正程度越大。顏色校正：由于不同廠家在制造CMOS時(shí)使用的彩色濾光片不同，CMOS對(duì)不同波段的光電響應(yīng)度不同，都會(huì)導(dǎo)致相機(jī)的光譜響應(yīng)曲線不同，比如這是某一個(gè)CMOS的光譜相應(yīng)曲線：

很容易的就會(huì)發(fā)現(xiàn)彩色相機(jī)RGB三刺激值曲線圖和之前我們提到過(guò)的CIE 1931-RGB系統(tǒng)有很大差別。

想減小這種差異，就要對(duì)原始圖像的像素灰度值(R,G,B)進(jìn)行必要的補(bǔ)償，帶來(lái)和人眼感知相近的顏色，這其中的工作就是顏色標(biāo)定。好了，鋪墊了這么久，終于講到那當(dāng)我們把RGGB換成RYYB,用黃色濾鏡替代綠色會(huì)怎么樣了。

黃光的光譜主波是570-590納米，剛好被夾在紅綠主波之間，所以只要彩色濾鏡的光譜特性設(shè)計(jì)得足夠好，那么理論上黃色也就能記錄紅+綠，下圖就是一個(gè)我假象的光譜響應(yīng)示意圖：

在這種非常理想的條件下，RYYB的感光總量肯定可以超過(guò)RGGB,不過(guò)這也給插值算法補(bǔ)全RGB的那一步帶來(lái)了一定困難，插值不理想的話后期色彩標(biāo)定也會(huì)出現(xiàn)問(wèn)題。

而且現(xiàn)實(shí)情況也是要復(fù)雜得多，這里找到了一篇論文：Raj Shrestha, V. et al. Polarization-tuned Dynamic Color Filters Incorporating a Dielectric-loaded Aluminum Nanowire Array. Sci. Rep. 5, 12450; doi: 10.1038/srep12450 (2015).在這之中就有相當(dāng)多的彩色濾鏡，甚至有直接將黃光主波壓制，保留紅綠藍(lán)光譜的彩色濾片設(shè)計(jì)。

文章轉(zhuǎn)載來(lái)源：https://tech.qudong.com/2019/0402/558867.shtml