圖像傳感器上的像素可以變得多小？

我們可能不知道答案，只是它們可能會(huì)變得非常非常小。半導(dǎo)體加工能夠產(chǎn)生小至 5 納米的特征。雖然這種極小的尺寸可能不適用于圖像傳感器上的像素，但它表明我們還沒有接近尺寸限制。

在機(jī)器視覺的早期，像素為 17μm。稍后，隨著 2/3 英寸格式的 VGA 分辨率傳感器的出現(xiàn)，它們變成了 13μm。從那時(shí)起，更小的傳感器和更高的分辨率將像素尺寸向下推到了 10μm、7μm、3.45μ、2.2μm，甚至是今天的 0.8μm。多家圖像傳感器公司制定了 0.4μm 像素尺寸的發(fā)展路線。

圖1

圖 2- 硅晶片

是什么激發(fā)了較小的像素？ 主要是成本，這與圖像傳感器的尺寸直接相關(guān)。 一個(gè)加工過的 300 毫米晶圓成本在 4,000 到 14,000 美元之間，主要取決于“節(jié)點(diǎn)”或特征的大小。節(jié)點(diǎn)范圍從 45nm 到 5nm，較小的節(jié)點(diǎn)工藝成本更高。它還取決于制造晶圓所需的工藝步驟數(shù)量。此外，晶圓以至少 20 個(gè)晶圓的批次進(jìn)行處理。 為了獲得經(jīng)濟(jì)性，有必要增加每個(gè)晶片的圖像傳感器數(shù)量。最簡(jiǎn)單的方法是使圖像傳感器更小。較小的圖像傳感器與更高圖像分辨率（像素的數(shù)量或行和列）相沖突。公司如何創(chuàng)建更小的圖像傳感器并保持或提高圖像分辨率？只能通過使像素更小。

小像素的缺點(diǎn)是什么？

第一個(gè)缺點(diǎn)是噪聲。圖像傳感中一種主要的噪聲形式是光子散粒噪聲——一種量子物理學(xué)的效應(yīng)。光子散粒噪聲與光生電子數(shù)的平方根成反比。光生電子越多，光子散粒噪聲占信號(hào)的百分比就越低。 更大的像素具有更大的區(qū)域來(lái)捕獲光子和更大的容量來(lái)存儲(chǔ)稱為全阱容量的光生電子。因?yàn)檩^小的像素具有相應(yīng)的較小的全阱容量，所以它們的光子散粒噪聲將成比例地放大。 小像素的另一個(gè)缺點(diǎn)是具有與像素尺寸相匹配的光學(xué)元件。 有一個(gè)衍射公式，鏡頭分辨率的基本限制：R = 1.22 λ f# 其中 λ 是光的波長(zhǎng)，f# 是鏡頭的 f 值。 對(duì)于 λ=555nm，人眼最敏感的綠光，f-number = 1，非常寬的鏡頭，分辨率極限為 0.68μm。在您得出光學(xué)可以解決與小像素相稱的細(xì)節(jié)的結(jié)論之前，請(qǐng)意識(shí)到這是一個(gè)沒有考慮鏡頭像差的理論限制。此外，具有低 f 值的鏡頭更難設(shè)計(jì)且制造成本更高。 設(shè)計(jì)具有大光圈的衍射受限透鏡是可能的。它是一種非常復(fù)雜的鏡頭，具有非常嚴(yán)格的制造公差，并且不具備很多靈活性，例如不能夠使我們聚焦到不同的工作距離。因此，它將成為一個(gè)非常昂貴的定制鏡頭。

圖 3- 鏡頭 MTF

圖 4- 圖像傳感器的 MTF

小像素的一些優(yōu)點(diǎn)是什么？

當(dāng)我們更深入地研究分辨率時(shí)，這一點(diǎn)會(huì)變得很明顯。當(dāng)我們研究如何將小像素分組使用時(shí)，可能會(huì)出現(xiàn)另一種情況。

鏡頭的調(diào)制傳遞函數(shù) (MTF)。這顯示了鏡頭可以產(chǎn)生的對(duì)比度，它作為空間頻率的細(xì)節(jié)的函數(shù)。空間頻率就是有一對(duì)線，一條白色和一條黑色，寬度相等。現(xiàn)在這些線對(duì)中有多少可以并排放置在一毫米內(nèi)。隨著線條變得更窄，更多線對(duì)將放置在一毫米內(nèi)。線條的寬度代表鏡頭可以光學(xué)解析的細(xì)節(jié)。 請(qǐng)注意，隨著空間頻率的增加，鏡頭無(wú)法產(chǎn)生任何對(duì)比度。它無(wú)法解析這些細(xì)節(jié)。對(duì)于視覺系統(tǒng)工作，20% 的對(duì)比度通常用作鏡頭分辨率或空間頻率的目標(biāo)限制。 許多人沒有意識(shí)到圖像傳感器也有 MTF。它與鏡頭不同。對(duì)比度從 100% 開始，逐漸下降到零。然后奇怪的事情發(fā)生了；它繼續(xù)下降到負(fù)值。在這個(gè)負(fù)值區(qū)域發(fā)生的情況是信息受到混疊的影響，由空間頻率、明暗線間距和像素間距影響。對(duì)比度達(dá)到零的點(diǎn)是奈奎斯特極限，線對(duì)的大小是像素大小的兩倍。

圖 5- 圖像傳感器和高分辨率鏡頭的 MTF

圖 6- 鏡頭和圖像傳感器的匹配 MTF 曲線

人們通常會(huì)選擇光學(xué)分辨率低于奈奎斯特極限的鏡頭。這意味著圖像傳感器獲取到了劣質(zhì)的光信息，最后導(dǎo)致圖像邊緣輪廓損壞。精確測(cè)量系統(tǒng)的準(zhǔn)確性可能會(huì)受到這種損壞的限制。 一種可能的解決方案是選擇光學(xué)分辨率極限正好在奈奎斯特極限附近的鏡頭。這可以防止圖像數(shù)據(jù)損壞。組合成像 MTF 只是兩條 MTF 曲線相乘。在鏡頭提供 20% 的對(duì)比度和圖像傳感器提供 20% 的對(duì)比度時(shí)，圖像中的對(duì)比度僅為 4%，對(duì)于許多應(yīng)用來(lái)說(shuō)可能太低了。

圖 7- Lens Limited MTF.

圖 8- 圖像傳感器上的拜耳濾波器模式

當(dāng)圖像傳感器的奈奎斯特極限低于鏡頭的光學(xué)分辨率時(shí)，混疊不會(huì)破壞圖像，并且組合對(duì)比度可以高于匹配的傳感器和鏡頭的對(duì)比度。但是，我們不應(yīng)該忘記，高像素是以圖像噪聲更大以及要傳輸和處理更多的圖像數(shù)據(jù)為代價(jià)的。 使用小像素組而不是單個(gè)像素可以提高成像能力。例如，非常常見的拜耳濾光片圖案，其中每個(gè)像素都有一個(gè)彩色濾光片，而用于三色成像的其他兩種顏色是通過插值最近鄰得到的，這會(huì)產(chǎn)生諸如紫邊之類的偽影。

圖 9- 顯示紫色邊緣的放大圖

圖 10- 4x4 Bayer 濾波器

假設(shè)，代替相鄰像素上的拜耳模式，一個(gè)四乘四的小相鄰像素陣列具有濾色器，并且圖像傳感器可以對(duì)來(lái)自具有相同濾色器的像素的信號(hào)進(jìn)行合并，即組合。這實(shí)際上將消除紫邊，并通過分箱減少光子散粒噪聲的影響。 三個(gè)濾色器（紅色、綠色和藍(lán)色）的目的是再現(xiàn)人類可見的大部分色域，這些色域在視網(wǎng)膜上具有三種不同的顏色傳感器（視錐細(xì)胞）。對(duì)于不同的模型，看看螳螂蝦。它的眼睛有十二個(gè)不同的視錐細(xì)胞，使其能夠看到超出可見光譜的紫外線和紅外線。螳螂蝦不僅可以看到人類看不到的波長(zhǎng)，它還具有比人類更好分顏色的潛力。螳螂蝦也能感知光的偏振。

圖 11- 螳螂蝦照片

圖 12- 多光譜和偏振濾光片圖案來(lái)源

回到四乘四的小像素組，可以使用一系列濾色器來(lái)擴(kuò)展色域和辨別力，還可以感知光的偏振。這種安排將在 2D 圖像傳感器中引入執(zhí)行多光譜或高光譜成像的能力。

寫在最后

總之，像素將在消費(fèi)設(shè)備的成本壓力的推動(dòng)下縮小，其中工程師減輕其成本的方式是將成本在大量生產(chǎn)中攤銷。對(duì)于大多數(shù)技術(shù)成像，像素尺寸可能會(huì)保持在 3μm 左右，這樣噪聲更易于管理，鏡頭設(shè)計(jì)和制造更實(shí)用。然而，以獨(dú)特方式使用的小像素組也可能帶來(lái)新的成像機(jī)會(huì)。

審核編輯 ：李倩