1、動(dòng)態(tài)范圍擴(kuò)展定義

動(dòng)態(tài)范圍(Dynamic Range)是物理學(xué)中常見(jiàn)的概念，表示某一物理量最大值與最小值的比率，通常以對(duì)數(shù)表示，單位為dB。對(duì)于真實(shí)場(chǎng)景，它指場(chǎng)景中最明亮處與最黑暗處的亮度之比。自然景觀的亮度范圍覆蓋非常之廣，最大動(dòng)態(tài)范圍能達(dá)到160db，而人眼可以感知的亮度范圍高達(dá)10個(gè)數(shù)量級(jí)。

現(xiàn)實(shí)中8比特量化的數(shù)字相機(jī)輸出的圖像只能記錄有限范圍的灰階與顏色數(shù)，其動(dòng)態(tài)范圍只有兩個(gè)數(shù)量級(jí)，遠(yuǎn)遠(yuǎn)小于常見(jiàn)的自然場(chǎng)景的動(dòng)態(tài)范圍及人眼所能感知的動(dòng)態(tài)范圍，數(shù)碼相機(jī)動(dòng)態(tài)范圍不足的問(wèn)題對(duì)其應(yīng)用造成了較大的影響。鑒于該問(wèn)題，需要我們進(jìn)行動(dòng)態(tài)范圍擴(kuò)展，從而讓電子顯示設(shè)備能夠輸出更寬動(dòng)態(tài)范圍的圖像。

擴(kuò)展數(shù)字成像系統(tǒng)的動(dòng)態(tài)范圍，即高動(dòng)態(tài)范圍成像技術(shù)(HDR)，指利用硬件或者軟件的方法，使系統(tǒng)輸出的圖像包涵盡可能大的場(chǎng)景亮度范圍，并準(zhǔn)確地再現(xiàn)場(chǎng)景真實(shí)的細(xì)節(jié)信息。目前實(shí)現(xiàn)該技術(shù)的主要方法：軟件擴(kuò)展方法和硬件擴(kuò)展方法。其中軟件擴(kuò)展方法主要分為輻照度重建法和直接融合法。

2、動(dòng)態(tài)范圍擴(kuò)展方法

2.1 硬件擴(kuò)展方法

硬件上限制數(shù)字成像系統(tǒng)動(dòng)態(tài)范圍的主要元件是圖像傳感器(sensor)，CCD／CMOS傳感器的動(dòng)態(tài)范圍定義為飽和電荷量Qs與最小可探測(cè)電荷量Qd的比值如下。sensor動(dòng)態(tài)范圍主要受光敏器件的靈敏度、滿阱容量和噪聲水平等因素限制，而且傳感器面積一定的條件下，提高像素?cái)?shù)目與提高動(dòng)態(tài)范圍相互矛盾。因此在不減少圖像傳感器像素?cái)?shù)目的條件下，提高動(dòng)態(tài)范圍需要增大圖像傳感器的面積，成本將會(huì)增加，成像系統(tǒng)的結(jié)構(gòu)也可能受到影響。

硬件擴(kuò)展的另一方案是通過(guò)改變光學(xué)系統(tǒng)結(jié)構(gòu)或添加其他元件改變圖像傳感器接收光能量，經(jīng)后期處理實(shí)現(xiàn)動(dòng)態(tài)范圍擴(kuò)展。如利用分光棱鏡使入射光線在不同的靶面成像，采用不同靈敏度的傳感器接收或設(shè)置不同的電路增益，再利用多個(gè)傳感器獲得的不同圖像生成一幅高動(dòng)態(tài)范圍圖像。

沒(méi)有成熟可靠的方案。而且上述方法需要對(duì)相機(jī)或圖像傳感器進(jìn)行改造，甚至重新設(shè)計(jì)，在硬件設(shè)備上花費(fèi)了大量精力，制造成本也大大提高，不宜在一般的科研項(xiàng)目中采用。

2.2 軟件擴(kuò)展方法

軟件擴(kuò)展方法原理：對(duì)被攝場(chǎng)景進(jìn)行多次曝光成像，通過(guò)設(shè)置不同的曝光時(shí)間，改變系統(tǒng)探測(cè)的亮度范圍，獲取多幅不同曝光度的圖像，最后通過(guò)軟件方法將它們合成一幅高動(dòng)態(tài)范圍圖像，恢復(fù)場(chǎng)景的細(xì)節(jié)信息。如下圖：

目前軟件擴(kuò)展方法主要有兩種：基于相機(jī)響應(yīng)函數(shù)(CRF)的輻照度重建和多曝光圖像融合。

2.2.1 輻照度重建方法

輻照度重建方法處理過(guò)程：靜態(tài)場(chǎng)景拍攝多幅不同曝光度的低動(dòng)態(tài)范圍圖像，利用圖像信息推算成像系統(tǒng)的響應(yīng)函數(shù)，再通過(guò)響應(yīng)函數(shù)逆運(yùn)算得到場(chǎng)景的相對(duì)輻照度，用以合成高動(dòng)態(tài)范圍圖像，并以浮點(diǎn)數(shù)保存。其中，相機(jī)響應(yīng)函數(shù)求解是關(guān)鍵的步驟 。

(1) 設(shè)相機(jī)和拍攝場(chǎng)景均處于靜態(tài)，且曝光時(shí)間足夠短，從而可以忽略拍攝過(guò)程場(chǎng)景的亮度變化 在多次曝光成像中，假設(shè)j次曝光時(shí)間為△t(j)。第i個(gè)像素接收的場(chǎng)景輻照度為E(i)，在獲得的第j幅圖像中，其像素值為Z(i,j)，公式如下：

(2) 假設(shè)相機(jī)響應(yīng)函數(shù)是一定區(qū)間下單調(diào)連續(xù)，即f函數(shù)可逆：

(3) 上述函數(shù)左右取對(duì)數(shù)，可得到：

(4) 設(shè)置函數(shù)g = lnf-1，可簡(jiǎn)化為：

Delta t(j)和Z(i,j)為已知，函數(shù)g(z)和輻照度E(i)未知，其中Z(i,j)取值為離散且有限的，因此我們并不需要求解g(z)的完整解析式，只需在Z的取值范圍中恢復(fù)g(Z)的有限個(gè)取值即可。假設(shè)像素值的最大值和最小值分別為Zmax和Zmin。像素采樣點(diǎn)為N，曝光次數(shù)為P。為了確定(Zmax-Zmin+1)個(gè)g(z)和N個(gè)E(i)的值，使之滿足上述公式，定義如下目標(biāo)函數(shù)：

目標(biāo)函數(shù)第一項(xiàng)是為了使所求得的解具有最小的方差，第二項(xiàng)則是對(duì)函數(shù)g進(jìn)行平滑約束，其中r為平滑約束權(quán)重。此外，在過(guò)度曝光和曝光不足的區(qū)域，受傳感器動(dòng)態(tài)范圍及噪聲影響，像素點(diǎn)的輸出值往往不夠穩(wěn)定。為此，引入權(quán)重函數(shù)W(z)，衡量像素值的可信程度，減小邊界采樣對(duì)求解函數(shù)g的影響。

此時(shí)目標(biāo)函數(shù)修改為：

至此，函數(shù)g的求解變?yōu)槟繕?biāo)函數(shù)的最小化問(wèn)題。由于甙z)的取值有限，只要選取足夠的采樣點(diǎn)，就可以將目標(biāo)函數(shù)轉(zhuǎn)化為一個(gè)超定方程組，可以通過(guò)奇異值分解求得甙z)的最小二乘解，進(jìn)而利用單調(diào)性計(jì)算出相機(jī)響應(yīng)函數(shù)。如下一組多曝光LDR圖計(jì)算后的相機(jī)響應(yīng)函數(shù)如下：

(5) 根據(jù)上述步驟即可得到相機(jī)的響應(yīng)函數(shù)，則場(chǎng)景相對(duì)輻照度計(jì)算較為容易，如下式：

通常，為了降低圖像噪聲及飽和像素值的影響，在計(jì)算第i個(gè)像素對(duì)應(yīng)的輻照度時(shí)，盡可能地利用其在所有輸入圖像中的像素值，并再次引入權(quán)重函數(shù)w(z)。通過(guò)如下公式計(jì)算：

在獲得場(chǎng)景的相對(duì)輻照度數(shù)據(jù)后，將其以特定的圖像格式存儲(chǔ)，一就得到了場(chǎng)景的高動(dòng)態(tài)范圍圖像。在處理彩色圖像時(shí)，可以有兩種方法。一種方法是分R、G、B三個(gè)顏色通道計(jì)算相機(jī)響應(yīng)函數(shù)，求出各通道對(duì)應(yīng)的相對(duì)輻照度，最后調(diào)節(jié)比例參數(shù)進(jìn)行白平衡處理。另一種方法是，將RGB圖像轉(zhuǎn)換至HSV空間，恢復(fù)V通道的高動(dòng)態(tài)范圍數(shù)據(jù)。

2.2.2 多曝光圖像融合

輻照度重建法合成的HDR圖像質(zhì)量十分地依賴(lài)于相機(jī)響應(yīng)函數(shù)的計(jì)算精度，拍攝過(guò)程相機(jī)抖動(dòng)或景物微小移動(dòng)會(huì)對(duì)計(jì)算結(jié)果造成較大影響，因此最新提出了多曝光融合方法。從圖像融合的角度出發(fā)，從曝光度不同的LDR圖像序列提取信息合成一幅高質(zhì)量LDR圖像，其視覺(jué)效果相當(dāng)于一幅局部自適應(yīng)曝光的“高動(dòng)態(tài)范圍圖像”。常見(jiàn)的多曝光融合方法可以分為像素級(jí)融合、特征級(jí)融合 、決策級(jí)融合。

像素級(jí)融合主要針對(duì)原始圖像數(shù)據(jù)進(jìn)行融合，融合前未進(jìn)行圖像綜合分析與處理。這一層次的融合數(shù)據(jù)準(zhǔn)確性最高，能夠提供豐富、可靠的細(xì)節(jié)信息，應(yīng)用最為廣泛 。

特征級(jí)融合則針對(duì)圖像特征信息進(jìn)行融合。首先從原始數(shù)據(jù)中提出特征信息，如邊緣、紋理、運(yùn)動(dòng)方向、視覺(jué)顯著性等，然后進(jìn)行特征分析與綜合處理。相比于像素級(jí)融合，特征級(jí)融合能夠降低噪聲影響，提高魯棒性。

決策級(jí)融合是層次最高的信息融合，模擬人類(lèi)學(xué)習(xí)與思考過(guò)程，對(duì)圖像信息進(jìn)行邏輯推理與統(tǒng)計(jì)分析，設(shè)定一定規(guī)則對(duì)信息進(jìn)行融合。

本文描述的是基于曝光適度評(píng)價(jià)的快速融合，屬于特征級(jí)融合范圍。曝光適度評(píng)價(jià)的快速融合是指使用權(quán)值圖對(duì)不同曝光度圖像序列進(jìn)行加權(quán)融合，因此，高效確定融合權(quán)重值的成像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)是算法研究的關(guān)鍵。算法流程如下：

(1) 曝光適度評(píng)價(jià)

早期曝光適度評(píng)價(jià)方法：以像素的歸一化像素值與O，5的接近程度評(píng)價(jià)曝光適度，其評(píng)價(jià)數(shù)值體現(xiàn)為像素的融合權(quán)重分量，并利用高斯模型進(jìn)行計(jì)算，權(quán)重值計(jì)算如下：

該權(quán)重公式可以盡可能地保留每幅輸入圖像中像素值在0.5附近的像素信息，這樣容易丟失場(chǎng)景灰暗和明亮處的細(xì)節(jié)。因?yàn)橐怨潭ㄖ?.5作為最佳像素值不能顯著區(qū)分這些區(qū)域內(nèi)不同像素間的差異，不利于提取區(qū)域內(nèi)的細(xì)節(jié)信息。 因此為了保證圖像信息沒(méi)有丟失，將0.5修改為像素均值方式。對(duì)于同一場(chǎng)景的N幅不同曝光度圖像，以I(i,x，Y)表示第i幅圖像中坐標(biāo)為(x，Y)處的像素，其曝光適度評(píng)價(jià)指標(biāo)為：

其中：

從上述公式中，一方面，為保證較為理想的人眼視覺(jué)感受，u(x，y)的取值應(yīng)在0.5附近；另一方面，為體現(xiàn)場(chǎng)景真實(shí)的亮暗對(duì)比信息，需從場(chǎng)景有限次數(shù)的采樣中近似地獲取其亮度信息。u(x,y)取O．5與該均值的加權(quán)和，權(quán)重因子p為細(xì)節(jié)信息與亮暗對(duì)比信息平衡參數(shù)。

(2) 分塊處理

根據(jù)實(shí)驗(yàn)測(cè)試驗(yàn)證，若使用上述曝光適度評(píng)價(jià)方法獲得的權(quán)重值對(duì)輸入圖像直接進(jìn)行加權(quán)融合，生成圖像會(huì)出現(xiàn)像素值變化過(guò)快、顏色異常的現(xiàn)象 ，如下圖：

基于圖像區(qū)域分析的融合算法具有較高的魯棒性，將圖像劃分為不同區(qū)域，并將上述曝光適度評(píng)價(jià)方法應(yīng)用于圖像分塊區(qū)域，既能保留景物的局部特性，又能避免隨機(jī)噪聲影響，同時(shí)還可以大幅度提高計(jì)算效率。將圖像分割為均勻大小的矩形分塊。將每幅輸入圖像分割為b×b大小的M個(gè)矩形分塊，以B(i,j)表示第i幅圖像的第j個(gè)分塊。為了綜合圖像的局部特性，計(jì)算每個(gè)分塊的像素值均值 ：

利用上述曝光適度評(píng)價(jià)方法對(duì)分塊圖像的成像質(zhì)量進(jìn)行衡量，以分塊均值作為該分塊區(qū)域的“像素值”，并將分塊區(qū)域視為單個(gè)“像素"，利用權(quán)重公司計(jì)算得到每個(gè)分塊對(duì)應(yīng)的曝光適度評(píng)價(jià)值。若分塊內(nèi)的像素直接以該評(píng)價(jià)值作為權(quán)重值，進(jìn)行融合，融合圖像會(huì)在分塊邊界處出現(xiàn)明顯的不連續(xù)現(xiàn)象，需要進(jìn)一步處理融合圖像以消除圖像塊效應(yīng)。

因此，需要基于分塊模式優(yōu)化權(quán)重圖，考慮塊內(nèi)部像素分布，針對(duì)分塊B(i,j)內(nèi)位置坐標(biāo)為(x，y)的像素，利用B(i,j)的8鄰域內(nèi)的分塊曝光適度評(píng)價(jià)值聯(lián)合確定該像素的權(quán)重值：

其中融合函數(shù)G(x，y)為峰值位于分塊中心的二維高斯函數(shù)，高斯標(biāo)準(zhǔn)差、 的取值與分塊寬度b有關(guān)：

(3) 圖像融合

將前面得到各輸入圖像的權(quán)值圖，對(duì)其做歸一化處理使得融合結(jié)果連續(xù)而自然，公式如下：

歸一化權(quán)值圖形，(x，Y)與對(duì)應(yīng)曝光度圖像加權(quán)疊加即可得到最終的融合圖像：

在處理彩色圖像時(shí)，算法注重場(chǎng)景的亮度信息，因此將輸入圖像轉(zhuǎn)換到Y(jié)CbCr空間，對(duì)亮度信息和顏色信息分別進(jìn)行處理。此外，在計(jì)算Cb、Cr色差通道數(shù)據(jù)時(shí)，將曝光適度評(píng)價(jià)中的u(x,y)設(shè)置為固定值0.5，并省略公式分塊權(quán)重值融合的步驟，結(jié)果表明，仍可得到良好的融合效果，進(jìn)一步減少了算法的運(yùn)算量，提高了計(jì)算效率。