1、引言

由于兩路視頻信號(hào)的產(chǎn)生來(lái)源于相同景物的不同區(qū)域且有交疊部分，在任意拍攝時(shí)刻得到的兩幀圖像必然存在一定程度上的內(nèi)容相關(guān)性，本算法將從圖像重疊區(qū)域內(nèi)容相關(guān)性入手，判別并調(diào)整兩路視頻的同步關(guān)系。同時(shí)，對(duì)于嵌入式系統(tǒng)的算法實(shí)現(xiàn)上，數(shù)據(jù)運(yùn)算量的簡(jiǎn)化也是很重要的問(wèn)題，直接影響到系統(tǒng)的實(shí)時(shí)性。

2、算法設(shè)計(jì)

如圖1.a、b所示，An和Bn是兩路視頻圖像，且基于內(nèi)容同步，白色箭頭指向的是當(dāng)前時(shí)刻播放的圖像幀。如果按照?qǐng)D1（a）的方式播放，兩路視頻是同步的；但是，由于播放器的獨(dú)立性以及各種干擾的存在，如圖1（b）的幀錯(cuò)位情況會(huì)出現(xiàn)。由此可見(jiàn)，需要解決的主要問(wèn)題是：①判斷當(dāng)前播放是否同步；②若不同步，錯(cuò)位多少幀，如何快速有效地找到同步幀。

圖1（a） 圖1（b）

A. 兩幀圖像同步判別

在任意時(shí)刻，兩路邊緣重疊的黑白圖像信號(hào)（亮度信號(hào)為8位）的重疊區(qū)域圖像對(duì)應(yīng)兩個(gè)矩陣。這兩個(gè)矩陣的關(guān)系可是直接反應(yīng)出兩幅圖像的同步關(guān)系。

1） 相關(guān)函數(shù)模型

2） 抽樣處理

利用上述方法判定兩幀圖像同步時(shí)，嚴(yán)格的統(tǒng)計(jì)相關(guān)算法的結(jié)果準(zhǔn)確度是最高的，但是必須付出極其大的運(yùn)算量。因?yàn)橛?jì)算相關(guān)系數(shù)需要將重疊部分圖像的每一點(diǎn)的亮度值納入計(jì)算范圍；同時(shí)，矩陣A和B相關(guān)系數(shù)的計(jì)算是二維運(yùn)算。以175×288點(diǎn)大小圖像計(jì)算（702×576隔行掃描的1/4重疊部分），cov（A，B）需要進(jìn)行50400次8位2進(jìn)制乘法運(yùn)算和50400次8位2進(jìn)制加法，DA、DB也各需要50400次8位2進(jìn)制乘法運(yùn)算和50400次8位2進(jìn)制加法。顯然，這樣的運(yùn)算兩使得運(yùn)用嵌入式系統(tǒng)是難以滿足實(shí)時(shí)性要求的。

由于大部分情況下圖像中的一點(diǎn)是與周圍像素具有較強(qiáng)相關(guān)性的，所以沒(méi)有必要在相關(guān)函數(shù)的運(yùn)算過(guò)程中代入所有象素點(diǎn)的亮度值，而可以以適當(dāng)?shù)姆绞竭M(jìn)行像素抽樣。正是基于這種考慮， 如果我們僅用對(duì)原圖像采取隔1 行、隔1列取一個(gè)像素的方法進(jìn)行像素抽樣， 形成1/4 大小的新圖像， 再用新圖進(jìn)行判別，則計(jì)算量就將減少了3/ 4。

在判別過(guò)程中，我們繼續(xù)采用像素抽樣的方法。考慮到M×N的圖像通常M≤N，所以考慮到采用隔6行、隔8列的方式抽樣。如果每一行都從第1列開(kāi)始選取如圖2 （a）所示， 則未被選擇的點(diǎn)與最近鄰采樣點(diǎn)的距離為5p （p為兩個(gè)相鄰像素的距離）。如果采用圖2 （b）所示偶數(shù)行從第5列開(kāi)始選擇原點(diǎn)， 則未被選擇的點(diǎn)距最近鄰抽樣點(diǎn)的最大距離為3p （圖中虛線點(diǎn)的位置距最近鄰選擇點(diǎn)的距離為3p）。圖像中像素越接近， 相似性越強(qiáng); 換言之， 抽樣點(diǎn)與未選點(diǎn)距離越小， 圖像保留下來(lái)的特征就越多， 為此在匹配點(diǎn)數(shù)目不變時(shí)我們?cè)谂紨?shù)行向后移兩個(gè)像素選擇抽樣點(diǎn)的選擇方法如圖2（b） 所示， 可以使抽樣點(diǎn)最大限度保留圖像的特征。

3） FPGA算法設(shè)計(jì)

B. 錯(cuò)位幀數(shù)檢測(cè)

3、Matlab算法有效性仿真

1、 相關(guān)性模型有效性檢驗(yàn)

圖4 兩路同步視頻

如圖4所示，第二路視頻圖像由第一路視頻圖像經(jīng)過(guò)零均值方差0.002的高斯噪聲處理得到（這里的圖像格式為180×288）。兩路同步的視頻圖像在進(jìn)行相關(guān)系數(shù)運(yùn)算后得到的結(jié)果如表1所示。可以看出在同步的情況下，即使有較強(qiáng)的干擾存在，任意檢測(cè)兩幀圖像的相關(guān)系數(shù)都是很接近于1的。

如圖5所示，第二路視頻圖像由第一路視頻圖像經(jīng)過(guò)零均值方差0.002的高斯噪聲處理并超前一幀得到。兩路同步的視頻圖像在對(duì)應(yīng)位置進(jìn)行相關(guān)系數(shù)運(yùn)算后得到的結(jié)果如表2所示。可以看到，在任何一組非同步幀的相關(guān)系數(shù)運(yùn)算結(jié)果都遠(yuǎn)小于1。因此，相關(guān)系數(shù)用來(lái)判別兩路視頻是否同步。

若以第一路視頻圖像的第四幀作為基準(zhǔn)，與第二路視頻圖像作相關(guān)運(yùn)算，得到的結(jié)果如表3所示。可以看到，第一路視頻圖像的第四幀與第二路視頻圖像的第三幀的相關(guān)系數(shù)最近接1，能夠據(jù)此得出第一路視頻的第四幀與第二路視頻的第三幀的同步幀的結(jié)論。

2、 抽樣方案比較檢驗(yàn)

分別用兩種方式進(jìn)行抽樣：①對(duì)于180×288的圖像橫向、縱向均作32點(diǎn)均勻抽樣，且起始點(diǎn)均為抽樣行的起始點(diǎn)；②對(duì)于180×288的圖像橫向、縱向均作32點(diǎn)均勻抽樣，起始點(diǎn)在抽樣的奇數(shù)行為起始點(diǎn)，偶數(shù)行為第三點(diǎn)，進(jìn)行蜂窩抽樣。

由抽樣①、②得到的數(shù)據(jù)分別進(jìn)行互相關(guān)運(yùn)算得到的互相關(guān)系數(shù)ρ1、ρ2，與未抽樣時(shí)的相關(guān)系數(shù)ρ相減得到的ρ1-ρ，ρ2-ρ，可以反映兩種抽樣方式的有效性。如圖6所示，對(duì)20幅圖像作ρ1-ρ，ρ2-ρ，繪出曲線，曲線①為ρ1-ρ，曲線②為ρ2-ρ，可以看到曲線①偏離0的程度明顯大于曲線②偏離0的程度，證明了抽樣②在同樣抽樣點(diǎn)數(shù)的情況下優(yōu)于普通采樣①。經(jīng)過(guò)對(duì)多組圖像進(jìn)行曲線繪制，得到了相似的結(jié)論。

結(jié)論

本算法可以進(jìn)行兩路視頻圖像同步判別，并在一定范圍找到兩路圖像錯(cuò)位幀數(shù)以調(diào)整視頻播放速度。為了能夠植入FPGA，本算法還提出了用非等間隔采樣的方法來(lái)降低參與運(yùn)算的數(shù)據(jù)量，從仿真的結(jié)果來(lái)看算法是正確的、有效的。

本文的創(chuàng)新點(diǎn)在于系統(tǒng)視頻同步播放算法的開(kāi)發(fā)與驗(yàn)證，并且針對(duì)嵌入式系統(tǒng)應(yīng)用本算法采用了優(yōu)化的抽樣方法大幅度降低運(yùn)算量。

責(zé)任編輯：gt