1 增加圖像識別設(shè)計的目的

　　如今的語音識別技術(shù)正在逐漸成熟，許多語音識別技術(shù)都已經(jīng)能夠達(dá)到很高的識別率了，不過當(dāng)識別率到了一定的程度后，再提高就很困難，此時需要采用其他技術(shù)來協(xié)助語音的識別。

　　目前的語音識別系統(tǒng)由于采用單一傳感器（聲音傳感器）進(jìn)行工作，在進(jìn)行語音識別時，不可能對捕獲的語音信息進(jìn)行細(xì)分，只能采用定速率跟蹤識別，將語音信息與系統(tǒng)庫中的模板進(jìn)行匹配判斷。如果捕獲信息的速率與存儲在系統(tǒng)庫中的模板相關(guān)不多，則能正常工作，否則將會出現(xiàn)誤判。然而現(xiàn)實生活中，人們說話不可能總保持相同的速率，而是不斷變化的，這勢必造成了語音識別系統(tǒng)的誤差增多，以致降低語音識別系統(tǒng)的實用性。

　　人們在進(jìn)行語音交流時，在捕獲語音信息的同時，也在獲取其他的信息以幫助理解，例如表情、神態(tài)等信息。如果得不到相關(guān)信息，人們相互之間也會產(chǎn)生誤解，例如當(dāng)兩個人在相隔較遠(yuǎn)距離時，由于不能清楚對方的表情、神態(tài)，經(jīng)常會出現(xiàn)理解錯誤的情況發(fā)生?？梢娛褂脝我坏男畔⑶赖拇_會增加理解難度，因此有必要考慮增加信息渠道來解決這個問題。這就是增加圖像識別功能的原因。

　　對于語音識別系統(tǒng)，如果能像人一樣判斷語言對象的喜、怒、哀、樂，當(dāng)然是最好的，但這勢必大大增加圖像識別的工作量，甚至超過語音識別的成本，不太合理。并且，由于技術(shù)的原因，還不能使機(jī)器有像人一樣的視覺能力，要讓機(jī)器能夠準(zhǔn)確識別出人的各種表情還達(dá)不到，所以此種方案是不可取的。進(jìn)一步分析知道，語音識別系統(tǒng)受語速的影響是很大的。人在正常講話時，嘴的開合狀態(tài)都是大同小異的，如果讓機(jī)器只對嘴的開合兩種情況進(jìn)行判斷和實時跟蹤，得出講話人的語速信息，是能夠做到的。所以僅僅需要機(jī)器識別出人說話的速度，以此來調(diào)整語音識別的匹配速度，從而適合語音韻律，自然有利于系統(tǒng)的語音識別能力，提高識別的準(zhǔn)確性。通過語速對語音識別系統(tǒng)的幫助，將為語音系統(tǒng)提供另一條實用的信息渠道。

　　2 實現(xiàn)的技術(shù)及方法

　　2．1 系統(tǒng)總體設(shè)計概述

　　語音系統(tǒng)采集說話人（語言對象）的兩路信息，一路由聲音傳感器取得，一路由攝像設(shè)備取得。攝像設(shè)備取得人的嘴型變化后，將之轉(zhuǎn)化為語速信息送到語音識別器與采集到的語音進(jìn)行匹配識別，自動調(diào)節(jié)識別速度，更好地完成語音識別工作。系統(tǒng)的工作流程如圖1。

　　2．2 輔助圖像識別設(shè)計

　　捕獲語言對象的說話速率是保證整個系統(tǒng)良好工作的關(guān)鍵。為了實現(xiàn)此目的，使用基于機(jī)器視覺的人嘴部狀態(tài)檢測方法來設(shè)計。由于對圖像的識別精度要求不高，可以選擇灰度圖像以提高運算速度。在速度允許的情況下，彩色圖像的識別精度會更高。

　　2．2．1 流程分析

　　整個輔助圖像識別設(shè)計的目的就是通過機(jī)器視覺進(jìn)行圖像采集、圖像處理，提取出說話人的語速信息供語音系統(tǒng)使用。

　　以灰度圖像為例，其圖像處理過程如圖2。

　　對于彩色圖像，特征量會更多一些，也就更復(fù)雜一些，但其基本步驟都是先完成圖像數(shù)字化，再進(jìn)行圖像特片提取，最后進(jìn)行圖像識別和理解。

　　當(dāng)完成圖像處理后，比較模塊將這一幀圖像與上一幀圖像的數(shù)據(jù)進(jìn)行對比，判斷出變化，從而統(tǒng)計出語速信息，最后輸出給語音識別器進(jìn)行匹配工作。

　　（1）圖像分割

　　經(jīng)過對人臉RGB像素的分析，發(fā)現(xiàn)人臉圖像中的R、G兩分量符合二維高斯分布。因此，可通過這兩個分量確定人臉的位置。在人臉定位的基礎(chǔ)上，根據(jù)人的嘴部處于人臉下半部分的特片，比較容易確定出嘴部的大致位置，它為嘴部精確定位提供了基本條件，如圖3所示。

　?。?）圖像特征的提取

　　根據(jù)系統(tǒng)要求，灰度圖像可以滿足需要，但由于嘴唇與皮膚的灰度差別不大，而且灰度信息更容量受到光照條件、人臉的運動和旋轉(zhuǎn)變化等影響，使人臉圖像中嘴唇區(qū)域邊緣不明顯，特別是當(dāng)嘴唇內(nèi)部的陰影區(qū)域與牙齒交替出現(xiàn)時，嘴唇的邊緣變得更加模糊，所以利用唇色和膚色的灰度及邊緣信息分割不能達(dá)到很高的準(zhǔn)確度。若要提高對嘴部狀況的識別準(zhǔn)確度，可以利用彩色信息來對人嘴的形狀、位置進(jìn)行確定。

　　研究發(fā)現(xiàn)，嘴唇的主要顏色特征是唇色相對膚色顏色較紅，而且歸一化RGB顏色對光照、人臉運動和旋轉(zhuǎn)具有不變性。因此利用顏色信息，采用模式分類技術(shù)分割嘴唇區(qū)域，可以克服灰度圖像本身固有的缺點。由于Fisher線性分類器能夠最大限度地分開兩類，且其學(xué)習(xí)是離線處理，減少了計算量，因此可采用Fisher線性分類器進(jìn)行嘴唇區(qū)域分割。

　　人嘴在說話與正常情況下的外形有明顯的區(qū)別。說話時嘴部張開較大，而正常情況下，嘴部基本閉合（圖4）。因此，可以利用這些特征進(jìn)行嘴部狀態(tài)的檢測。研究中發(fā)現(xiàn)，嘴部區(qū)域的最大寬度Wmax、最大高度Hmax能夠表征嘴部的張開程度，應(yīng)取為特征值；上嘴唇與下嘴唇之間的高度Hmin在說話不說話時也有明顯不同，應(yīng)取為特征值。將以上三個特征值組成一組向量，即可描述出不同狀態(tài)下的嘴部幾何特片，如圖5所示。

　　將獲得的能夠描述人的嘴部區(qū)域幾何形狀特征參數(shù)組成一個特征向量Zui，即可作為下一步判別分類的輸入向量：Zui=（Wmax，Hmax，Hmin）。

　　在進(jìn)行識別時只要確定兩個狀態(tài)“開”、“合”即可。在實際中由于發(fā)音時不同的語音會導(dǎo)致嘴的開合程度不一，所以對“開”（Hmin》0）的區(qū)分會很多種情況，必然會極大地增加運算存儲量。相對而言，嘴的“閉合”狀態(tài)一般只有一種模式（Hmin=0），因此可以只確定說話人嘴的“閉合”狀態(tài)，其他狀態(tài)都判為“開”，這樣將方便處理。

　?。?）圖像識別理解

　　由于對識別精度要求不高，既可以采用傳統(tǒng)的統(tǒng)計模式識別方法，也可以采用較熱門的神經(jīng)網(wǎng)絡(luò)識別方法；但由于系統(tǒng)對實時要求較高，而神經(jīng)網(wǎng)絡(luò)識別方法運行速度成問題，因此不建議采用神經(jīng)網(wǎng)絡(luò)識別方法。

　　2．3 語速信息的提取

　　選用合適的捕獲頻率不斷采集說話人的圖像，用當(dāng)前幀的數(shù)據(jù)與上一幀數(shù)據(jù)進(jìn)行比較，根據(jù)其變化的頻率就可以推算出語速信息。實際情況中，所求的語速信息不需要太精確就能夠達(dá)到一般要求。