女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于視覺的手勢識(shí)別系統(tǒng)的設(shè)計(jì)與研究

電子設(shè)計(jì) ? 來源:電子產(chǎn)品世界 ? 作者:楊全,彭進(jìn)業(yè) ? 2021-03-26 16:42 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

手語識(shí)別的目的就是通過計(jì)算機(jī)提供一種有效的、準(zhǔn)確的機(jī)制將聾啞人常用的手語手勢識(shí)別出來,使得他們與健全人之間的交互變得更方便、快捷。同時(shí),手語識(shí)別的應(yīng)用還可以提供更自然的人機(jī)交互方式,方便聾啞人對計(jì)算機(jī)等常用信息設(shè)備的使用。目前手語識(shí)別可以分為基于視覺(圖像)的識(shí)別系統(tǒng)和基于數(shù)據(jù)手套(佩戴式設(shè)備)的識(shí)別系統(tǒng)。基于視覺的手勢識(shí)別系統(tǒng)采用常見的視頻采集設(shè)備作為手勢感知輸入設(shè)備,價(jià)格便宜、便于安裝。鑒于基于視覺的手勢識(shí)別方法交互自然便利,適于普及應(yīng)用,且更能反映機(jī)器模擬人類視覺的功能,所以目前是手勢識(shí)別的研究重點(diǎn)。

手語識(shí)別的研究開始于1982年,Shantz和Poizner實(shí)現(xiàn)了一個(gè)合成美國手語的計(jì)算機(jī)程序。之后,中國、美國、日本、德國等許多國家都進(jìn)行了自己國家的手語識(shí)別與合成研究,并取得了許多重要的研究成果。Triesch和Malsburg開發(fā)了一種彈性圖模板匹配技術(shù)對復(fù)雜背景下的手形進(jìn)行分類,在相對復(fù)雜的背景下的識(shí)別率達(dá)到86.2%。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺手套的手勢作為系統(tǒng)的輸入,可識(shí)別7種手勢。Starner等在對美國手語中帶有詞性的40個(gè)詞匯隨機(jī)組成的短句子識(shí)別率達(dá)到99.2%。Yang等人采用7Hu不變矩特征量進(jìn)行手語字母識(shí)別,最好識(shí)別率為90%。

本文采用SVMs (Support Vector Machines,支持向量機(jī))作為手語識(shí)別的分類器,提出了一種基于視覺的手語字母識(shí)別方法。SVMs在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢,并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。采用SVMs作為圖像分類器首先要解決的問題是:如何用典型視覺特征來表征圖像的不同視覺特性。

在圖像特征提取方面,為了能夠同時(shí)表征圖像的全局特性和局部特性,需要同時(shí)提取圖像的全局特征和局部特征,并且這些特征中用以描述圖像整體形狀的特征應(yīng)當(dāng)具備平移、旋轉(zhuǎn)和尺度不變性。SIFT(Scale Invariant Feature Transform)是一種對尺度空間、圖像縮放、旋轉(zhuǎn)甚至仿射不變的圖像局部特征描述算子;而7Hu不變矩特征量具有平移、旋轉(zhuǎn)和尺度不變性的特點(diǎn),具有很好的穩(wěn)定性,適合描述目標(biāo)整體形狀。

手語簡介

手語是一種聾人使用的語言,是一種靠動(dòng)作/視覺交際的特殊語言。中國手語包括30個(gè)手指字母,大約5500個(gè)基本手勢詞。手指語是從字母語言發(fā)展起來的,是漢語手語的一種,用一個(gè)指式代表一個(gè)漢語拼音字母,按照漢語拼音方案拼成普通話。而手勢語則是由象形語言發(fā)展起來的。它充分利用人的手勢、表情和身體動(dòng)作形象地表達(dá)物體和行動(dòng)的最基本特征。

中國文字改革委員會(huì)、教育部等單位于1963年聯(lián)合公布實(shí)施漢語手指字母方案。方案中包括漢語拼音中26個(gè)單字母(A~ Z)和4個(gè)雙字母(ZH、CH、SH、NG)如圖1所示。

基于視覺的手勢識(shí)別系統(tǒng)的設(shè)計(jì)與研究

圖1 中國手語字母表

SVMs

SVMs的主要思想是建立一個(gè)超平面作為決策曲面,使得正例和反例之間的隔離邊緣被最大化。對于二維線性可分情況,令 H為把兩類訓(xùn)練樣本沒有錯(cuò)誤地分開的分類線,H1,H2分別為過各類中離分類線最近的樣本且平行于分類線的直線,它們之間的距離叫做分類間隔。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開,而且使分類間隔最大。在高維空間,最優(yōu)分類線就成為最優(yōu)分類面[8,9]。

設(shè)線性可分樣本集為(xi,yi)),i=1,2,…,n,x∈Rd,即x是d維特征向量,y∈{+1,-1}是類別標(biāo)號(hào),d維空間線性判斷函數(shù)的一般形式為g(x)=w×x+b,分類面方程為:w×x+b=0 (1)

式中w為權(quán)向量,b為分類閾值。要求分類面對所有樣本正確分類,就是要求它滿足:

Yi[w×xi+b]-1≥0,i=1,2,…,n (2)

滿足上述條件且使||w||2最小的分類面就叫做最優(yōu)分類面, H1,H2上的訓(xùn)練樣本點(diǎn),也就是使式(2)中等號(hào)成立的樣本點(diǎn),稱作支持向量。解這個(gè)最優(yōu)化問題后得到的最優(yōu)分類函數(shù)是:

在學(xué)習(xí)樣本是線性不可分,但卻是非線性可分的情況下,可以通過非線性變換把學(xué)習(xí)樣本變換到高維空間,使其在高維空間里是線性可分的。用核函數(shù) K(x,y)代替原來的點(diǎn)積(x·y),Mercer定理指出,核函數(shù) K(x,y)通過與其相聯(lián)系的非線性變換Φ隱含地把特征向量映射到高維特征空間,使得學(xué)習(xí)樣本成為線性可分的。常用的核函數(shù)有:

圖像特征選取

手語圖像特征的選取,會(huì)直接影響到識(shí)別的效果,因此在表示圖像的不同視覺特征時(shí)本文同時(shí)提取全局視覺特征和局部視覺特征。為了避免圖像分割工具可能帶來的問題,在特征提取時(shí)不進(jìn)行圖像分割。在研究中,將提取圖像的以下特征:(1)7維不變矩特征量,作為圖像整體形狀描述的特征向量(2)用Gabor小波提取48維的紋理特征,以表示圖像的整體結(jié)構(gòu)屬性[10];(3)提取一定數(shù)量的興趣點(diǎn)及它們的SIFT特征[11],以表示圖像的局部結(jié)構(gòu)特征與所包含目標(biāo)的大致形狀。實(shí)驗(yàn)表明,全局和局部視覺特征可以有效的表示出圖像的主要視覺特征。

Hu不變矩特征量

利用矩不變量進(jìn)行形體識(shí)別是模式識(shí)別中的一種重要的方法, Hu在1961年首先提出了矩不變量的概念。Hu首先提出代數(shù)不變矩的概念,并給出了一組基于通用矩組合的代數(shù)矩不變量。這些矩具有平移、尺度和旋轉(zhuǎn)不變性,被稱為Hu’s矩。

對于連續(xù)灰度函數(shù) f(x, y),它的(p + q)階二維原點(diǎn)矩Mpq 的定義為:

假設(shè) f(x, y)為分段連續(xù)的有界函數(shù),并且在x,y平面上有限區(qū)域內(nèi)有非零值。根據(jù)唯一性定理,它的各階矩存在且唯一地被 f(x, y)確定,反過來,f(x, y)也唯一地被它的各階矩確定。

此外,還可以定義 f(x, y)的(p + q)階中心矩μpq 為:

Hu首先提出了不變矩,他給出了連續(xù)函數(shù)矩的定義和關(guān)于矩的基本性質(zhì),證明了有關(guān)矩的平移不變性、旋轉(zhuǎn)不變性以及比例不變性等性質(zhì),具體給出了具有平移不變性、旋轉(zhuǎn)不變性和比例不變性的七個(gè)不變矩的表達(dá)式。

七個(gè)不變矩由二階和三階中心矩的線性組合構(gòu)成,具體表達(dá)式如下:

實(shí)驗(yàn)中,使用了全部的7Hu不變矩特征量作為手語圖像整體形狀描述的特征向量。形成特征空間(M1, M2, M3, M4, M5, M6, M7),如表1所示。

表1手語字母X,Y,Z的7Hu矩分量

SIFT特征

David G.Lowe在2004年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法,并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子-SIFT算子[6,11],即尺度不變特征變換。

SIFT算法首先在尺度空間進(jìn)行特征檢測,并確定關(guān)鍵點(diǎn)(Keypoints)的位置和關(guān)鍵點(diǎn)所處的尺度,然后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征,以實(shí)現(xiàn)算子對尺度和方向的無關(guān)性。

Lowe在圖像二維平面空間和DoG(Difference of Gaussian)尺度空間中同時(shí)檢測局部極值以作為特征點(diǎn),以使特征具備良好的獨(dú)特性和穩(wěn)定性。DoG算子定義為兩個(gè)不同尺度的高斯核的差分,其具有計(jì)算簡單的特點(diǎn),是歸一化LoG (Laplacian of Gaussian)算子的近似。DoG算子如下式所示:

對于圖像上的點(diǎn),計(jì)算其在每一尺度下DoG算子的響應(yīng)值,這些值連起來得到特征尺度軌跡曲線。特征尺度曲線的局部極值點(diǎn)即為該特征的尺度。尺度軌跡曲線上完全可能存在多個(gè)局部極值點(diǎn),這時(shí)可認(rèn)為該點(diǎn)有多個(gè)特征尺度。

一幅圖像SIFT特征向量的生成算法總共包括4步:

(1)尺度空間極值檢測,初步確定關(guān)鍵點(diǎn)位置和所在尺度。

(2)通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度,同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)),以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力[6,11]。

(3)利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性。

式(14)為(x,y)處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。

(4)生成SIFT特征向量。 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向,以確保旋轉(zhuǎn)不變性。接下來以關(guān)鍵點(diǎn)為中心取8×8的窗口。然后在每4×4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖,繪制每個(gè)梯度方向的累加值,即可形成一個(gè)種子點(diǎn)。手語字母圖像的SIFT特征提取如圖2所示。

圖2 (a)手語字母J原圖 (b)對(a)提取SIFT特征向量

實(shí)驗(yàn)

本文從視頻中采集了中國手語字母表中的30個(gè)手語字母的圖像,30組,每組圖像195幅,共5850幅圖像作為實(shí)驗(yàn)圖像。每組的前50幅作為正例訓(xùn)練樣本,從其他29組中各選取5幅共145幅作為反例訓(xùn)練樣本。每類圖像除選作正例的50圖像外,剩余的145幅作為測試圖像。實(shí)驗(yàn)中首先提取圖像的7維不變矩特征量,48維Gabor紋理特征,128維SIFT特征作為圖像全局和局部特征描述。然后分別采用兩種不同核函數(shù)(Linear kernel, Radical Basis Function)的SVMs分類器進(jìn)行訓(xùn)練,對中國手語字母表中的30個(gè)手語字母圖像的識(shí)別結(jié)果如表2所示。

表2 30個(gè)中國手語字母的識(shí)別結(jié)果

基于線性核函數(shù)的SVM平均識(shí)別率為95.556%,基于徑向基核函數(shù)的SVM平均識(shí)別率為83.1282%。實(shí)驗(yàn)表明,采用徑向基核函數(shù)的SVM識(shí)別率普遍低于采用線性核函數(shù)的SVM。

結(jié)語

本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語識(shí)別方法。實(shí)驗(yàn)表明,在手語識(shí)別中,采用圖像全局和局部特征相結(jié)合的方法,可獲得較高的識(shí)別率,為手語識(shí)別方法的早日推廣應(yīng)用提供了理論依據(jù)。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7662

    瀏覽量

    90761
  • 機(jī)器
    +關(guān)注

    關(guān)注

    0

    文章

    790

    瀏覽量

    41273
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    創(chuàng)意耳紋識(shí)別系統(tǒng)研究與實(shí)現(xiàn)方案

    基于FPGA與傳感技術(shù)的耳紋識(shí)別系統(tǒng)研究與實(shí)現(xiàn)。
    發(fā)表于 07-24 09:13 ?931次閱讀
    創(chuàng)意耳紋<b class='flag-5'>識(shí)別系統(tǒng)</b>的<b class='flag-5'>研究</b>與實(shí)現(xiàn)方案

    車輛牌照識(shí)別系統(tǒng)的原理及算法研究

    車輛牌照識(shí)別系統(tǒng)的原理及算法研究本文對車輛牌照自動(dòng)識(shí)別系統(tǒng)中圖象預(yù)處理、特征提取和字符識(shí)別等環(huán)節(jié)涉及的新算法、新技術(shù)以及系統(tǒng)整體設(shè)計(jì)做了一個(gè)
    發(fā)表于 12-02 12:59

    FPGA和Nios_軟核的語音識(shí)別系統(tǒng)研究

    FPGA和Nios_軟核的語音識(shí)別系統(tǒng)研究引言語音識(shí)別的過程是一個(gè)模式匹配的過程 在這個(gè)過程中,首先根據(jù)說話人的語音特點(diǎn)建立語音模型,對輸入的語音信號(hào)進(jìn)行分析,并提取所需的語音特征,在此基礎(chǔ)上建立
    發(fā)表于 08-11 11:47

    【UT4418申請】手勢識(shí)別系統(tǒng)

    申請理由:我是一名嵌入式軟件工程師 。 大學(xué)花了很長一段時(shí)間開發(fā)一套手勢識(shí)別系統(tǒng)。該系統(tǒng)是基于Xilinx 的 Zedboard開發(fā)板。Zedboard中包含有Cotex-A9處理器 。現(xiàn)在回憶起
    發(fā)表于 09-23 14:54

    基于BP神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別系統(tǒng)

    的高效性有機(jī)地結(jié)合起來。研究新型的人機(jī)交互工具能夠打破這一障礙。當(dāng)虛擬現(xiàn)實(shí)越來越被人熟知時(shí),可以使用手勢作為載體進(jìn)行人機(jī)交互。  目前,手勢輸入的種類有基于圖像的和基于加速度傳感器的。由于圖像的
    發(fā)表于 11-13 16:04

    嵌入式系統(tǒng)實(shí)時(shí)交互的手勢識(shí)別方法是什么?

    過程中的變化以及周圍環(huán)境的干擾都會(huì)影響到手勢識(shí)別和理解,因此手勢識(shí)別是計(jì)算機(jī)視覺和人機(jī)交互領(lǐng)域中的重要問題,如何將這種交互方式更好地在嵌入
    發(fā)表于 03-31 08:21

    【創(chuàng)龍TLZ7x-EasyEVM評估板試用連載】基于ZYNQ的動(dòng)態(tài)手勢識(shí)別系統(tǒng)

    項(xiàng)目名稱:基于ZYNQ的動(dòng)態(tài)手勢識(shí)別系統(tǒng)試用計(jì)劃:申請理由:申請人為研究生,本科期間參加過多個(gè)國家級省市級競賽并獲得多項(xiàng)榮譽(yù),擁有豐富的Xilinx嵌入式系統(tǒng)的開發(fā)經(jīng)驗(yàn)。已對zynq平
    發(fā)表于 04-23 10:33

    介紹一個(gè)基于單片機(jī)的手勢識(shí)別系統(tǒng)

    文章目錄1 簡介2 實(shí)現(xiàn)效果3 使用場景4 參數(shù)說明5 注意事項(xiàng)6 最后1 簡介Hi,大家好,這里是丹成學(xué)長,今天向大家介紹一個(gè)學(xué)長做的單片機(jī)項(xiàng)目基于單片機(jī)得手勢識(shí)別系統(tǒng)大家可用于 課程設(shè)計(jì) 或
    發(fā)表于 11-19 09:19

    如何實(shí)現(xiàn)基于MEMS加速度傳感器的手勢識(shí)別系統(tǒng)的設(shè)計(jì)?

    如何實(shí)現(xiàn)基于MEMS加速度傳感器的手勢識(shí)別系統(tǒng)的設(shè)計(jì)?
    發(fā)表于 12-20 07:55

    基于MATLAB的車牌識(shí)別系統(tǒng)研究

    基于MATLAB的車牌識(shí)別系統(tǒng)研究 1 引言     車輛牌照是機(jī)動(dòng)車唯一的管理標(biāo)識(shí)符號(hào),在交通管理中具有不可替代的作用,因此車輛牌照識(shí)別系統(tǒng)
    發(fā)表于 12-10 10:29 ?3113次閱讀
    基于MATLAB的車牌<b class='flag-5'>識(shí)別系統(tǒng)</b>的<b class='flag-5'>研究</b>

    劃片機(jī)視覺識(shí)別系統(tǒng)設(shè)計(jì)原理分析

    劃片機(jī)視覺識(shí)別系統(tǒng)設(shè)計(jì)原理分析 1 視覺識(shí)別系統(tǒng)構(gòu)成 劃片機(jī)的視覺識(shí)別系統(tǒng)是以計(jì)算機(jī)為主的實(shí)
    發(fā)表于 04-21 09:20 ?3180次閱讀
    劃片機(jī)<b class='flag-5'>視覺</b><b class='flag-5'>識(shí)別系統(tǒng)</b>設(shè)計(jì)原理分析

    史上最牛高速手勢識(shí)別系統(tǒng)解決方案

    以Xilinx公司Spartan 6系列FPGA為核心器件的手勢識(shí)別系統(tǒng)設(shè)計(jì)的方案,采用FPGA芯片的內(nèi)置DSP硬核作為手勢識(shí)別模塊的核心,負(fù)責(zé)圖像
    發(fā)表于 09-28 16:14 ?788次閱讀

    手勢識(shí)別系統(tǒng)的程序和資料說明

    本項(xiàng)目在python 2.7上使用opencv實(shí)現(xiàn)了一個(gè)手勢識(shí)別手勢識(shí)別系統(tǒng)。一種基于直方圖的方法被用來從背景圖像中分離出一只手。背景消除技術(shù)被用來獲得最佳的結(jié)果。然后對檢測到的手進(jìn)
    發(fā)表于 04-28 08:00 ?12次下載
    <b class='flag-5'>手勢</b><b class='flag-5'>識(shí)別系統(tǒng)</b>的程序和資料說明

    計(jì)算機(jī)視覺中手語識(shí)別研究

    機(jī)交互方式,方便聾啞人對計(jì)算機(jī)等常用信息設(shè)備的使用。目前手語識(shí)別可以分為基于視覺(圖像)的識(shí)別系統(tǒng)和基于數(shù)據(jù)手套(佩戴式設(shè)備)的識(shí)別系統(tǒng)。基于視覺
    的頭像 發(fā)表于 04-14 16:11 ?1534次閱讀

    無人機(jī)AI視覺行為識(shí)別系統(tǒng)

    無人機(jī)AI視覺行為識(shí)別系統(tǒng) 隨著無人機(jī)技術(shù)的快速發(fā)展和計(jì)算機(jī)視覺領(lǐng)域的突破性進(jìn)展,無人機(jī)AI視覺行為識(shí)別系統(tǒng)應(yīng)運(yùn)而生。傳統(tǒng)監(jiān)控
    的頭像 發(fā)表于 07-04 16:53 ?192次閱讀