華為發(fā)明的機(jī)器人凝視追蹤技術(shù),通過顯示模塊來模擬真實的機(jī)器人面部輸出,結(jié)合多種偏轉(zhuǎn)角度測量方法,實現(xiàn)了平滑的凝視追蹤效果,提高了機(jī)器人的擬人化程度。
集微網(wǎng)消息,在現(xiàn)代社會的家庭中,越來越多的父母不能時刻陪伴孩子,而此時可以使用智能機(jī)器人進(jìn)行陪伴以及教育孩子。這種智能機(jī)器人可以與孩子進(jìn)行交流,并且可以基于不同的對話內(nèi)容學(xué)習(xí)、更新與孩子的交流方式,可以說非常的人性化。
擬人特性作為衡量機(jī)器人智能化的重要指標(biāo)之一,在人機(jī)交互的過程中,目標(biāo)跟隨以及凝視跟蹤行為的準(zhǔn)確性則直接反映機(jī)器人的擬人化程度,技術(shù)人員往往通過提高機(jī)器人的擬人化程度來提高用戶的使用體驗。
而所謂的凝視追蹤技術(shù),就是在機(jī)器人和用戶進(jìn)行對話時捕捉用戶的眼睛位置并進(jìn)行凝視,因為人們在談話時往往看著對方的眼睛,如果機(jī)器人也可以采用這樣的技術(shù),將會極大的提高其擬人化程度,并且?guī)Ыo用戶極佳的交流體驗。
為了實現(xiàn)這個目的,華為在5月8日申請了一項名為“一種機(jī)器人的控制方法、裝置、機(jī)器人以及存儲介質(zhì)”的發(fā)明專利(申請?zhí)枺?02010382291.0),申請人為華為技術(shù)有限公司。
根據(jù)該專利目前公開的資料,讓我們一起來看看華為的這項凝視追蹤技術(shù)吧。
如上圖,為該專利中發(fā)明的機(jī)器人示意圖,其中包括具有模擬人形形態(tài)的a型機(jī)器人、模擬動物形態(tài)的b型機(jī)器人以及非生物形態(tài)的c型機(jī)器人,這些機(jī)器人雖然形狀各異,但是均具有運動功能,可以進(jìn)行移動以及旋轉(zhuǎn)等運動操作,其具體控制方法的實現(xiàn)如下圖所示。
可以看到,控制機(jī)器人運動的過程分為三步,首先需要獲取目標(biāo)對象的位置信息,其次根據(jù)這個位置信息來控制機(jī)器人轉(zhuǎn)動。這個相對位置可以通過自動識別或者手動設(shè)置來確定,它是機(jī)器人與目標(biāo)對象之間的相對位置,例如正前方、右側(cè)等,也可以是具體多少角度的偏轉(zhuǎn),例如+60度或者-120度等。
有了相對位置信息后,機(jī)器人會根據(jù)自身的初始角度以及目標(biāo)對象的位姿確定目標(biāo)偏轉(zhuǎn)角度,例如人形機(jī)器人可以以其面部為正面。為了實現(xiàn)凝視追蹤的目的,可以將目標(biāo)偏轉(zhuǎn)角度設(shè)置為機(jī)器人看向的方向,這樣就可以使得機(jī)器人的視線對準(zhǔn)目標(biāo)對象,從而完成凝視追蹤。
并且值得一提的是,該專利采用顯示模塊的輸出畫面來完成凝視,這相比于馬達(dá)驅(qū)動的硬件凝視具有更高的響應(yīng)度,利用這種模擬的凝視界面,可以很好的實現(xiàn)平滑凝視追蹤效果。
具體的應(yīng)用案例如上圖所示,這是專利中提供的目標(biāo)偏轉(zhuǎn)角度的獲取示意圖,左側(cè)為機(jī)器人,右側(cè)為真人,對于凝視追蹤而言,最重要的就是將機(jī)器人的視線與目標(biāo)對象的視線進(jìn)行交匯,即處于同一平面內(nèi),因此機(jī)器人需要確定自身當(dāng)前的視線方向以及目標(biāo)對象的視線方法,并且可以基于兩個視線方向確定偏轉(zhuǎn)角度。
該專利提供了三種技術(shù)用于確定這個偏轉(zhuǎn)角度:基于距離傳感器、基于拍攝圖像以及基于語音信號的方式。基于距離傳感器的方法就是通過距離探測單元采集的距離值構(gòu)建機(jī)器人所處場景下的深度圖,基于深度圖來確定當(dāng)前場景包含的對象,并根據(jù)目標(biāo)的輪廓線來確定目標(biāo)對象。
基于拍攝圖像的方法是通過輪廓識別算法提取該場景圖像內(nèi)包括的輪廓信息,并基于輪廓信息對場景圖像進(jìn)行劃分,通過主體類型識別來確定目標(biāo)對象。而基于語音信號的方法則是基于語音分析結(jié)果來確定是否有激活口令,通過口令來確定目標(biāo)對象。
這三種方式都可以用于完成凝視追蹤,并且可以利用多種方法進(jìn)行組合的方式來提高凝視追蹤的準(zhǔn)確率。此外,基于拍攝圖像的方法還需要對攝像模塊上采集的圖像進(jìn)行校準(zhǔn),從而在后續(xù)的凝視追蹤時,可以使得機(jī)器人的眼部視線偏移到目標(biāo)對象的中心位置。
以上就是華為發(fā)明的機(jī)器人凝視追蹤方法,通過確定機(jī)器人與目標(biāo)之間的偏轉(zhuǎn)角度,并不斷調(diào)整顯示模塊的輸出內(nèi)容以及旋轉(zhuǎn)部件來實現(xiàn)凝視追蹤。此外,該技術(shù)基于三種確定偏轉(zhuǎn)角度的方法,無需借助馬達(dá)來驅(qū)動硬件,響應(yīng)時間較短,不僅實現(xiàn)了平滑凝視追蹤行為,也提高了機(jī)器人的擬人化程度。
責(zé)任編輯:YYX
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
29731瀏覽量
212842 -
華為
+關(guān)注
關(guān)注
216文章
35210瀏覽量
255873
發(fā)布評論請先 登錄
盤點#機(jī)器人開發(fā)平臺
【「# ROS 2智能機(jī)器人開發(fā)實踐」閱讀體驗】機(jī)器人入門的引路書
什么是機(jī)器人?追蹤機(jī)器人技術(shù)的發(fā)展和未來
機(jī)器人Blue亮相 搭載英偉達(dá)最新GR00T N1人形機(jī)器人通用基礎(chǔ)模型

名單公布!【書籍評測活動NO.58】ROS 2智能機(jī)器人開發(fā)實踐
大象機(jī)器人推出首款三指靈巧手myGripper H100

【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】2.具身智能機(jī)器人的基礎(chǔ)模塊
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】2.具身智能機(jī)器人大模型
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】1.初步理解具身智能
《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】+初品的體驗
鴻蒙機(jī)器人與鴻蒙開發(fā)板聯(lián)動演示
國內(nèi)外部分人形機(jī)器人企業(yè)一覽

評論