（文章來源：VR陀螺網）

早在語言出現之前,人類就習慣使用肢體和手勢,這種近乎本能的溝通方式,來互相交流。在機器被發明之后,手勢因具備鍵盤、鼠標、觸屏等交互方式所無法替代的天然優勢,仍然有諸多應用場景。在電影《鋼鐵俠》里面,主角一揮手,憑空推拉拖拽操控虛擬物體,簡直不要太炫酷了。做到像電影中那樣高精度、穩定性好的手勢識別,需要硬件和算法的加持,兩者缺一不可。

手勢識別都有哪些常見的硬件方案?工程師是如何用 AI 算法來優化識別效果的?常見的手勢識別應用場景都有哪些?接下來,就讓 Rokid R-Lab 算法工程師張兆輝為我們娓娓道來。手勢識別的原理并不復雜,它通過硬件捕獲自然信號,就像相機捕獲圖片信息那樣,然后通過軟件算法計算得到手的位置、姿態、手勢等,處理成計算機可以理解的信息。

彩色攝像頭方案只需要一個普通攝像頭,捕捉拍攝一張彩色圖片,通過 AI 算法得到圖片中手的位置、姿態、手勢等信息。優勢是設備成本低、數據容易獲取。目前這種基于單目 RGB 的手勢識別在學術界和工業界研究的比較多,商用的方案商有英梅吉、ManoMotion、虹軟等。

還有一些人工智能開放平臺同樣提供這種方案。比如騰訊 AI 開放平臺提供靜態手勢識別和手部關鍵點,百度 AI 開放平臺和 Face++ 提供靜態手勢檢測。以及一些開源項目比如 openpose 和 Google Mediapipe 等。相比深度攝像頭方案,彩色攝像頭方案缺乏深度信息,受光照影響非常大,夜間無法使用,穩定性和精度都沒有深度相機方案好。

這個方案是通過深度攝像頭來獲取帶有深度信息的圖片。優勢是更容易獲取手部的 3D 信息,相對應的通過 AI 算法得到的手部 3D 關鍵點也更加準確和穩定。但缺點是需要額外的設備、硬件成本比較高。深度相機又分三大類:ToF、結構光和雙目成像。其中,ToF 和結構光得到的深度圖比較準,但成本比較高,多用于手勢的科研領域,商用的比較少,比如微軟 HoloLens、極魚科技 ThisVR。

雙目成像因為視場角大,幀率高,很適合用來做手勢識別,唯一缺點就是因為成像原理的限制,使得整個雙目相機模組的體積對比 ToF 和結構光來說大很多。采用雙目成像的公司以目前最大的手勢識別公司 Leap Motion 為代表,該公司使用的是主動雙目成像方案,除了雙目攝像頭外還有三個補光單元,可捕獲雙手 26DoF、靜態手勢、動態手勢等。此外,Leap Motion 還提供了非常完整的 SDK,對各個平臺支持都不錯(除手機平臺)。

國內也有在做雙目手勢的公司,比如 uSens Fingo 是基于主動雙目的視覺方案, 提供雙手 26DoF、靜態手勢、動態手勢識別等功能。相比于 Leap Motion,uSens 更專注于對手機以及其他低功耗嵌入式設備的支持。此外還有微動 Vidoo Primary 也有基于雙目的手勢解決方案。

毫米波雷達方案的代表有谷歌推出的一款特殊設計的雷達傳感器—— Project Soli ,它可以追蹤亞毫米精準度的高速運動,但目前尚處在實驗室階段。從其公布的演示來看,目前可以識別個別指定的手勢,并在小范圍內識別微小精確的手勢操作,很適合發揮人類精準的小肌肉運動技能(fine motor skills)。但缺點是有效范圍太小,無法得到手的所有自由度。

數據手套是指在手上帶一個內置傳感器的特制手套,通過傳感器檢測手指的屈伸角度或位置,再根據 Inverse kinematics(逆運動學)來計算出手的位置。一般用到的傳感器有彎曲傳感器、角度傳感器、磁力傳感器等。彎曲傳感器和角度傳感器類似都是可檢測手指的彎曲程度,我們以 DEXMO 力反饋手套為例,該手套使用旋轉傳感器捕捉 11 個自由度的手部運動,包括每根手指的伸展和彎曲,以及大拇指一個額外的旋轉自由度。

此方案對手的局部動作檢測很準,而且不受視覺方案中視野范圍的限制。但缺點是手上必須戴手套不方便,且只能檢測局部的手指動作,不能定位手部整體的位置角度。若想要檢測手的位置角度, DEXMO 需配合其他 6 自由度追蹤器使用。

當然 DEXMO 的最大賣點其實不是手勢識別,而是逼真的觸覺反饋(haptics)+手勢識別。手勢識別+觸覺反饋的方案肯定會是以后人機交互的重要一環。最近收購 Leap Motion 的 UltraHaptics 就是一家做觸覺反饋的公司。還有一種用磁力傳感器的——trakSTAR 電磁式空間位置追蹤系統。通過在手上貼的磁力傳感器的磁場變化,來確定傳感器的位置角度,再根據反運動學確定手的具體位置。

此方案需在手部貼 6 個磁力傳感器(5個指尖+1個手背),并在面前放一個磁力發射器。磁力發射器會在一定范圍內形成一個特殊的電磁場,然后根據傳感器在電磁場中不同位置角度檢測到的電磁場強度的不同,來推斷出指尖及手掌的位置角度。再通過反運動學,確定所有手部關節點的位置。

此方案的缺點是有效使用范圍太小,價格太貴,適用場景太少。優點是精度很高,穩定性很好,并且可獲得手部所有自由度。目前此方案還只有純科研在用,最近幾個學術界公開的手勢數據集 FHAB、 BigHand 都是用此設備采集的。
? ? ? （責任編輯：fqj）