近日，計(jì)算機(jī)視覺（手勢(shì)識(shí)別＋slam）開發(fā)公司杭州凌感科技宣布和ARVR視覺模組硬件初創(chuàng)公司詮視科技進(jìn)行戰(zhàn)略合作。

凌感科技此次和詮視科技的戰(zhàn)略合作著力于VR／AR領(lǐng)域的手勢(shì)追蹤技術(shù)的結(jié)合，由凌感科技提供手勢(shì)識(shí)別的軟件算法，基于此算法，搭載了詮視視覺模組的VR／AR設(shè)備可以實(shí)現(xiàn)手部的3D骨骼識(shí)別和跟蹤。

凌感和詮視都是專攻VR／AR領(lǐng)域的技術(shù)公司，但是在技術(shù)層面上，雙方研究的方向并不相同。凌感科技專攻手勢(shì)識(shí)別／骨骼識(shí)別以及6DoF Slam技術(shù)、物體識(shí)別等。而詮視科技的優(yōu)勢(shì)在于視覺模組和頭顯頭顯設(shè)計(jì)并且已應(yīng)用于諸多VR／AR設(shè)備上。因此雙方合作后，未來采用了詮視模組的VR／AR頭顯能夠在不增加任何傳感器的前提下具有高精度手識(shí)別能力，實(shí)現(xiàn)自然、高效的交互體驗(yàn)。

凌感手勢(shì)追蹤算法與詮視視覺模組結(jié)合

如今VR、AR在全球興起，初創(chuàng)公司爭(zhēng)相涌入市場(chǎng)，相比很多廠商選擇從VR／AR硬件整機(jī)入局，凌感和詮視反而都選擇了各自的垂直賽道，而這兩條賽道也在時(shí)代的大潮下出現(xiàn)了必然的交集。

“凌感將提供手勢(shì)識(shí)別軟件算法，實(shí)現(xiàn)手部的3D骨骼跟蹤和手勢(shì)識(shí)別，結(jié)合到詮視的多款硬件模組中，該模組帶有Movidius計(jì)算芯片、雙魚相機(jī)、RGB相機(jī)或TOF相機(jī)，可用于VR／AR頭顯。雙方戰(zhàn)略合作后，采用了詮視相機(jī)模組的頭顯，可以在不增加任何硬件的基礎(chǔ)上，還能獲得專業(yè)精準(zhǔn)的手勢(shì)交互能力。” uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士介紹了此次合作的細(xì)節(jié)。

凌感自2014年在硅谷成立以來，主要在視覺三維人機(jī)交互解決方案開發(fā)中進(jìn)行深入探索。同時(shí)它也是全球第一個(gè)在有線設(shè)備以及移動(dòng)端中基于inside－out實(shí)現(xiàn)26自由度手勢(shì)追蹤和6DoF Slam定位的公司。

目前凌感的手勢(shì)識(shí)別算法，幾乎能夠適配所有的相機(jī)，包括深度相機(jī)、彩色相機(jī)、紅外相機(jī)、雙目相機(jī)，并且能夠?qū)崿F(xiàn)靜態(tài)和動(dòng)態(tài)兩種不同的手勢(shì)識(shí)別。

在靜態(tài)手勢(shì)識(shí)別中，能實(shí)現(xiàn)超過10種以上的手勢(shì)動(dòng)作，包括指向、抓取、握拳、OK、剪刀手等手勢(shì)，并且可擴(kuò)展定制，準(zhǔn)確率達(dá)到98％。

而動(dòng)態(tài)識(shí)別中，能夠?qū)崿F(xiàn)5種以上的3D動(dòng)態(tài)動(dòng)作，同樣支持?jǐn)U展定制，準(zhǔn)確率達(dá)到95％。

在計(jì)算機(jī)視覺領(lǐng)域，實(shí)現(xiàn)手的三維骨骼跟蹤識(shí)別具有深遠(yuǎn)意義。早前手勢(shì)識(shí)別需要依靠TOF、結(jié)構(gòu)光等深度相機(jī)完成，對(duì)于VR／AR頭顯來說增加新的模塊，不僅意味著成本提升，也會(huì)帶來頭顯重量、體積加大，反而得不償失。

然而隨著計(jì)算機(jī)視覺算法的進(jìn)步，凌感已經(jīng)實(shí)現(xiàn)了最簡(jiǎn)單的單目RGB相機(jī)和3D手勢(shì)骨骼識(shí)別技術(shù)，并且將這項(xiàng)技術(shù)應(yīng)用于多個(gè)場(chǎng)景，從智能手機(jī)到工業(yè)級(jí)設(shè)備。同時(shí)該技術(shù)也被推向VR／AR頭顯領(lǐng)域。例如凌感早在2016年與戴姆勒合作，基于自然手勢(shì)交互，6DOF SLAM跟蹤的Mixed Reality頭顯來實(shí)現(xiàn)新的購(gòu)車體驗(yàn)。凌感的手部追蹤解決方案Fingo也已經(jīng)與國(guó)內(nèi)外AR／VR類頭顯廠商進(jìn)行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，而這也是為什么凌感選擇與詮視科技合作，目的是為了加速手勢(shì)識(shí)別更快地應(yīng)用到VR／AR頭顯中。

另一方面，詮視作為一家從事空間感知與認(rèn)知（VSLAM＋AI）底層技術(shù)開發(fā)的計(jì)算機(jī)視覺公司，主要專注于向AR／VR／MR、機(jī)器人、掃地機(jī)、無人機(jī)等領(lǐng)域提供高精度位置追蹤、導(dǎo)航、避障及物體識(shí)別等高速（100fps）端處理VSLAM＋AI的視覺邊緣計(jì)算平臺(tái)解決方案。

據(jù)了解，詮視科技服務(wù)的企業(yè)品牌客戶超過60家，多款品牌VR／AR設(shè)備均采用了詮視的視覺模組。去年詮視與南京睿悅Nibiru合作，嵌入Nibiru的系統(tǒng)底層中，將視覺模組融入到更多OEM／ODM的VR／AR終端中。

走向VR／AR主流交互方式的必然合作

此次合作的考量并不只是單純的技術(shù)和算法上的結(jié)合，同時(shí)還是因?yàn)檎麄€(gè)行業(yè)未來前景的影響。如今VR／AR頭顯都在追求更舒適的互動(dòng)體驗(yàn)以及精簡(jiǎn)自由的移動(dòng)設(shè)備，而手勢(shì)追蹤和SLAM定位系統(tǒng)算法明顯是會(huì)直接影響到未來VR／AR硬件產(chǎn)品的走向。

為了保證更舒適的交互體驗(yàn)，手勢(shì)追蹤最開始被應(yīng)用到了許多VR、AR設(shè)備上。盡管當(dāng)下很多硬件設(shè)備依然會(huì)配備手柄控制器，但是手勢(shì)識(shí)別將逐漸成為VR／AR設(shè)備的“基本”功能。

就VR頭顯來看，早在2014年底，F(xiàn)acebook就已經(jīng)首次表達(dá)了對(duì)VR手勢(shì)追蹤技術(shù)的興趣。此后，公司收購(gòu)了Nimble VR初創(chuàng)公司，并將其四名手控跟蹤技術(shù)的資深研究員納入麾下。2019年年底，F(xiàn)acebook旗下的Oculus Quest宣布將在其硬件上開放手勢(shì)追蹤功能。在Oculus Quest之前，手勢(shì)識(shí)別實(shí)際上已經(jīng)成為了AR眼鏡中最基本的交互方式，而VR上Vive Focus等設(shè)備也都開啟了嘗試。

除此之外，2017年谷歌也發(fā)布了手勢(shì)識(shí)別芯片Project Soli。無論是HoloLens、谷歌還是蘋果和Facebook，都在這一技術(shù)領(lǐng)域著重開發(fā)。可以看出，手勢(shì)追蹤是行業(yè)大頭目光所指，也意味著未來硬件迭代的方向。

無論是從PC VR和連接手機(jī)的AR眼鏡到VR、AR一體機(jī)，去繁就簡(jiǎn)是VR／AR硬件設(shè)備的大勢(shì)所趨。因此，在提高VR設(shè)備便捷度的同時(shí)，無疑要思考去掉冗雜的部分，精簡(jiǎn)整個(gè)硬件交互流程。而手勢(shì)識(shí)別最大的優(yōu)勢(shì)給用戶提供了一種最自然的交互方式。因此，在硬件迭代的角度來看，手勢(shì)追蹤無疑是所有廠商都在思考的一個(gè)技術(shù)迭代方向。

VR／AR設(shè)備是極其追求用戶體驗(yàn)的產(chǎn)品。相比手柄，當(dāng)自己的雙手能夠在虛擬世界實(shí)現(xiàn)即時(shí)互動(dòng)反饋，在游戲、工業(yè)、醫(yī)療等場(chǎng)景中，交互會(huì)更加自然以及更加真實(shí)。因此，手勢(shì)追蹤除了在硬件迭代精簡(jiǎn)道路上必不可少，在升級(jí)虛擬現(xiàn)實(shí)體驗(yàn)的過程中也是重要的一環(huán)。

加速手勢(shì)識(shí)別技術(shù)應(yīng)用 強(qiáng)強(qiáng)聯(lián)合降低研發(fā)成本

凌感和詮視強(qiáng)強(qiáng)合作，將手勢(shì)識(shí)別技術(shù)融合到視覺模組中，不僅能加速手勢(shì)識(shí)別技術(shù)在VR／AR頭顯中的應(yīng)用，同時(shí)能為硬件公司降低研發(fā)成本。

目前inside－out定位已經(jīng)成為VR／AR硬件最主流的技術(shù)方案，不論是Oculus Quest、Vive Focus、Vive Cosmos等VR設(shè)備，還是微軟、聯(lián)想、Magic Leap等AR設(shè)備，都采用了inside－out追蹤，并且成為其中標(biāo)配功能，而這也將成為手勢(shì)識(shí)別功能實(shí)現(xiàn)的硬件條件。

不過目前手勢(shì)識(shí)別功能在VR、AR上并未普及，雖然實(shí)現(xiàn)簡(jiǎn)單的手勢(shì)識(shí)別并不難，但如果要在普通的2D灰度或者RGB攝像頭上實(shí)現(xiàn)高精度的3D手勢(shì)識(shí)別和骨骼識(shí)別，對(duì)于許多硬件團(tuán)隊(duì)來說，需要投入非常多的人力進(jìn)行研發(fā)。即便是科技巨頭，很多技術(shù)也并不會(huì)親力親為，反而會(huì)選擇收購(gòu)專業(yè)的技術(shù)團(tuán)隊(duì)或者外部團(tuán)隊(duì)合作，抱團(tuán)趨勢(shì)非常明顯。

擁有雄厚資金和龐大技術(shù)實(shí)力的巨頭尚且如此，對(duì)于創(chuàng)業(yè)企業(yè)來說，所有VR、AR硬件中涉及的技術(shù)全部自行研發(fā)幾乎不可能，所以整合市場(chǎng)已有技術(shù)，在自己擅長(zhǎng)的領(lǐng)域深耕是更明智的方式。

凌感與詮視合作，不僅能夠降低硬件企業(yè)的研發(fā)成本，同時(shí)，也將有效推動(dòng)手勢(shì)識(shí)別技術(shù)在VR／AR設(shè)備上的應(yīng)用，為開發(fā)團(tuán)隊(duì)和用戶提供更多的交互選擇。

責(zé)任編輯：gt