8月23日消息，美國(guó)專(zhuān)利商標(biāo)局發(fā)布了蘋(píng)果一項(xiàng)VR/MR頭顯相關(guān)追蹤專(zhuān)利，專(zhuān)利中指出了一種采用inside-out方式，可追蹤頭部、身體和環(huán)境的系統(tǒng)。據(jù)悉，該專(zhuān)利申請(qǐng)于2018年第三季度，其技術(shù)基于蘋(píng)果在2017年11月收購(gòu)的AR/VR混合頭顯開(kāi)發(fā)商Vrvana的一項(xiàng)專(zhuān)利技術(shù)。

蘋(píng)果在專(zhuān)利中寫(xiě)到，若要營(yíng)造VR的沉浸感，需要考慮多種因素，包括：顯示屏畫(huà)質(zhì)、刷新率、像素分辨率、高動(dòng)態(tài)范圍（HDR）、圖像暫留和紗窗效應(yīng)等等。如果FOV過(guò)小，或者追蹤功能出現(xiàn)延遲或不準(zhǔn)確，也會(huì)降低沉浸感。而在MR中，虛擬物體與真實(shí)世界表面的實(shí)時(shí)交互也需要依賴優(yōu)質(zhì)的追蹤效果。

總之，對(duì)于優(yōu)質(zhì)的VR/MR體驗(yàn)來(lái)講，各種追蹤功能都是必要的，尤其是頭部追蹤、身體追蹤和環(huán)境追蹤，對(duì)于營(yíng)造沉浸感將起到關(guān)鍵作用。因此，蘋(píng)果提出了一種集成全部追蹤元件且便于移動(dòng)的緊湊型VR/MR頭顯。

該頭顯可采用的多個(gè)傳感器包括：一對(duì)RGB攝像頭傳感器（配備紅外光截止濾光片的透鏡）、一對(duì)配備近紅外帶通濾波器和相關(guān)透鏡的單攝像頭傳感器、一個(gè)慣性測(cè)量單元（IMU）、一個(gè)配備相關(guān)紅外線發(fā)射器的ToF攝像頭傳感器、一個(gè)斑點(diǎn)圖案發(fā)射器。

其中RGB攝像頭將用于支持頭顯的MR透視功能，而紅外攝像頭將用于為追蹤功能提供視覺(jué)數(shù)據(jù)。

專(zhuān)利中還詳細(xì)描述了頭顯所搭載的各種傳感器的追蹤方式，其中頭部追蹤的方法是，通過(guò)識(shí)別透視功能捕捉到的2D圖像特征，識(shí)別并匹配每個(gè)特征的深度，并生成3D點(diǎn)云，然后通過(guò)對(duì)3D點(diǎn)云的實(shí)時(shí)追蹤來(lái)推斷頭部方向。此外，IMU傳感器也可以提供補(bǔ)充信息。

而追蹤用戶身體姿態(tài)的方法是，顯示在密集的深度圖上對(duì)人體圖像進(jìn)行分割，提取與姿態(tài)網(wǎng)格和身體分割圖，然后再?gòu)木W(wǎng)格中提取出骨骼模型，然后通過(guò)追蹤用戶身體活動(dòng)，并將姿態(tài)模型與骨骼模型和身體動(dòng)作相匹配，來(lái)識(shí)別人體姿態(tài)。

最后，環(huán)境追蹤的方式是，利用透視立體圖和姿態(tài)追蹤數(shù)據(jù)生成一個(gè)運(yùn)動(dòng)模型，然后識(shí)別關(guān)鍵節(jié)點(diǎn)，利用描述符來(lái)提取關(guān)鍵點(diǎn)附近的特征，接著通過(guò)將密集深度圖與提取的特征相結(jié)合，預(yù)測(cè)出環(huán)境表面描述符。