增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）技術(shù)近年在產(chǎn)業(yè)界和學(xué)術(shù)界吸引了極高的關(guān)注度，它們豐富了現(xiàn)實(shí)世界環(huán)境，或用模擬環(huán)境替代現(xiàn)實(shí)世界。然而，AR/VR設(shè)備存在的端到端延遲會嚴(yán)重影響用戶體驗(yàn)。尤其是動顯延遲（Motion-to-photons latency，定義為從用戶發(fā)生動作到該動作觸發(fā)的反饋顯示在屏幕上所需要的時間），它是限制AR/VR應(yīng)用的主要挑戰(zhàn)之一。例如，動顯延遲高于20 ms就會導(dǎo)致用戶惡心或眩暈。

因此，減少動顯延遲對于改善用戶的虛擬體驗(yàn)至關(guān)重要。減少動顯延遲的一種常見方法是通過預(yù)判用戶的移動來預(yù)測未來的頭部方向，使AR/VR設(shè)備能夠提前渲染接下來的場景。因此，開發(fā)能夠在AR/VR設(shè)備中準(zhǔn)確預(yù)測頭部方向的算法至關(guān)重要。當(dāng)然，除了AR/VR應(yīng)用，方向預(yù)測在無人機(jī)、機(jī)器人和導(dǎo)航系統(tǒng)等其他實(shí)際應(yīng)用中也至關(guān)重要。

方向預(yù)測需要利用各種測量源（例如慣性傳感器或單目/立體相機(jī)）的信息來預(yù)先估算當(dāng)前方向。例如，之前已有研究合并利用慣性傳感器和相機(jī)測量數(shù)據(jù)以估算物體的方向，其中慣性傳感器用于通過積分測量來確定方向，而相機(jī)輸出用于補(bǔ)償誤差。然而，相機(jī)視覺信息增加了估算過程的復(fù)雜性，不適合資源有限的設(shè)備。

此外，照明變化也會影響基于相機(jī)的算法性能。MEMS技術(shù)的進(jìn)步推動了慣性測量單元（IMU）的小型化和經(jīng)濟(jì)性。憑借其高采樣率、低延遲和小尺寸，IMU已被用于現(xiàn)代AR/VR設(shè)備，以獲取用于定位和方向的數(shù)據(jù)。

頭部方向預(yù)測示意圖

商用IMU通常包括三軸陀螺儀、三軸加速度計和/或磁力計。陀螺儀測量角速度并隨時間進(jìn)行積分以確定方向角。然而，積分過程也會累積傳感器誤差；因此，隨著時間的推移，估算方向會偏離真實(shí)方向，影響可靠性。加速度計用于測量地球的引力場來克服這個問題，從而產(chǎn)生用于校正估算方向的參考矢量。測量地球磁場的磁力計也用于校正角速度。不過，由于其對磁干擾（如金屬或電氣設(shè)備產(chǎn)生的磁干擾）非常敏感，使其適用性受到限制。

此外，已有研究利用IMU基于卡爾曼濾波（KF）和粒子濾波（PF）開發(fā)了多種用于AR/VR設(shè)備的方向預(yù)測算法?；诳柭鼮V波的算法通過遞歸地執(zhí)行兩步預(yù)測和校正來導(dǎo)出最優(yōu)估計。在預(yù)測步驟中，濾波器預(yù)測未來方向及其不確定性。

一旦觀察到實(shí)際測量結(jié)果，就使用加權(quán)平均來校正預(yù)測，其中不確定性較低的估計值被分配更大的權(quán)重。相比之下，粒子濾波是一種遞歸貝葉斯?fàn)顟B(tài)估算模型，利用隨機(jī)樣本表示系統(tǒng)狀態(tài)的概率密度函數(shù)。因?yàn)榱Ｗ訛V波可以以任何形式使用狀態(tài)空間模型，所以它們可以應(yīng)用于廣泛的模型。然而，盡管粒子濾波更復(fù)雜，但與卡爾曼濾波相比，粒子濾波并未表現(xiàn)出顯著的改進(jìn)。

因此，卡爾曼濾波更常用于方向估算和預(yù)測。由于標(biāo)準(zhǔn)卡爾曼濾波是僅在線性假設(shè)下的最優(yōu)估算，因此其變體，例如擴(kuò)展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF），廣泛用于非線性系統(tǒng)中的方向預(yù)測。特別是擴(kuò)展卡爾曼濾波通過將基于先前估算的狀態(tài)轉(zhuǎn)移函數(shù)線性化到當(dāng)前估算來預(yù)測方向。

然而，當(dāng)狀態(tài)轉(zhuǎn)移和觀測模型高度非線性時，擴(kuò)展卡爾曼濾波可能由于不確定度的傳播而表現(xiàn)出較差的性能。在無跡卡爾曼濾波中，線性化被稱為無跡變換的確定性采樣方案所取代，該方案在均值附近選擇一組采樣點(diǎn)。因此，基于無跡卡爾曼濾波的算法不適用于AR/VR等計算能力有限的設(shè)備。

據(jù)麥姆斯咨詢介紹，韓國東國大學(xué)多媒體工程系的一支研究團(tuán)隊(duì)近期提出了一種新的方向預(yù)測算法，通過解決傳統(tǒng)預(yù)測算法的局限性來提高預(yù)測精度。所提出的算法通過從當(dāng)前方向估算線性位移及隨后的調(diào)整來補(bǔ)償線性預(yù)測引起的誤差。

當(dāng)前預(yù)測基于先前預(yù)測的準(zhǔn)確性進(jìn)行調(diào)整。為此，確定先前線性預(yù)測和當(dāng)前方向之間的方向差異。然后，研究人員定義了一個權(quán)重矩陣，基于方向差確定當(dāng)前預(yù)測的最優(yōu)調(diào)整。

與卡爾曼濾波的推導(dǎo)相似（不確定性較低的差異被分配更大的權(quán)重），使用當(dāng)前和先前預(yù)測的方向之間的預(yù)測誤差，獲得最佳權(quán)重矩陣作為最小均方誤差（MMSE）估算。

總體來說，研究人員提出了一種配備IMU（包括三軸陀螺儀和三軸加速度計）、基于類卡爾曼誤差補(bǔ)償?shù)腁R/VR設(shè)備方向預(yù)測算法。這項(xiàng)研究的主要貢獻(xiàn)是基于先前的預(yù)測精度提高當(dāng)前的預(yù)測精度，并基于方向差確定預(yù)測的最佳調(diào)整。實(shí)驗(yàn)結(jié)果表明，該算法在多個開放數(shù)據(jù)集上優(yōu)于傳統(tǒng)的方向預(yù)測算法。

審核編輯：劉清