Paul Milgram 在 1994 年定義了著名的現實-虛擬連續體 ［1］。它一方面解釋了物理世界與另一方面完整的數字或計算機生成環境之間的過渡。但是，從技術的角度來看，引入了一個新的總稱，稱為擴展現實 （XR），通常稱為 XR。它是用于虛擬現實 （VR）、增強現實 （AR） 和混合現實 （MR） 以及沉浸式技術可能創造的未來現實的總稱。XR 涵蓋了真實和虛擬環境的全部范圍。在圖 1 中，Reality-Virtual Continuum 被新的總括術語擴展。如圖所示，出現了一個鮮為人知的術語，稱為增強虛擬性。該術語涉及一種方法，其中現實（例如用戶的手）出現在虛擬世界中。

圖 1 – XR擴展現實方案

一、XR擴展現實的概念和定義：

按照最常見的術語，XR擴展現實的三個主要場景定義如下。

增強現實 （AR）： 通過將虛擬空間的數字內容與現實世界混合，使用虛擬元素增強對真實環境的感知。Pokémon Go 和 Snapchat 過濾器是智能手機或平板電腦使用的此類技術的常見示例。AR 也廣泛應用于工業領域，工人可以戴上 AR 眼鏡在裝配、維護或培訓期間獲得支持。

增強虛擬 （AV） 使用真實元素增強對虛擬環境的感知。現實世界的這些元素通常被實時捕獲并注入到虛擬環境中。注入到虛擬環境中的用戶身體的捕獲是旨在提高體現感的 AV 的一個眾所周知的示例。

虛擬現實 （VR） 應用程序使用耳機讓用戶完全沉浸在計算機模擬的現實中。這些耳機產生逼真的圖像和聲音，使用兩種感官來創建交互式虛擬世界。

混合現實 （MR） 該定義包括 AR 和 AV。它融合了真實世界和虛擬世界以創建復雜的環境，物理和數字元素可以實時交互。它被定義為真實和虛擬環境之間的連續統一體，但不包括兩者。

二、XR擴展現實系統

圖 2 顯示了擴展現實系統的簡化示意圖。

圖 2：XR擴展現實系統的主要組件

應用程序（Application）：在左側，用戶正在使用 XR 應用程序執行任務。最新的XR4ALL 景觀報告提供了所有相關領域的完整概述，涵蓋廣告、文化遺產、教育和培訓、工業 4.0、健康和醫學、安全、新聞、社交 VR 和旅游。

交互（Interaction）：用戶與場景交互，他/她的交互被一系列輸入設備和傳感器捕獲，可以是視覺、音頻、運動和許多其他類型。

處理和渲染（Processing and rendering）：獲取的數據作為 XR 硬件的輸入，在渲染引擎中執行進一步的必要處理。例如，渲染正確的視點或觸發與場景的期望交互。在同一份報告中，給出了主要算法和方法的概述。但是，渲染引擎不僅使用捕獲的數據，還使用來自其他來源的附加數據，例如邊緣云服務器或設備本身可用的 3D 數據。

反饋（Feedback）：然后將渲染的場景反饋給用戶，讓他/她感知場景。這是通過各種方式實現的，例如 XR 耳機或其他類型的顯示器和其他感官刺激。

［1］ P. Milgram， H. Takemura， A. Utsumi， and F. Kishino， “Augmented Reality： A class of displays on the reality-virtuality continuum”， Proc. SPIE vol. 2351， Telemanipulator and Telepresence Technologies， pp. 2351–34， 1994.

［2］ Ronald T. Azuma， “A Survey of Augmented Reality”， Presence： Teleoperators and Virtual Environments， vol. 6， issue 4， pp. 355-385， 1997.