識別與跟蹤技術

在實現增強現實的過程中，需要對真實的場景和信息進行分析，生成虛擬事物信息。這兩步看似簡單，其實在實際進行過程中，需要將攝像機獲得的真實場景的視頻流，轉化成數字圖像，然后通過圖像處理技術，辨識出預先設置的標志物。

識別出標志物之后，一標志物作為參考，結合定位技術，由增強現實程序確定需要添加的三維虛擬物體在增強現實環境中的位置和方向，并確定數字模板的方向。將標志物中的標識符號與預先設定的數字模板鏡像匹配，確定需要添加的三維虛擬物體的基本信息。生成虛擬物體，并用程序根據標識物體位置，將虛擬物體放置在正確的位置上。這其中涉及到的識別跟蹤和定位問題，是增強現實的最大的難題之一。

要實現虛擬和現實事物的完美結合，必須確定虛擬物體在現實環境中準確的位置，準確的方向，否則增強現實的效果就會大打折扣。而在現實環境中，由于現實環境的不完美性，或者稱為復雜性，增強現實系統在這種環境下的效果遠不如在實驗室的理想環境中。由于現實環境中的遮擋，未聚焦，光照不均勻，物體運動速度過快等問題，對增強現實的跟蹤定位系統提出了挑戰。

如果不考慮與增強現實進行交互的設備，其主要實現跟蹤定位的方法有如下兩種：

圖像檢測法

使用模式識別技術（包括模板匹配，邊緣檢測等方法），識別獲得的數字圖像中預先設置的標志物，或是基準點，輪廓，然后根據其偏移距離和偏轉角度計算轉化矩陣確定虛擬物體的位置和方向。

這種方法進行跟蹤定位不需要其他的設備，而且精確度較高，因此是增強現實技術中最常見的定位方法。在模板匹配時，系統會預先存儲好多種模板，來和圖像中檢測到的標志物匹配來計算定位。簡單的模板匹配可以提高圖像檢測的效率，因也為增強現實的實時性提供了保障。通過計算圖像中標志物的偏移和偏轉，也能夠做到三維虛擬物體的全方位觀察。模板匹配一般用于對應特定圖片三維成像，設備通過掃描特定的圖片，將這些圖片中的特殊標志位與預先存儲的模板匹配，即可呈現三維虛擬模型。比如汽車店的車模卡片，玩具公司的人物卡片，都可以用模板匹配來進行增強現實。邊緣檢測可以檢測出人體的一些部位，同時也可以跟蹤這些部位的運動，將其與虛擬物體物體無縫融合。比如，真實的手提起虛擬的物體，攝像機可以通過跟蹤用戶手的輪廓，運動方式來調整虛擬物體的方位。因此，許多商場的虛擬商品實用，多會使用邊緣檢測。

雖然圖形檢測法簡單高效，但也有其不足的地方。圖像檢測發多用于相對理想的環境以及近距離的環境，這樣獲得的視頻流和圖像信息會清晰，易于進行定位計算。而如果在室外環境中，光線的明暗，物體的遮擋，以及聚焦問題，使得增強現實系統不能很好的識別出圖像中的標志物，或是出現和標志物相似的圖像，這樣都會影響增強現實的效果。而此時，就需要其他跟蹤定位方法的輔助。

全球衛星定位系統法

這種方法是基于詳細的GPS信息進行跟蹤和確定用戶的地理位置信息。當用戶在真是環境中行走時，可以利用這些定位信息和用戶攝像機的方向失誤，增強現實系統能將虛擬信息和虛擬物體精確的低價到環境景物以及周圍的人物之上。目前由于智能設備的普及，智能手機的廣泛應用，而又由于智能手機具有支持基于GPS定位法的增強現實系統的基本組件：攝像機，顯示屏，GPS功能，信息處理器，數字羅盤等，并把它們集成為一體，因此這種跟蹤定位法多用于這種智能移動設備上。一種稱為增強現實瀏覽器的應用程序，主要就是應用這種方法。增強現實瀏覽器能夠在智能手機上運行，它可以連接互聯網，搜索相關的信息，然后讓用戶在真實的環境看到相關的信息。增強現實瀏覽器能夠可以讓用戶了解到攝像機方向的幾乎所有事物的信息，比如找到一家距離很近但是被遮擋住的餐廳，或是獲取用戶對一家咖啡館的評價。

這種定位方式適合于室外的跟蹤定位，可以克服在室外環境中，光照，聚焦等不確定因素對圖像檢測法造成的影響。

其實在增強現實系統實際運用的環境中，往往不會用單一的定位方法來定向定位。比如增強現實瀏覽器也會運用圖像檢測法來檢測一些特定的符號，例如QR碼。識別出QR碼在進行模板匹配，即可為用戶提供信息。

現實技術

當前的增強現實主要有如下三種顯示技術：1、移動手持顯示。2、視頻空間顯示和空間增強顯示。3、可穿戴式顯示。

智能手機通過相應的軟件實時取景并顯示疊加的數字圖像，這就是移動手持式顯示器的一般工作情況。同時現在平板電腦不斷增加功能以及比智能手機更大的屏幕，也是的其日益流行。

手持增強現實標志物，通過網絡攝像機在食品窗口或是顯示器上顯示虛擬疊加的圖像，就是視頻空間顯示方式。帶有增強現實功能的賀卡，既是用這種方式顯示的。用戶在收到賀卡后，登錄相應的網站系統，用網絡攝像機對準賀卡，用戶即可從顯示屏上得到賀卡內所存儲的信息形成的虛擬物體和視頻。而空間增強顯示技術，則是利用把包括全息投影在內的視頻投影技術，直接將虛擬數字信息顯示在真實的環境之中。這種技術的系統不同于一般的增強現實系統，只適合于個人使用，而是能想增強現實與周圍環境相結合，不僅僅限于單個用戶。這種技術適用于大學或者圖書館，可以同時為一群人提供增強現實信息。也可以將控制組件投影到相應的實體模型上，方便工程師的交互操作。

可穿戴式顯示器是一種可以戴在用戶頭上的類似眼鏡的頭盔顯示器。我們熟知且期待的google glass正式這一類型的。可穿戴式顯示器一般有一道兩個內嵌鏡頭和半透明鏡的小型顯示器，在飛行仿真，工程設計以及教育訓練等多個領域都有廣泛的運用。頭戴式設備可以讓用戶更加自然地體驗增強現實，并且能夠為用戶提供更大的視場，給予用戶更強，更真實的“身在該處”的感覺。

交互技術

最基礎的增強現實人機交互就是用戶查看虛擬數據。除此之外，還有一下一些交互技術

觸覺接口交互

通過數字信息提供身體觸感來進一步實現虛實結合。比如，可觸碰的虛擬光球，可以在虛擬的碗上繪畫的幻影筆。

協作式接口交互

使用多個顯示器來支持遠程共享與交互或是同地協作活動。這種交互能夠與多種應用軟件集成，可用于醫學領域的執行診斷和外科手術，或是設備維修等。

混合接口交互

組合多種不同但是功能互補的接口，使得用戶能夠通過多種方式的增強現實的內容進行交互。這種交互使得增強現實的交互更加靈活，可以用于數字模型的測試。

多模態接口交互

通過語言和行為的自然存在的形式與真實物體進行交互，比如，說話，觸碰，自然手勢，凝視等。多模態交互能讓用戶靈活的組合多種模態，更方便用戶與增強現實系統的交互。

AR增強現實的技術支撐

基礎3D模型

3D模型(靜態或動態)是AR技術最基本的展現形式，比如動漫人物、建筑、展品、家具等。目前，國內AR行業正屬于前期發展階段，3D模型表現形式主要應用于AR初級移動app類產品。這種變現方式雖然是最基礎的，但也是目前應用場景最廣、開發成本最低、市場普及最好的產品。

視頻

相對于簡單的3D模型，酷炫的視頻展示無疑更能博人眼球，在商業運營中，這種展示方式帶來的經濟效益會更好。比如，本來是普通的產品安裝說明、菜單講解、宣傳單介紹，一旦應用AR技術，那么它就不再是一張平面的圖片，而表現出立體形象了，表述也變得準確生動起來，有一種魔幻的感覺。在類似的場景應用中，AR技術都有巨大的市場空間可供挖掘拓展。在這里，需要提醒的是，利用AR技術實現視頻播放并不難，難的是制作一段適合AR情景播放的宣傳片，這就需要各位腦洞大開、細心雕琢了。

透明視頻

初次看到的時候，感覺它更像是使用了超高清的3D人物模型，但嚴格的說，這是做了特殊處理的透明視頻展示的效果。這種視頻沒有3D模型的高額成本，但卻有逼真的演繹效果。如果在大型海報、宣傳冊、商場活動等場景中，設計好了，可是會有超級贊的效果。

場景展現

它可不是簡單的一個個3D模型加上去就算完事了，場景展現雖然類似基礎3D模型疊加，但實現起來要比單一3D模型復雜的多，場景里包含的更多，應用范圍也更加廣闊。比如娛樂、立體閱讀、游戲等應用都會需要場景展現，當然這類場景的建設需要內容的支持。AR的場景展現不同于VR建造的全場景，AR場景展現是基于現實并與現實相互交錯的，這也正是AR技術的迷人之處。

AR游戲

AR技術在游戲方式方面也帶來了巨大的革新。目前像《Pokemon Go》、《小龍斯派羅》、《幻實新英雄卡》等，都是非常不錯的AR游戲。想象一下，往后的游戲不再需要復雜的場景建模，而是在真實的世界里游戲，同時在真實的世界里又能出現許多虛擬疊加進去的事物，這是一種多么棒的體驗!游戲也能擺脫場地與空間的束縛，可以隨時隨地開始。

VR結合

AR與VR技術共同豐富著我們的現實世界，AR技術旨在增強我們所處世界的內容，而VR技術則是將我們的注意力從現實中轉移到一個虛擬的空間。AR和VR要是相結合起來，相信會有更好的體驗，比如有了VR設備+AR顯示，你也不在需要導游或者講解員了，借助VR，讓AR所反饋出來的增強信息會實時地出現在你所聚焦的物體旁邊，告訴你這是什么，甚至還會告訴你關于它的詳細信息。未來像這樣的結合還可以體現在導航、醫療等領域。

大屏互動

大屏互動作為AR技術展現的延伸，其表現效果也是很讓人驚喜的，主要應用于商場、博物館、體驗館、大型活動(演唱會)等。大屏互動，簡單來講就是AR技術加投影，營造更為真實、震感的場景和氛圍。