?

新思科技一直致力于打造“人人都能懂”的行業(yè)科普視頻，傳播更多芯片相關(guān)小知識，解答各類科技小問題。每周3分鐘，多一些“芯”知識。

這一期，我們聊一聊VR、AR與MR的那些事兒。

VR、AR、MR，聽起來是不是感覺都差不多？

你是不是想說：“就是虛擬眼鏡那些東西唄。”

沒錯(cuò)，你說對了…里面的一小部分。

近幾年“元宇宙”概念火熱，人類對虛擬世界的探索漸漸形成系統(tǒng)產(chǎn)業(yè)。甚至似乎無論什么行業(yè)什么公司，但凡和“虛擬”能沾上邊都自稱元宇宙公司。VR、AR、MR這幾個(gè)詞也隨著元宇宙的熱度，打著組合拳走進(jìn)了我們的視野。

這三個(gè)也確實(shí)是虛擬現(xiàn)實(shí)產(chǎn)業(yè)的Key word。詳聊一下這三個(gè)詞，也能管中一窺目前增強(qiáng)與虛擬現(xiàn)實(shí)產(chǎn)業(yè)的情況。

VR（Virtual Reality），指虛擬現(xiàn)實(shí)。也就是創(chuàng)造一個(gè)完全虛擬的世界，用戶可以在其中進(jìn)行體驗(yàn)。通過設(shè)備模擬一個(gè)完全虛擬的數(shù)字世界，通過VR眼鏡和手柄等外設(shè)進(jìn)入虛擬空間，能為用戶提供視覺、聽覺、觸覺等感官模擬體驗(yàn)。對使用者而言，這是一種完全的沉浸式體驗(yàn)。

AR（Augmented Reality），意為增強(qiáng)現(xiàn)實(shí)。也就是把虛擬的元素增加到現(xiàn)實(shí)世界的場景中，增加了用戶的現(xiàn)實(shí)體驗(yàn)。通俗地說，AR=真實(shí)世界場景+虛擬物體信息。通過將計(jì)算機(jī)技術(shù)生成的虛擬文字、圖像等信息融合并疊加到真實(shí)世界的場景中并實(shí)現(xiàn)交互。

MR（Mixed Reality），稱為混合現(xiàn)實(shí)，是VR和AR的融合形態(tài)。能夠?qū)⒄鎸?shí)世界和虛擬世界進(jìn)行融合，產(chǎn)生新的可視化環(huán)境，是通過真實(shí)世界+虛擬世界+數(shù)字化信息的高度融合方式形成的一個(gè)無縫銜接的虛實(shí)交互的世界。

總結(jié)下來，三者關(guān)系非常微妙，都含有虛擬的部分。VR是全虛擬的數(shù)字世界；AR是半真半假，只是將虛擬的投射到現(xiàn)實(shí)中；MR則是將數(shù)字虛擬的內(nèi)容按照現(xiàn)實(shí)規(guī)律疊加在真實(shí)世界中，讓你真假難辨。

這些體驗(yàn)是通過哪些技術(shù)得以實(shí)現(xiàn)的呢？

VR虛擬現(xiàn)實(shí)

VR的核心技術(shù)包括近眼顯示、感知交互、渲染處理、內(nèi)容制作。簡單地說，就是如何讓你沉浸在一個(gè)頭戴式的眼鏡里，眼鏡里需要一個(gè)響應(yīng)速度極快的顯示器（及配套的驅(qū)動(dòng)芯片）。它的刷新率需要足夠高，避免使用者感到不適暈眩。

其中顯示器部分，已從AMOLED發(fā)展到Fast LCD，而后又升級為帶有Mini LED背光的Fast LCD。感知交互模塊，需要配以慣性傳感器、3D攝像頭等其他感官探測硬件，來實(shí)現(xiàn)語言交互、眼球追蹤、觸覺反饋、表情識別、腦電交互等功能。

渲染技術(shù)，也就是圖像處理，則需要GPU與算法配合來進(jìn)行整個(gè)畫面的優(yōu)化處理。當(dāng)然，圖形接口、渲染專用硬加速芯片、云端渲染、光場渲染、視網(wǎng)膜渲染等關(guān)鍵技術(shù)也需要進(jìn)一步研發(fā)加強(qiáng)，來實(shí)現(xiàn)高畫質(zhì)和低延時(shí)。

AR增強(qiáng)現(xiàn)實(shí)

AR最核心的技術(shù)則是VPS（Visual Positioning System），視覺定位技術(shù)。學(xué)術(shù)上稱為“空間計(jì)算”，包括空間構(gòu)建和定位服務(wù)。其中地圖構(gòu)建技術(shù)有SLAM（即時(shí)定位與地圖構(gòu)建）、SFM（三維重建）等，目前SFM更為主流。

從概念上講，SFM是用多幅包含著視覺運(yùn)動(dòng)信息的二維圖像序列去估算三維結(jié)構(gòu)的技術(shù)。它屬于計(jì)算機(jī)視覺及可視化的研究范圍。

此外，AR眼鏡中，顯示技術(shù)是另一大核心，分為被動(dòng)式微顯示技術(shù)，主動(dòng)式微顯示技術(shù)以及掃描顯示技術(shù)。其中，被動(dòng)式微顯示技術(shù)包括傳統(tǒng)的LCD以及DLP、LCOS等，它們在工作時(shí)需要使用RGB LED或者RGB激光器作為光源。主動(dòng)式微顯示技術(shù)包括使用Micro OLED和Micro LED的顯示技術(shù)。掃描顯示技術(shù)（LBS）使用RGB激光器作為光源，搭配MEMS進(jìn)行掃描成像。

MR混合現(xiàn)實(shí)

MR技術(shù)需要感知系統(tǒng)和顯示設(shè)備，其中感知系統(tǒng)中也需要和AR一樣的空間構(gòu)建和定位。此外，MR不僅需要圖像識別，還要將現(xiàn)實(shí)的東西虛擬化，即把二維圖像通過計(jì)算機(jī)形成三維的虛擬圖像，也就是3D建模。建模后才能把它們有機(jī)地融進(jìn)真實(shí)世界的影像中。使用MR技術(shù)的顯示設(shè)備可以非常簡單，例如平板電腦和智能手機(jī)等。直接通過手機(jī)屏幕，就可以看到虛擬和現(xiàn)實(shí)的結(jié)合。當(dāng)然了，底層的芯片技術(shù)不必多說，就是手機(jī)SoC芯片。

有點(diǎn)黑科技的意思了吧。這些技術(shù)如今發(fā)展得怎么樣了呢，我們什么時(shí)候才能大規(guī)模用上呢？

從市場規(guī)模來看，IDC數(shù)據(jù)顯示，2021年全球AR/VR市場總投資規(guī)模接近146.7億美元，并有望在2026年增加到747.3億美元，五年復(fù)合增長率將達(dá)38.5%。目前國內(nèi)虛擬現(xiàn)實(shí)產(chǎn)業(yè)的投融資關(guān)注度較高，投資并購事件頻發(fā)，國內(nèi)的資本熱度也將進(jìn)一步推動(dòng)國內(nèi)VR市場規(guī)模提升。

從產(chǎn)業(yè)發(fā)展來看，未來AR/VR將在垂直行業(yè)中快速滲透。目前，VR應(yīng)用場景以to-C（直接面對使用者）為主，聚焦于游戲、娛樂、治療等領(lǐng)域，目的是創(chuàng)造一個(gè)完全虛擬的世界。例如在游戲領(lǐng)域，VR技術(shù)可以模擬游戲設(shè)計(jì)中的環(huán)境、感知和自然技能，并在此基礎(chǔ)上形成立體的動(dòng)態(tài)場景，讓玩家通過交互界面和VR可穿戴設(shè)備直接與游戲中的環(huán)境和角色進(jìn)行交流，強(qiáng)化游戲的真實(shí)感。

與此同時(shí)，在B端（商業(yè)模式）對于VR+營銷、VR+文旅、VR+醫(yī)療培訓(xùn)、VR+工業(yè)制造等廣泛實(shí)踐也在陸續(xù)開展。從B端成效看，VR+營銷已成為近年的熱點(diǎn)，VR全景與房產(chǎn)家裝的營銷方式已經(jīng)有了非常多的成熟案例，同時(shí)短視頻、語音解說等功能也嵌入VR全景中。

AR目前則主要應(yīng)用于B端，涵蓋了工業(yè)、廣告營銷、制造業(yè)等諸多行業(yè)。以工業(yè)生產(chǎn)為例，AR的可視化能發(fā)揮重大作用，可極大提高生產(chǎn)效率。比如在操作繁雜的飛機(jī)制造領(lǐng)域，工作人員戴上AR眼鏡后，整個(gè)流程會(huì)直接投射到眼前，工作人員可以一邊對照著全息畫面的流程一邊工作，避免出錯(cuò)。在一些復(fù)雜的工業(yè)設(shè)計(jì)生產(chǎn)中，通過AR技術(shù)，工程師把生產(chǎn)流程在真實(shí)世界中精確地展示出來，更能實(shí)時(shí)查看設(shè)計(jì)效果。

由于各行業(yè)應(yīng)用場景具有獨(dú)特性和應(yīng)用壁壘，相比于通用型、標(biāo)準(zhǔn)化產(chǎn)品，未來AR和VR仍會(huì)在垂直行業(yè)中快速滲透，以提供行業(yè)產(chǎn)品及行業(yè)解決方案。而MR技術(shù)由于其真實(shí)感強(qiáng)、互動(dòng)性好等獨(dú)特的優(yōu)勢，并且可以與現(xiàn)實(shí)世界進(jìn)行交互且產(chǎn)生新的可視化環(huán)境，能夠在多種不同的領(lǐng)域深入應(yīng)用，可以說比AR和VR的發(fā)展前景更廣闊。

隨著5G的高速率、廣連接和低時(shí)延直接提升了虛擬現(xiàn)實(shí)設(shè)備性能并改善了用戶體驗(yàn)，客觀上進(jìn)一步助推AR/VR/MR的大規(guī)模應(yīng)用。在云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能以及移動(dòng)互聯(lián)網(wǎng)等技術(shù)的融合加持下，有望構(gòu)建互聯(lián)網(wǎng)下一站——空間互聯(lián)網(wǎng)。在經(jīng)歷了PC互聯(lián)網(wǎng)時(shí)代與移動(dòng)互聯(lián)網(wǎng)時(shí)代后，人類將進(jìn)入空間互聯(lián)網(wǎng)的時(shí)代。數(shù)字技術(shù)更不易察覺卻又無處不在，隨之而來的將是新的交互終端呈現(xiàn)方式。

空間計(jì)算將成為人類與周圍環(huán)境的計(jì)算設(shè)備進(jìn)行交互的嶄新渠道，AR/VR/MR設(shè)備將取代電腦、手機(jī)成為空間互聯(lián)網(wǎng)的交互入口。數(shù)據(jù)資產(chǎn)將不再僅僅處于計(jì)算機(jī)、手機(jī)等固定設(shè)備中，而是占據(jù)了我們周圍的空間，交互無處不在。新思科技不單作為光學(xué)解決方案提供商，為AR/VR、移動(dòng)設(shè)備、平板顯示等領(lǐng)域提供一流的光學(xué)設(shè)計(jì)工程服務(wù)；更作為數(shù)智時(shí)代的“根技術(shù)”提供者，新思科技將通過芯片自動(dòng)化設(shè)計(jì)工具EDA、IP和軟件安全的整體解決方案，賦能所有的先進(jìn)芯片，用領(lǐng)先科技助力未來空間互聯(lián)網(wǎng)的到來。

空間互聯(lián)網(wǎng)將會(huì)帶來全新3D化、游戲化等的交互體驗(yàn)，甚至有機(jī)會(huì)重新奠定一個(gè)空間互聯(lián)網(wǎng)內(nèi)容生態(tài)的全新商業(yè)模式。

其實(shí)，在AR、VR和MR技術(shù)出現(xiàn)之前，我們早在電影層面有了藝術(shù)想象。《阿凡達(dá)》、《盜夢空間》、《頭號玩家》這些電影都向我們描述了虛擬與現(xiàn)實(shí)交織的世界。

《黑客帝國》就里有一句經(jīng)典發(fā)問“什么是真實(shí)？你又如何定義真實(shí)？”當(dāng)?shù)讓蛹夹g(shù)不斷發(fā)展，我們該如何擁抱未來，這是未來世界等待著我們用科技來作答的發(fā)問。

?