你是否感到從時(shí)下最火的VR當(dāng)中窺探到了未來(lái)科技的影子？其實(shí)當(dāng)前的VR技術(shù)還有相當(dāng)多的不足需要開(kāi)發(fā)者們共同去推進(jìn)。

　　VR還有哪些技術(shù)的發(fā)展有所欠缺？未來(lái)的VR體驗(yàn)和使用場(chǎng)景究竟是什么樣子的？VR產(chǎn)業(yè)還有哪些你沒(méi)想到的商業(yè)模式？當(dāng)前最大的技術(shù)挑戰(zhàn)是什么？這些你想知道的問(wèn)題，報(bào)告作者AMD的工程師Allen Rush都試著從自身的角度做出了解答。

　　VR主要的體驗(yàn)通過(guò)光學(xué)和顯示技術(shù)實(shí)現(xiàn)，沉浸感的營(yíng)造通過(guò)控制本地視覺(jué)和位置信息來(lái)實(shí)現(xiàn)。參數(shù)包括了分辨率，光學(xué)調(diào)制，朝向，幀率和動(dòng)態(tài)范圍等。

　　到2016年，VR用戶達(dá)到200萬(wàn)，開(kāi)發(fā)者有20萬(wàn)。共有超過(guò)260家創(chuàng)業(yè)公司進(jìn)入VR行業(yè)，業(yè)內(nèi)關(guān)鍵玩家則包括了Oculus，索尼，微軟，谷歌，三星，HTC等。

　　VR應(yīng)用的場(chǎng)景很廣泛，比如教育，醫(yī)療，可視化大數(shù)據(jù)， 模擬訓(xùn)練，遠(yuǎn)程互動(dòng)，虛擬社交，游戲娛樂(lè)等。

　　視覺(jué)技術(shù)演進(jìn)的路線從基礎(chǔ)的2D渲染，3D渲染， 著色單元，沉浸式2D顯示，物理基礎(chǔ)渲染走到今天來(lái)到了虛擬現(xiàn)實(shí)的發(fā)展水平，未來(lái)還會(huì)發(fā)展VR中的照相寫實(shí)主義，最終實(shí)現(xiàn)全景呈現(xiàn)。當(dāng)然也可以認(rèn)為，當(dāng)前的技術(shù)發(fā)展水平使我們暫時(shí)只能看到這么遠(yuǎn)。

　　視窗顯示和人眼視場(chǎng)顯示兩種呈現(xiàn)方式在原理上的差異在于，考慮到人的視場(chǎng)，就需要在VR設(shè)備上配備攝像頭，其拍攝內(nèi)容補(bǔ)齊了人眼觀察到的真實(shí)世界環(huán)境數(shù)據(jù)，然后就能通過(guò)視頻合成器向顯示器輸出人眼視場(chǎng)的VR圖像。

　　從動(dòng)作捕捉到形成畫面，這其中所產(chǎn)生的延遲主要來(lái)自輸入，USB轉(zhuǎn)換，游戲引擎，CPU設(shè)置，以及框架方面的GPU渲染，傳輸框架緩沖，像素轉(zhuǎn)換到圖像顯示等功能和進(jìn)程。

　　VR技術(shù)應(yīng)用到的機(jī)器視覺(jué)技術(shù)體現(xiàn)在四個(gè)層面：

　　基本信息模塊：眼球追蹤反饋，位置信息（包括靜態(tài)的位置，動(dòng)態(tài)的移動(dòng)方向以及傾斜，旋轉(zhuǎn)，俯仰等九個(gè)自由度的信息），肢端探測(cè)器（手，腳等等）。

　　基礎(chǔ)功能：紅外追蹤，位置追蹤及校準(zhǔn)。

　　復(fù)合應(yīng)用：需要對(duì)用戶的眼球追蹤進(jìn)行深度學(xué)習(xí)，以理解其表達(dá)含義并進(jìn)行動(dòng)作預(yù)測(cè)。

　　知覺(jué)融合：視覺(jué)拼接，觸覺(jué)，動(dòng)態(tài)環(huán)境模型加速器。

　　VR技術(shù)正在進(jìn)行快速的進(jìn)化和發(fā)展，但是還有很長(zhǎng)的路要走。

　　神經(jīng)系統(tǒng)科學(xué)家 Maria V. Sanchez-Vives和計(jì)算機(jī)科學(xué)家Mel Slater這樣寫過(guò)：“對(duì)一個(gè)可與真人互動(dòng)的虛擬人物進(jìn)行渲染，比如通過(guò)語(yǔ)言識(shí)別，生成有意義的語(yǔ)句，面部表情，情緒，膚色，語(yǔ)調(diào)以及肌肉關(guān)節(jié)的活動(dòng)，這樣的效果目前實(shí)時(shí)的計(jì)算機(jī)圖形學(xué)和人工智能的能力還達(dá)不到。”

　　需要改進(jìn)的關(guān)鍵參數(shù)包括：延遲，分辨率，視場(chǎng)，色彩，動(dòng)態(tài)范圍和焦點(diǎn)管理。

　　需要補(bǔ)充的關(guān)鍵功能包括：眼球追蹤，環(huán)境視覺(jué)捕捉，精確定位，物體探測(cè)追蹤以及3D視場(chǎng)角。

　　需要改進(jìn)的關(guān)鍵功能包括：運(yùn)動(dòng)與反饋，光學(xué)系統(tǒng)，眼球追蹤和沉浸感俘獲等附加功能的發(fā)展方向是成為VR平臺(tái)的自有構(gòu)成功能。

　　新興的VR/CV社區(qū)會(huì)逐漸生長(zhǎng)出更生態(tài)化的東西，比如SDK，應(yīng)用開(kāi)發(fā)，用戶社群，度量工具以及更多的測(cè)評(píng)等等。

　　舉例而言，Leap Motion的“虛擬手” 最開(kāi)始的做法就是通過(guò)視像投影與視覺(jué)反饋實(shí)現(xiàn)的動(dòng)作交互。接下來(lái)需要補(bǔ)足的就是復(fù)雜化的渲染，識(shí)別，景深和追蹤等性能。

　　VR的應(yīng)用空間比較多樣化，具有創(chuàng)新性。

　　APP開(kāi)發(fā)者可以從軍事，醫(yī)療，游戲，電影，社交，教育，甚至沉浸式工作環(huán)境等領(lǐng)域?qū)ふ倚枨蟆?/p>

　　VR內(nèi)容需要的技術(shù)創(chuàng)新則包括了CGI，攝像機(jī)以及視頻拼接。

　　進(jìn)擊的VR是否超出你的想象？

　　更進(jìn)一步的發(fā)展可以從基礎(chǔ)創(chuàng)新中延展出更加亮眼的體驗(yàn)。

　　比如通過(guò)沉浸式的遠(yuǎn)程成像技術(shù)，你可以體驗(yàn)一下虛擬會(huì)議是什么樣子的。實(shí)現(xiàn)這樣的功能需要眼球追蹤，面部重建和表情投影等技術(shù)。

　　只有改善沉浸和感覺(jué)的營(yíng)造問(wèn)題，才能讓用戶從觀看變成體驗(yàn)。

　　一旦VR的群眾基礎(chǔ)打好了，就會(huì)生發(fā)出一大波的創(chuàng)新的APP，功能，創(chuàng)意等等。

　　原有的問(wèn)題可以通過(guò)新的技術(shù)解決，比如傳感器，探測(cè)器和覆蓋的同步問(wèn)題；又比如Liquid VR可以使用多個(gè)GPU分離并優(yōu)化工作量，通過(guò)算法改進(jìn)兼容性或延遲問(wèn)題；再又如，通過(guò)漏斗化渲染技術(shù)，可以讓計(jì)算機(jī)重點(diǎn)處理用戶眼睛所關(guān)注的畫面，這個(gè)范圍大約在視線中心的10%~20%范圍，結(jié)合眼球追蹤技術(shù)并能實(shí)現(xiàn)快速響應(yīng)的話，可以大大降低當(dāng)前圖形處理技術(shù)在計(jì)算能力上的負(fù)擔(dān)。

　　同時(shí)也可以開(kāi)發(fā)新型工具，比如視頻拼接，工作流管理，混合機(jī)器視覺(jué)探測(cè)，識(shí)別，學(xué)習(xí)，追蹤和標(biāo)記等等功能。

　　最終要實(shí)現(xiàn)將視覺(jué)，聽(tīng)覺(jué)，觸覺(jué)，方向，位置等各種感官進(jìn)行知覺(jué)整合與全景呈現(xiàn)。

　　而目前在技術(shù)上還需要對(duì)各種感官參數(shù)進(jìn)行量化，提升CPU，GPU以及加速器。

　　商業(yè)模式和產(chǎn)業(yè)生態(tài)

　　產(chǎn)業(yè)生態(tài)

　　從技術(shù)的角度來(lái)看，VR產(chǎn)業(yè)還有很多生態(tài)體系并不成熟，也不健全。

　　內(nèi)容開(kāi)發(fā)：游戲開(kāi)發(fā)，3D游戲向VR游戲轉(zhuǎn)化，VR攝影機(jī)，360度全景捕捉，重訂格式，圖形渲染，VR顯示投影等；

　　UI方面：尋找鼠標(biāo)鍵盤的替代方案；

　　捕捉內(nèi)容與圖像內(nèi)容的合成；

　　機(jī)器視覺(jué)覆蓋：探測(cè)器，物體標(biāo)記和追蹤；

　　平臺(tái)SDK：制定開(kāi)發(fā)者標(biāo)準(zhǔn)，包括測(cè)試，度量，分布和支持；也需要對(duì)庫(kù)，編譯器，以及向新平臺(tái)的移植進(jìn)行優(yōu)化。

　　商業(yè)模式

　　對(duì)于游戲商來(lái)講，可以探討其銷售，租賃和服務(wù)器和伺服器存儲(chǔ)等的相關(guān)商業(yè)模式。

　　而在硬件方面，除了主機(jī)型VR，一體機(jī)型VR，移動(dòng)VR以外，還要考慮拍攝設(shè)備的研發(fā)，因?yàn)槲磥?lái)的VR也需要對(duì)環(huán)境信息進(jìn)行捕捉。

　　嵌入式開(kāi)發(fā)則需要考慮系統(tǒng)集成和服務(wù)。

　　VR技術(shù)最大的挑戰(zhàn)是什么？

　　技術(shù)和設(shè)計(jì)上的挑戰(zhàn)——顯示和圖形

　　提升渲染和限時(shí)體驗(yàn)；

　　人眼視覺(jué)系統(tǒng)存在一定的限制：根據(jù)瑞利判據(jù)，人眼能分辨兩點(diǎn)的極限距離是愛(ài)里斑的半徑；

　　想要實(shí)現(xiàn)每秒90幀，就要達(dá)到每秒20G像素的渲染速度；

　　還需要更好的光學(xué)系統(tǒng)和鏡頭陰影矯正以及提高渲染復(fù)雜性等；

　　技術(shù)挑戰(zhàn)——攝像頭和機(jī)器視覺(jué)

　　舉例而言，VR技術(shù)的一大關(guān)鍵就是需要對(duì)手和眼球進(jìn)行追蹤。這其中就涉及到細(xì)節(jié)捕捉，幀速率，位置追蹤以及預(yù)測(cè)。相關(guān)的技術(shù)在文獻(xiàn)《Deep learning to customize and train》有介紹。

　　挑戰(zhàn)——生態(tài)和商業(yè)環(huán)境

　　內(nèi)容開(kāi)發(fā)：內(nèi)容主題，故事，360度/180度全景，聲音表現(xiàn)……

　　分發(fā)：內(nèi)容的標(biāo)準(zhǔn)格式，如何有效的進(jìn)行傳送；

　　內(nèi)容創(chuàng)新需要如何進(jìn)行測(cè)試，評(píng)估以及使用反饋；

　　當(dāng)然，最重要的是，這一波VR興起，誰(shuí)能賺到錢呢？

　　總結(jié)

　　VR是一個(gè)興起的產(chǎn)業(yè)！

　　它得益于技術(shù)局限的突破，發(fā)展于性價(jià)比最優(yōu)的解決辦法，將會(huì)成熟于更優(yōu)異的體驗(yàn)。

　　CV（機(jī)器視覺(jué)）加速了各種類型的應(yīng)用的興起。

　　使用其公共屬性可以發(fā)展為探測(cè)器，追蹤器等；

　　使用其特有屬性，如精確性和多樣性，可以應(yīng)用于醫(yī)療和游戲等行業(yè)。

　　生態(tài)的構(gòu)建需要SDK，用戶社群，內(nèi)容創(chuàng)作，評(píng)測(cè)評(píng)論。

　　商業(yè)模式就需要從娛樂(lè)，效率，功能化等應(yīng)用場(chǎng)景中尋找新的需求。

　　下面是參考文獻(xiàn)，有興趣可以找來(lái)看一看。

　　事實(shí)上，盡管環(huán)境一直在說(shuō)VR風(fēng)口已過(guò)，但是對(duì)于應(yīng)經(jīng)入局的玩家而言，相當(dāng)多的參數(shù)和性能需要你們鍥而不舍的搞上去，而更優(yōu)化的性價(jià)比方案需要你們搞下來(lái)。

　　同時(shí)對(duì)于內(nèi)容創(chuàng)作者而言，除了技術(shù)上可以實(shí)現(xiàn)游戲或影視內(nèi)容本身的無(wú)腦轉(zhuǎn)化以外，需要更多關(guān)注的是創(chuàng)作適合VR體驗(yàn)的作品。

　　與此同時(shí)，在這個(gè)行業(yè)當(dāng)中的參與者并不是只有公司和制作團(tuán)隊(duì)，智東西作為媒體是觀察者，我們的讀者有些是從業(yè)者，有些是期待VR的用戶。非常幸運(yùn)的，我們能在這個(gè)行業(yè)發(fā)展共同聚焦在這一點(diǎn)，而媒體和用戶的發(fā)聲被本文的作者同樣視為非常重要的聲音，是構(gòu)成整個(gè)VR行業(yè)的一部分。

　　本文為智東西整理呈現(xiàn)，文中所有數(shù)據(jù)結(jié)論版權(quán)歸原作者所有。