Magic Leap在本周終于在Magic Leap's Creator端口上發(fā)布了自己的Lumin SDK文件,我們也有機(jī)會(huì)了解到設(shè)備更多的功能,以及如何哪些軟件是可以使用的。
以下就是對(duì)Lumin OS、SDK和開發(fā)者端口的一些解讀。
Lumin OS
我們知道Magic Leap的操作系統(tǒng)被稱作Lumin。這個(gè)系統(tǒng)是基于Linux和安卓開源項(xiàng)目所打造的。應(yīng)用將會(huì)基于Magic Leap自己的Lumin Runtime引擎打造,同時(shí)在Lumin上運(yùn)行。除了Lumin Runtime之外,尋常的3D引擎如Unity和UE4引擎也都可以用來開發(fā)Magic Leap內(nèi)容。
Magic Leap軟件棧
Magic Leap One軟件棧的下一層級(jí)是OS服務(wù)層。在這一層,利用OS Core我們會(huì)進(jìn)入更高層次。例如,輸入管理、通信管理(藍(lán)牙和Wi-Fi)以及電源管理等功能都在此進(jìn)行處理。
在這一層,Magic Leap也包含了該公司名為Perception的服務(wù)。這些子系統(tǒng)處理一些更復(fù)雜的輸入,例如用戶和環(huán)境感應(yīng),以及圖形渲染管道,其中包括Magic Leap實(shí)現(xiàn)異步時(shí)間扭曲(ATW)。
使用可移植操作系統(tǒng)接口(POSIX)API標(biāo)準(zhǔn),平臺(tái)API層作為開發(fā)人員與空間計(jì)算功能之間的看門人,具有用戶設(shè)置權(quán)限系統(tǒng)。這一層還包括常用于Android OS中作為進(jìn)程間的通信系統(tǒng)的Binder框架,允許應(yīng)用程序相交互(HoloLens在這一點(diǎn)上尤其缺失這一功能)。
Lumin Runtime引擎
目前,很多基于其他引擎打造的沉浸式應(yīng)用都必須獨(dú)立運(yùn)行,但Lumin Runtime可以讓應(yīng)用在運(yùn)行的同時(shí),也能夠進(jìn)行交互,展示出一種“單一的、連續(xù)性的體驗(yàn)”。開發(fā)者可以獲取13種平臺(tái)上的API來打造不同的交互,包括場(chǎng)景圖(用于確定空間中的坐標(biāo)和等級(jí))、碰撞物理效果、手勢(shì)、實(shí)時(shí)立體計(jì)算技術(shù)(用于渲染物體)、控制、光影以及在現(xiàn)實(shí)世界中的遮蔽效果。這種單場(chǎng)景中多應(yīng)用的形式,聽上去和2016年的“Waking Up with Mixed Reality”的demo很相似。
在某一時(shí)刻,我們現(xiàn)在知道的Windows計(jì)算機(jī)是由MS-DOS操作系統(tǒng)組成的,Windows是一個(gè)在操作系統(tǒng)之上運(yùn)行的圖形用戶界面(GUI),因此GUI+可能是查看關(guān)于Lumin Runtime是什么的簡(jiǎn)單方法。但Lumin Runtime除了提供簡(jiǎn)單的GUI外,還提供了一些更重要的功能。
跳出來看,Magic Leap One使用客戶端/服務(wù)器模式,允許多個(gè)設(shè)備共享應(yīng)用程序。根據(jù)文檔中的內(nèi)容,這看起來像是自動(dòng)處理的。如果是這樣,它將帶來能控制基礎(chǔ)元素共享或不共享的問題,這對(duì)于那些已經(jīng)在HoloLens中開發(fā)出共享體驗(yàn)的人來說就像是一片新鮮空氣一般。
Lumin Runtime的其他基礎(chǔ)元素:
帶有材質(zhì)的3D模型和骨骼3D模型動(dòng)畫
2D圖片精靈動(dòng)畫
用于空間計(jì)算的高保真空間化文本渲染
2D和聲場(chǎng)音頻
2D和立體視頻
剛體碰撞物理
實(shí)時(shí)粒子特效
輸入事件和觸覺控制
手勢(shì)
時(shí)空間計(jì)算技術(shù),用于渲染對(duì)象、照明、陰影和真實(shí)世界的遮擋
看起來,Lumin Runtime旨在提供類似Unreal或Unity 那樣的3D引擎所能提供的設(shè)施,包括諸如Lumin Editor和UI Toolkit等。也就是說,Lumin Runtime層也支持這兩種引擎。
Lumin Runtime應(yīng)用可以平行運(yùn)作,也可以協(xié)同工作,而Unreal和Unity應(yīng)用只能夠以獨(dú)立的應(yīng)用運(yùn)行,因?yàn)樗鼈儠?huì)對(duì)設(shè)備有獨(dú)立的控制。當(dāng)然,它們?cè)谄渌脚_(tái)也是以這種形式運(yùn)作的,因此不是什么新鮮事了。但開發(fā)者們肯定還是非常期待能夠做出一些改變的。
從這方面來看,Magic Leap的確有對(duì)Lumin OS和一系列軟件做出深思熟慮的設(shè)計(jì)。但是要到我們真正拿到設(shè)備的的時(shí)候才能知曉能做和不能做的事。
平臺(tái)API
SDK發(fā)布筆記中,包含了多款驚人的API。眼球追蹤API能夠用于確定用戶注視點(diǎn)的方向、眼部的中央,還可以監(jiān)測(cè)眨眼的動(dòng)作。這一SDK同時(shí)支持硬件遮蔽,擁有一個(gè)交互界面來給平臺(tái)提供深度信息。
頭部姿勢(shì)
Magic Leap One(ML1)能夠整合其一系列傳感器所收集的數(shù)據(jù),同時(shí)還有用戶視覺上的觀察。如果用戶的視野被昏暗的環(huán)境或者被遮擋的相機(jī)所影響的話,ML1會(huì)自動(dòng)啟用陀螺儀追蹤,直到系統(tǒng)重新收集足夠的視覺數(shù)據(jù)。
圖像追蹤
ML1可以持續(xù)的捕捉視覺數(shù)據(jù)來建造一個(gè)周圍環(huán)境的地圖,而且在回到之前已經(jīng)建模的環(huán)境時(shí),會(huì)自動(dòng)識(shí)別并且給出之前的內(nèi)容。所以在房間中玩追逐小機(jī)器人的游戲時(shí),它們會(huì)停留在你之前看到過它們的地方。
這項(xiàng)技術(shù)聽上去和Magic Leap工程師此前發(fā)布的研究非常相似,使用了一對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)來給圖像上確定“SLAM-ready”的點(diǎn),可以用于追蹤。具體形式如下圖所示。
手勢(shì)
Lumin SDK支持8種不同的手勢(shì)。微軟HoloLens支持3種手勢(shì)(可以通過Mixed Reality Toolkit實(shí)現(xiàn)第4種),而Meta 2可以實(shí)現(xiàn)7種不同的抓取手勢(shì)。
鑒于Magic Leap最近申請(qǐng)了一個(gè)翻譯手語的專利,我們能夠期待接下來還會(huì)在開發(fā)者平臺(tái)上看到更多的手勢(shì)識(shí)別功能。
聲場(chǎng)音頻
就在上周,Magic Leap申請(qǐng)了一份立體聲專利,聽上去正是ML1上具備的聲場(chǎng)音頻功能。
現(xiàn)在我們已經(jīng)確定,公司這項(xiàng)獨(dú)家的技術(shù)將會(huì)向開發(fā)者開放。基于聲場(chǎng)音頻技術(shù)的立體聲方案或許會(huì)在不久之后就登陸Unity和UE4引擎,同時(shí)聲場(chǎng)API也很快能夠被原生C++應(yīng)用和公司自己的Lumin Runtime引擎所調(diào)用。除此之外,Magic Leap也有計(jì)劃支持更多的中間件,包括Wwise和FMOD Studio,大概在GDC結(jié)束之后就會(huì)實(shí)現(xiàn)。同時(shí),開發(fā)者還可以將谷歌Resonance Audio項(xiàng)目的SDK進(jìn)行調(diào)用。
光照
Lumin OS能夠?qū)崿F(xiàn)環(huán)繞式光線追蹤。應(yīng)用可以對(duì)一個(gè)場(chǎng)景增加光線,但是不能在沒有光的情況下渲染。盡管如此,開發(fā)者可以用明亮的色彩來對(duì)沖昏暗的色彩,來制造出昏暗的感覺。同時(shí),由于物體不會(huì)投射陰影,開發(fā)者需要從上方照亮物體。Lumin同時(shí)支持虛擬物體的自我陰影。
接近裁切平面
Magic Leap官方表示,距離用戶一臂遠(yuǎn)的內(nèi)容能夠?qū)崿F(xiàn)最佳的體驗(yàn),同時(shí)也提醒開發(fā)者不要長時(shí)間將虛擬物體置于用戶30厘米的范圍之內(nèi)。公司還鼓勵(lì)開發(fā)者在用戶過于接近虛擬物體的時(shí)候,讓這些物體“逐漸消失”,而不是突然的讓景象消失。
總的來說,為Magic Leap進(jìn)行開發(fā)對(duì)于習(xí)慣于開發(fā)Unity的的人來說并沒有太大不同,只不過增加了一些額外的功能,比如眼球追蹤。我們很期待開發(fā)者們能夠用Lumin Runtime引擎做出來什么樣的作品。
-
Linux
+關(guān)注
關(guān)注
87文章
11450瀏覽量
212705 -
語音識(shí)別
+關(guān)注
關(guān)注
39文章
1773瀏覽量
113868 -
SDK
+關(guān)注
關(guān)注
3文章
1063瀏覽量
47633
原文標(biāo)題:Magic Leap開發(fā)SDK、引擎揭秘:支持8種手勢(shì)、協(xié)同工作
文章出處:【微信號(hào):vrtuoluo,微信公眾號(hào):VR陀螺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
騰訊VR SDK和開發(fā)者扶持計(jì)劃正式展開
開發(fā)者分享|先楫半導(dǎo)體hpm_sdk使用vscode進(jìn)行開發(fā)

教你如何走捷徑,OCR SDK開發(fā)者平臺(tái)開放API接口
韋東山-首批華為鴻蒙系統(tǒng)課程開發(fā)者 精選資料分享
首批華為鴻蒙系統(tǒng)課程開發(fā)者 精選資料分享
絕對(duì)干貨!HarmonyOS開發(fā)者日資料全公開,鴻蒙開發(fā)者都在看
Facebook推出Swift開發(fā)者sdk
Magic Leap推出開發(fā)者SDK預(yù)覽版_開發(fā)門戶網(wǎng)站
淺談Magic Leap發(fā)布操作系統(tǒng)Lumin OS 0.98.10版本
鴻蒙OS 2.0手機(jī)開發(fā)者Beta版發(fā)布會(huì)在京舉辦
華為正式推出鴻蒙OS的手機(jī)開發(fā)者Beta版
鴻蒙OS2.0手機(jī)開發(fā)者Beta版登場(chǎng)
華為鴻蒙OS 2.0開發(fā)者公測(cè)版本大批量向已申請(qǐng)開發(fā)者推送
華為開發(fā)者大會(huì)2021鴻蒙os在哪場(chǎng)
華為開發(fā)者大會(huì)2021開源OS安全生態(tài)

評(píng)論