今年消費(fèi)電子行業(yè)最顯著的創(chuàng)新來自于蘋果的MR頭戴產(chǎn)AppleVisionPro,作為極高集成度的產(chǎn)品,VisionPro配備了4K顯示屏、空間音頻、虹膜掃描等功能,在顯示、交互、主芯片等環(huán)節(jié)具有突出創(chuàng)新,要求的技術(shù)工藝復(fù)雜程度極高。
AppleVisionPro造型類似滑雪鏡,采用鋁合金框架,配備一整塊以3D方式成型與層壓的OLED顯示面板,并集成了一系列攝像頭和傳感器。
而行業(yè)中另外一個重大的重新產(chǎn)品則是特斯拉的Optimus人形機(jī)器人。隨著特斯拉Dojo智算芯片的量產(chǎn),以及特斯拉對一些微電機(jī)的材料與工藝突破,Optimus人形機(jī)器人已經(jīng)能完成部分仿人類的動作,在定量操作如敲雞蛋,與一些矢量操作,如澆花,沖咖啡等,基本上能完成合格的效果。
從2021年特斯拉宣布開發(fā)人形機(jī)器人,到翌年展示Optimus原型機(jī),再到今年宣布預(yù)計11月開展行走測試,再到明年正式上崗新能源汽車制造生產(chǎn)線,特斯拉人形機(jī)器人產(chǎn)業(yè)化“腳步漸近”。
在普通人眼里,兩家公司的兩個產(chǎn)品好象毫不搭界,但在一些敏感的科技公司里面,已經(jīng)在對兩個產(chǎn)品之間產(chǎn)生十分緊密的聯(lián)想,兩個產(chǎn)品的結(jié)合,極有可能改變未來人們生活的工作與生活方式。
其中Apple Vision Pro 搭載了全球首個空間操作系統(tǒng)visionOS,全三維用戶界面,而控制這個界面,僅需要用戶的眼睛、雙手和語音——最自然、最直觀的輸入工具,讓用戶能夠以一種絕妙的方式與數(shù)字化內(nèi)容互動,可實現(xiàn)數(shù)字化內(nèi)容與真實世界的無縫融合,讓用戶在沉浸于當(dāng)下的同時還能與他人溝通交流,如同它們真的存在于現(xiàn)實世界之中。
Vision Pro 通過 VST(video see through)實現(xiàn)MR(數(shù)字與現(xiàn)實的混合)。Vision Pro 通過傳感器實時感知現(xiàn)實環(huán)境,將數(shù)字化的現(xiàn)實運(yùn)算后發(fā)給顯示屏幕,通過光機(jī)系統(tǒng)真實的發(fā)送給佩戴者。通過調(diào)節(jié)VisionPro旋鈕,用戶可獲得不同的沉浸度體驗。該設(shè)備強(qiáng)調(diào)自然的交互,用戶與設(shè)備的交互通過眼睛、手勢和聲音;用戶與環(huán)境的交互通過EyeSight 技術(shù),用戶在完全沉浸時,走近的同伴也會出現(xiàn)在視野中。Vision Pro是一款真正意義上實現(xiàn)了虛擬和顯示融合的革命性設(shè)備。
蘋果暫時研發(fā)出了Vision Pro頭顯可以使用的6種交互手勢。
Tap:同時點擊拇指和食指會向頭戴顯示設(shè)備發(fā)出信號,表示您要點擊顯示屏上的虛擬元素。用戶也將這描述為一種捏合,相當(dāng)于點擊iPhone的屏幕。Double Tap:啟用雙擊手勢。Pinch and Hold:類似于點擊并按住手勢,執(zhí)行突出顯示文本等操作。Pinch and Drag:可用于滾動和移動窗口。您可以水平或垂直滾動,如果用戶加快手勢速度,交互界面也會相應(yīng)地調(diào)整速度。Zoom:雙手手勢之一,可以把手指捏在一起,通過拉開手勢進(jìn)行放大,窗口大小也可以通過在角落拖動來調(diào)整。Rotate:另一個雙手手勢之一,它將涉及將手指捏在一起并旋轉(zhuǎn)雙手以操縱虛擬對象。
手勢將與眼球運(yùn)動協(xié)同工作,Vision Pro中的許多攝像頭將非常準(zhǔn)確地跟蹤您的視線。眼睛位置將是使用手勢定位您想要與之交互的關(guān)鍵因素。
蘋果還為Vision Pro提供了兩種文字輸入方式,分別為藍(lán)牙連接外部鍵盤與頭顯提供的虛擬鍵盤。而蘋果Vision Pro提供的虛擬鍵盤看去是有體積的,而不是只有一個平面。通過光線與陰影變化,用戶能夠分辨是否按下,空間音效還能給予反饋,以此來彌補(bǔ)缺少的觸覺信息。
對于虛擬鍵盤來說,距離信息相當(dāng)重要。在用戶指尖靠近按鍵時,鍵盤會提供一個高亮效果,這樣就能夠幫助用戶更好感受與鍵盤的距離感,按鍵的狀態(tài)變化配合空間音效,或能讓虛擬鍵盤提供更真實地輸入體驗。
Vision Pro擁有6顆SLAM+手勢攝像頭,其中有兩顆向下的攝像頭專門捕捉手垂放在腿上的視角。另外,還有兩顆斜向下的攝像頭同時兼顧SLAM和手勢。甚至為了弱光環(huán)境下手勢識別準(zhǔn)確性,蘋果還加入了兩顆紅外LED進(jìn)行輔助。
Vision Pro專門為攝像頭、傳感器準(zhǔn)備的R1芯片,是為了低延遲處理這些視覺數(shù)據(jù),從而實現(xiàn)更精準(zhǔn)交互方案,可以說Vision Pro的交互邏輯從軟件、硬件、芯片、算法等多方位于一體,是一個鴻溝式的差異。
這種垂直視角的攝像頭,專門用于捕捉大部分時間、不抬手的時候的手勢,因為很多時候雙手應(yīng)該自然垂放在腿或桌子上,符合人體工學(xué)邏輯。
眼球追蹤方面,Vision Pro凝視+手勢捏合包括文字選中、菜單選擇都可以通過眼球+手勢來完成,這其中眼球+手勢融合交互就非常重要。
另外在其它科技公司的相關(guān)研究中也證明,基于凝視射線+捏合(蘋果Vision Pro的方案,只不過它隱藏了凝視射線,但在UI中結(jié)合了高光等進(jìn)行提示)在速度、效率上更高,也最受歡迎。
那么這跟特斯拉的Optimus人形機(jī)器人又有什么關(guān)系呢?
在特斯拉最新發(fā)布的視頻中,我們可以發(fā)現(xiàn)特斯拉利用一些技術(shù)方法改進(jìn)了人形機(jī)器人的動作和控制,包括電機(jī)扭矩控制、環(huán)境發(fā)現(xiàn)與記憶、基于人類演示訓(xùn)練機(jī)器人。
研究團(tuán)隊使用電機(jī)扭矩控制(motor torque control)操縱人形機(jī)器人腿部的運(yùn)動,讓機(jī)器人「落腳」力度保持輕緩。
對于一個機(jī)器人來說,觀察或感知周圍環(huán)境是非常重要的。特斯拉為人形機(jī)器人添加了環(huán)境發(fā)現(xiàn)與記憶的能力。現(xiàn)在,該人形機(jī)器人已經(jīng)可以對周圍環(huán)境進(jìn)行大致建模。
特斯拉的人形機(jī)器人具備與人類相似的身體結(jié)構(gòu)。特斯拉的研究團(tuán)隊使用大量人類演示訓(xùn)練了機(jī)器人,特別是在手部動作方面,旨在讓其具備與人類似的物體抓取能力。
目前特斯拉的Optimus人形機(jī)器人除了制造困難外,另外一個就是使用場景的擴(kuò)展。如果僅憑特斯拉一家企業(yè)來研發(fā)其每一個具體的應(yīng)用場景,那么肯定局限性較大。
但如果給特斯拉的Optimus人形機(jī)器人加上一個蘋果的Vision Pro頭顯,再通過基于凝視射線+捏合的空間操作系統(tǒng),并與人們自己佩戴的Vision Pro頭顯進(jìn)行實時同步,是不是除了讓人形機(jī)器人自主完成特斯拉自己定義的簡單場景作業(yè)外,還能真正的實現(xiàn)人類自己的具身智能分身功能,而不一定要把一個高風(fēng)險的腦機(jī)接口真正的把自己跟機(jī)器人連接上。
即便是不跟使用者自己的Vision Pro頭顯進(jìn)行實時同步,把Vision Pro頭顯作為特斯拉人形機(jī)器人的另一個主控操作系統(tǒng),來指揮人形機(jī)器人完成日常的一些工作內(nèi)容與生活動作,是不是也能讓人形機(jī)器人基本上實現(xiàn)了虛擬現(xiàn)實的生產(chǎn)力融合。事實上,特斯拉在基于人類演示訓(xùn)練機(jī)器人時,就已經(jīng)完成了這一步。
人類的動作在現(xiàn)實生活中,是屬于很低級的低速運(yùn)作,并且所使用的力量相對工業(yè)機(jī)械來說也極小,定位精度要求也極低,所以特斯拉才會說人形機(jī)器人的量產(chǎn)成本會很低。
從某種意義上來說,設(shè)計或制造人形機(jī)器人,只要搞懂其底層邏輯,把人類基本動作進(jìn)行相對簡單的分類后再分解,找到與之相配的操作力能量轉(zhuǎn)換與控制方式,對于已經(jīng)生產(chǎn)制造出了各種電子產(chǎn)品的科技企業(yè)來講,困難度并不高。
加上蘋果的空間操作系統(tǒng)出現(xiàn),實現(xiàn)上對于整個科技行業(yè)來講,人形機(jī)器人的整個產(chǎn)業(yè)思維已經(jīng)變得十分完整了。
責(zé)任編輯:彭菁
-
傳感器
+關(guān)注
關(guān)注
2564文章
52634瀏覽量
763951 -
蘋果
+關(guān)注
關(guān)注
61文章
24536瀏覽量
203137 -
攝像頭
+關(guān)注
關(guān)注
61文章
4952瀏覽量
97706 -
MR
+關(guān)注
關(guān)注
2文章
334瀏覽量
43668 -
人形機(jī)器人
+關(guān)注
關(guān)注
7文章
694瀏覽量
17488
原文標(biāo)題:蘋果MR頭盔在人形機(jī)器人上的意義
文章出處:【微信號:AIOT大數(shù)據(jù),微信公眾號:AIOT大數(shù)據(jù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
人形機(jī)器人“造車”,車企扎堆布局!

短訊:全球首個!人形機(jī)器人技術(shù)新突破
人形機(jī)器人涉及的化工材料

伺服電動缸在人形機(jī)器人中的應(yīng)用
全球巨頭加速布局人形機(jī)器人賽道
《人形機(jī)器人產(chǎn)業(yè)地圖(2024)》重磅發(fā)布!

比亞迪工廠率先引入人形機(jī)器人
AI助力人形機(jī)器人發(fā)展,連接器有望明顯受益
人形機(jī)器人場景應(yīng)用聯(lián)盟正式成立
NVIDIA 加速人形機(jī)器人發(fā)展

從市場角度簡要解讀“人形機(jī)器人”
從市場角度簡要解讀“人形機(jī)器人”

評論