2023年上半年,多家AR/VR廠商相繼發(fā)布新品。隨著技術(shù)的成熟,以及消費者需求升級,如今的VR頭顯、AR智能眼鏡不只帶有娛樂功能,應(yīng)用場景拓展至教育、醫(yī)療、交通、旅游等多個領(lǐng)域。多位業(yè)內(nèi)人士認(rèn)為,AR智能眼鏡是最有可能取代智能手機的消費品。
進一步需要思考的是,什么樣的AR智能眼鏡能成為智能手機之后的第二大電子產(chǎn)品呢?另一方面,今年Q1中國VR/AR市場出現(xiàn)下滑,性能提升成為VR/AR帶動XR市場上升的關(guān)鍵,為此多家廠商相繼發(fā)力音質(zhì)、畫質(zhì)技術(shù)。針對VR/AR設(shè)備的技術(shù)迭代方向以及市場趨勢,電子發(fā)燒友網(wǎng)與樓氏電子AISONIC DSP部門業(yè)務(wù)負(fù)責(zé)人廖彬彬 (Robin Liao) 就VR/AR設(shè)備的聽覺體驗進行了深度的交流。
音效處理單元在AR設(shè)備中做了哪些工作
視覺效果和聽覺效果是AR/VR設(shè)備最重要的兩大體驗。Robin表示在聽覺效果方面,一是需要注意音效,二是在使用AR設(shè)備時會用到的通話功能,“語音通話能不能比較好地上傳到設(shè)備里面,并且在語音通話中需要降噪,回聲消除等技術(shù),這些功能的實現(xiàn)都需要用到麥克風(fēng)和DSP芯片”。
一般而言,VR頭顯或者AR智能眼鏡需要用到什么樣的技術(shù)取決于它要實現(xiàn)哪些功能。就拿VR/AR最基礎(chǔ)的游戲功能來講,沉浸式是最重要的音效體驗之一。為了實現(xiàn)更加豐富的聲場,“雙降噪麥克風(fēng)陣列”“立體雙揚聲器”成為品牌廠商發(fā)布會上的關(guān)鍵詞。
例如AR智能眼鏡廠商XREAL(原名Nreal)在去年推出的XREAL Air帶有立體雙揚聲器,搭配雙降噪麥克風(fēng)陣列,可以帶來沉浸式空間聲場。部分戰(zhàn)術(shù)競技游戲?qū)?a target="_blank">音頻細(xì)節(jié)的要求比較高,比如近期較為火爆的騰訊游戲《絕地求生》,能否清晰地出現(xiàn)腳步聲對游戲玩家來說是決定勝負(fù)的關(guān)鍵。
聽覺效果是AR/VR設(shè)備感知體驗的另一個重要感知。那么,VR頭顯和AR智能眼鏡分別需要怎么樣的音頻系統(tǒng)?
從使用場景來看,VR頭顯一般用于游戲場景會比較多,因此對音效的要求比通話的要求高,相對應(yīng)的是,對音頻輸出的要求也會更高,對音頻的上行要求相對較低。另一方面,VR頭顯的體積比AR智能眼鏡要大,因此低功耗的要求也就相對沒有那么強。
再來看AR智能眼鏡的特點,一是因為設(shè)備體積問題,所以對麥克風(fēng)、DSP等元器件的低功耗要求都比較高;二是聲學(xué)元器件小型化;三是在使用場景上,一般AR智能眼鏡更多會用來看電影、聽音樂、接收信息,甚至是打電話等,在通話過程中對降噪等技術(shù)有更高的要求。
那么,麥克風(fēng)等聲學(xué)器件與降噪算法等音頻技術(shù)之間可以怎么配合實現(xiàn)聲音的處理呢?以AR智能眼鏡為例,Robin表示,樓氏電子已有量產(chǎn)的DSP芯片,配合上行算法,能夠?qū)崿F(xiàn)高清的通話質(zhì)量。
此前在電子發(fā)燒友網(wǎng)的拆解中,發(fā)現(xiàn)XREAL Air(原名Nreal Air)音頻處理單元采用了全向MEMS麥克風(fēng)的降噪設(shè)計,用以消除周圍環(huán)境中的回聲與噪聲。XREAL Air一共使用了兩顆音頻處理芯片,其中一顆采用的是樓氏電子的DSP芯片IA8201。
圖:XREAL Air音效處理單元
(電子發(fā)燒友網(wǎng)攝)
Robin介紹,IA8201在XREAL Air上需要做兩件事:一是上行的語音通話處理。例如打電話時的拾音,然后把這個聲音清晰地傳遞給對方,此時DSP需要做降噪、回聲消除,甚至是低功耗語音喚醒等功能。二是下行的音效處理,樓氏電子與合作伙伴合作,在DSP芯片IA8201中加入了音效算法,用以提升AR智能眼鏡在看電影、聽音樂的音效體驗。
應(yīng)用在AR設(shè)備上的DSP芯片需要具備高算力、低功耗的特點。一是因為DSP芯片要運行音效算法,需要算力足夠強大。二是因為AR設(shè)備的很多AI應(yīng)用不接電源,對低功耗有更大的要求。IA8201正好滿足這兩大方面的要求。
對于VR設(shè)備,Robin表示很多VR設(shè)備在聽覺效果上的需求跟AR智能眼鏡是重復(fù)的。因此上述提到的針對AR智能眼鏡的解決方案也能用于VR設(shè)備上。不一樣的是VR設(shè)備對輸出音效的要求會更高,另一方面VR設(shè)備有更大的空間去裝音效處理單元。
作為業(yè)內(nèi)知名聲學(xué)元器件廠商,樓氏電子推出的動鐵單元能夠更好的應(yīng)用于VR設(shè)備中,并且提升VR設(shè)備的聽覺體驗。動鐵單元能夠提升中高頻的音質(zhì)、高采樣率的音質(zhì),并且實現(xiàn)無損音質(zhì)傳輸。同樣,VR設(shè)備也需要用到音效算法,通過DSP芯片+動鐵單元的組合,在DSP上加入算法,能夠在一定程度上提升整體的音質(zhì)。
XR品牌廠商混戰(zhàn)AI技術(shù),音效提升有哪些技術(shù)難點
從去年至今,業(yè)內(nèi)發(fā)布或者曝光的VR設(shè)備和AR智能眼鏡新品不在少數(shù)。電子發(fā)燒友網(wǎng)整理了2022年至今發(fā)布的部分AR智能眼鏡新品,從這些新品可以發(fā)現(xiàn)兩大趨勢:
一是在AR智能眼鏡中加入攝像頭成為新的趨勢,這些攝像頭能夠帶來手勢交互、混合現(xiàn)實錄制等更多的功能,例如李未可的Meta Lens S1加入了120°廣角+800 萬主攝像頭,XREAL Air加入了雙目SLAM攝像頭+RGB攝像頭,Rokid Max Pro加入了單攝像頭。
二是AR智能眼鏡的人機交互升級,從支持語音交互,到SLAM 手勢交互,再到AIGC出現(xiàn),加入了AI數(shù)字人的交互方式。在今年MWCS 2023年期間,中興旗下品牌努比亞推出nubia Neo Air正是加入了AIGC,通過接入GPT模型能夠?qū)崿F(xiàn)語音助手聊天、語音查資料等功能。
圖:部分AR設(shè)備廠商產(chǎn)品情況
電子發(fā)燒友網(wǎng)根據(jù)公開資料制圖
毫無疑問,不管是VR設(shè)備還是AR設(shè)備,聲學(xué)元器件都在終端升級過程中出現(xiàn)了新的挑戰(zhàn),一是低功耗,這幾乎是所有電子產(chǎn)品的追求;二是在有限的設(shè)備空間中,麥克風(fēng)、動鐵單元等元器件需要在小尺寸的同時,滿足VR/AR設(shè)備對音質(zhì)的要求。那么,樓氏電子有哪些解決方案可以應(yīng)用新的技術(shù)要求呢?
在低功耗方面,VR設(shè)備、AR智能眼鏡的AI功能需要芯片有更高的算力以及低功耗水平。Robin舉了個例子,在佩戴AR智能眼鏡玩游戲過程中,想通過AI喚醒的功能打電話,此時就需要做到低功耗待機,又要用比較高的效率接收喚醒的信息。這些功能都需要一顆低功耗的DSP來實現(xiàn)。
在小型化方面,樓氏電子的動鐵單元比普通的聲學(xué)元器件都要小,例如RAN-33860-B148的尺寸僅為5.1×2.8×2.0mm。此外,樓氏電子還推出了智能麥克風(fēng)IA-610和IA-611,由MEMS麥克風(fēng)和DSP整合在一個超微型封裝,尺寸跟一顆麥克風(fēng)的大小一樣。“如果客戶對空間有極限的要求,放不了DSP,但又需要DSP做簡單的語音處理,采用智能麥克風(fēng)就能最大化節(jié)省空間,并且降低客戶整體成本?!盧obin表示。
面對AR/VR設(shè)備的市場需求,樓氏電子圍繞音頻DSP、MEMS麥克風(fēng)、動鐵單元三大產(chǎn)品線推出完整的音頻解決方案,也就是說除了元器件之外,樓氏電子還有完整的軟件和算法?!叭绻K端客戶的產(chǎn)品側(cè)重在通話處理,可以選擇音頻DSP+MEMS麥克風(fēng)的解決方案,如果側(cè)重于音效體驗,可以選擇音頻DSP+動鐵單元的解決方案?!鄙鲜鎏岬降腎A-610智能麥克風(fēng)就是一個開放式的DSP平臺,能夠讓合作客戶快速推出定制化功能。
-
AI
+關(guān)注
關(guān)注
87文章
34071瀏覽量
275192 -
樓氏電子
+關(guān)注
關(guān)注
0文章
19瀏覽量
10947 -
XR
+關(guān)注
關(guān)注
0文章
401瀏覽量
9675
發(fā)布評論請先 登錄
電子元器件可靠性檢測項目有哪些?

圖表細(xì)說電子元器件(建議下載)
電子元器件失效分析與典型案例(全彩版)
表面貼裝技術(shù)(SMT):推動電子制造的變革
破壞性物理分析(DPA)技術(shù)在元器件中的應(yīng)用

INATRONICS 2025 第14屆印度尼西亞國際電子元器件、設(shè)備及技術(shù)展覽會
XMOS將亮相CES 2025,展示全新AI音頻技術(shù)
影響電子元器件性能的因素
會議回顧 | Aigtek攜明星產(chǎn)品亮相電子元器件關(guān)鍵材料與技術(shù)專委會第二屆青年學(xué)者論壇!

常見電子元器件有哪些
固態(tài)繼電器與電子元器件的區(qū)別
鍍層技術(shù)的挑戰(zhàn)與機遇:電子元器件行業(yè)的新篇章

評論