就像對(duì)ARKit的3D模型（usdz）所做的那樣，Apple正在開(kāi)發(fā)一種新的音頻格式，即使在用戶(hù)移動(dòng)，戴著“ Apple Glass ”或其他AR設(shè)備時(shí)，也可以更輕松沉浸式地在用戶(hù)周?chē)胖谩?d聲音”。 以前已經(jīng)證明Apple在為AR制作高分辨率視頻圖像，現(xiàn)在它也致力于與之配套產(chǎn)生高質(zhì)量的音頻。在新的專(zhuān)利申請(qǐng)中，該公司正在研究與空間音頻有關(guān)的工作。 具體來(lái)說(shuō)，Apple希望建立一種音頻格式，例如.MP3或.AAC，并結(jié)合了AR所需的額外空間信息。該格式不僅需要包含實(shí)際的音頻，而且還遠(yuǎn)遠(yuǎn)超出在立體聲圖片的左側(cè)還是右側(cè)播放元素的范圍。蘋(píng)果以前曾與皮克斯合作開(kāi)發(fā)一種名為USDZ的格式，該格式用于將音頻放置在用戶(hù)周?chē)?D空間中。 “在增強(qiáng)現(xiàn)實(shí)（AR），虛擬現(xiàn)實(shí)（VR）和混合現(xiàn)實(shí)（MR）應(yīng)用程序中產(chǎn)生三維（3D）聲音效果是具有挑戰(zhàn)性的……因?yàn)楝F(xiàn)有的音頻格式最初是為在物理環(huán)境中產(chǎn)生3D聲音而設(shè)計(jì)的具有固定的揚(yáng)聲器位置和固定的聽(tīng)眾。” 蘋(píng)果將AR，VR和MR統(tǒng)稱(chēng)為“模擬現(xiàn)實(shí)”（SR），并表示希望在許多現(xiàn)有3D音頻格式的基礎(chǔ)上發(fā)展。例如，旨在產(chǎn)生3D聲音的空間音頻格式包括MPEG-H 3D音頻標(biāo)準(zhǔn)，HOA空間音頻技術(shù)和DOLBY ATMOS環(huán)繞聲技術(shù)。 問(wèn)題既與觀(guān)眾感知聲音的位置有關(guān)，也與創(chuàng)作者可以選擇放置效果或音樂(lè)的地方有關(guān)。蘋(píng)果公司說(shuō)：“在SR環(huán)境中產(chǎn)生3D聲音效果的一種替代方法是操縱音頻對(duì)象中包含的各個(gè)離散聲音，這些聲音實(shí)際上可以位于3D環(huán)境中的任何位置。” 蘋(píng)果公司提出的解決方案是創(chuàng)建一種格式，該格式類(lèi)似于.m4v和.mp4是將不同元素組合在一起的格式。對(duì)于蘋(píng)果公司對(duì)空間音頻的新要求，該公司建議創(chuàng)建一個(gè)音頻資產(chǎn)庫(kù)，其中包括資產(chǎn)元數(shù)據(jù)，使模擬現(xiàn)實(shí)（SR）應(yīng)用程序開(kāi)發(fā)人員能夠?yàn)镾R應(yīng)用程序編寫(xiě)聲音。” 蘋(píng)果公司說(shuō)：“音頻經(jīng)過(guò)了格式化，包括音頻數(shù)據(jù)，這些數(shù)據(jù)編碼了能夠被編入SR應(yīng)用程序的聲音，以及資產(chǎn)元數(shù)據(jù)，不僅描述了聲音的編碼方式，而且還描述了SR環(huán)境中聽(tīng)眾的感受。 另外Facebook Reality Labs研究小組最近也分享了一些關(guān)于A(yíng)R的音頻項(xiàng)目。該小組的目標(biāo)是將技術(shù)融入到AR眼鏡中，通過(guò)在嘈雜的環(huán)境中輕松隔離對(duì)話(huà)聲音，增強(qiáng)你的聽(tīng)力，并能夠重現(xiàn)虛擬聲音，讓它們看起來(lái)像是來(lái)自你周?chē)恼鎸?shí)世界。自定義的HRTF是提供這種體驗(yàn)的關(guān)鍵，它是每個(gè)人根據(jù)頭部和耳朵形狀聽(tīng)到聲音的獨(dú)特方式的數(shù)字版本，但這個(gè)過(guò)程既耗時(shí)又昂貴。該團(tuán)隊(duì)正在研究一種可擴(kuò)展的解決方案，可以從你的耳朵的一張簡(jiǎn)單照片生成精確的HRTF。 Facebook Reality Labs（簡(jiǎn)稱(chēng)FRL)是Facebook最新采用的名稱(chēng)，該團(tuán)隊(duì)致力于開(kāi)發(fā)沉浸式技術(shù)(包括Oculus眼鏡)。