1

基于SLAM的空間及3D結(jié)構(gòu)語(yǔ)

在 AR 的核心技術(shù)圖譜上，3D 空間感知和3D 對(duì)象的空間結(jié)構(gòu)的感知一直占據(jù)了非常重要的地位和位置，傳統(tǒng)基于激光的方法和基于光學(xué)的 SLAM 方法比較偏重于單純空間結(jié)構(gòu)的感知和分割，對(duì)于內(nèi)容的語(yǔ)義和上下文場(chǎng)景的感知，還處于比較初級(jí)的階段。

由于缺少語(yǔ)義信息，它們不能直接用于構(gòu)建更高級(jí)的人物交互（HTI）通道。

同時(shí)，深度學(xué)習(xí)已極大地提高了識(shí)別性能，但是這種識(shí)別大部分限于圖像平面中的輸出，或者在最佳情況下使用 3D 邊界框完成一定意義上的語(yǔ)義空間結(jié)構(gòu)表示，但這會(huì)使機(jī)器人或者準(zhǔn)確數(shù)字信息疊加很難根據(jù)這些略顯粗糙的輸出進(jìn)行操作。

將學(xué)到的知識(shí)和語(yǔ)義與 3D 重建相集成是解決這個(gè)問(wèn)題的有希望的途徑。

例如，近年來(lái)提出的語(yǔ)義 3D 重建技術(shù)共同優(yōu)化了場(chǎng)景的 3D 結(jié)構(gòu)和語(yǔ)義，并且語(yǔ)義 SLAM 方法向所估計(jì)的 3D 結(jié)構(gòu)添加了語(yǔ)義注釋。

目前最新的語(yǔ)義 3D 重構(gòu)和語(yǔ)義 SLAM 的挑戰(zhàn)在于使用大型綜合數(shù)據(jù)集所探尋的 3D 重建技術(shù)與識(shí)別和學(xué)習(xí)相結(jié)合的新方法，進(jìn)而實(shí)現(xiàn)在 3D 重建技術(shù)中使用語(yǔ)義信息來(lái)改善密集匹配過(guò)程，并更有效的實(shí)現(xiàn)語(yǔ)義分割和 3D 技術(shù)之間的反饋環(huán)。

這也必將為構(gòu)建更高級(jí)的人物交互（HTI）通道和泛化 AR 云服務(wù)場(chǎng)景開辟無(wú)比寬闊的發(fā)展之路。

2

基于空間地圖的POI注冊(cè)和同步

和傳統(tǒng) AR 云服務(wù)相比，基于地理位置感知和興趣點(diǎn)標(biāo)注技術(shù)自 2018 年已經(jīng)成為各個(gè)巨頭推廣和布局的重頭，除了谷歌基于 GoogleMap 的 Live View，以及微軟作為 Microsoft 擴(kuò)展推出的云 AR 平臺(tái)，稱為 SpatialAnchor（空間錨點(diǎn)）。

基于空間地圖的 POI 注冊(cè)和同步技術(shù)的核心是地理位置強(qiáng)化的錨點(diǎn)技術(shù)（Anchor),——“空間錨點(diǎn)代表著系統(tǒng)應(yīng)隨時(shí)間推移跟蹤的一個(gè)重要點(diǎn)”。

同時(shí)也是相關(guān)數(shù)據(jù)構(gòu)建、同步、檢索、管理等綜合系統(tǒng)技術(shù)的突破，這也包含了相關(guān) SLAM 語(yǔ)義感知以及基于神經(jīng)網(wǎng)絡(luò)的大規(guī)模特征比對(duì)技術(shù)的進(jìn)步。

起初錨點(diǎn)只是讓虛擬物體在 AR 場(chǎng)景中看起來(lái)待在原地不動(dòng)，起源自依賴于在現(xiàn)實(shí)世界的記錄中檢測(cè)到的關(guān)鍵點(diǎn)及其描述符。

隨著強(qiáng)大的環(huán)境理解功能的演進(jìn)，同時(shí)輔助 3D 高精度地圖功能，空間計(jì)算功能，基于空間地圖的 POI 注冊(cè)和同步技術(shù)，就為數(shù)字孿生，以及實(shí)現(xiàn)真實(shí)世界和物理世界的無(wú)縫集成提供了可能。

3

基于空間位置的數(shù)字信息簇管理和搜索技術(shù)

如何基于將視覺(jué)感知轉(zhuǎn)化為高精度 LBS（Location Based Service）的可視化信息的管理錨點(diǎn)和檢索錨點(diǎn)是發(fā)展 AR 作為人物交互核心手段和發(fā)展相關(guān)業(yè)務(wù)的重要因素。

這需要將相關(guān)數(shù)字信息歸類和管理為：

1- 在哪兒？
2- 是誰(shuí)的一部分？
3- 能開展什么功能，并上傳什么數(shù)據(jù)？

加州理工伯克利（Berkeley）分校電氣和計(jì)算機(jī)學(xué)院 David E. Culler 教授在智能建筑的基于位置關(guān)聯(lián)數(shù)據(jù)管理的嘗試， “Brick”, 就非常具有借鑒意義。

“Brick”源于資源描述框架（RDF: Resource Description Framework)。

其通過(guò)以一組被稱作三元組的主題預(yù)測(cè)對(duì)象表示知識(shí)。

所有基于位置的關(guān)聯(lián)系統(tǒng)信息在“Brick”中通過(guò)三元組中主體實(shí)體與另一些實(shí)體對(duì)象關(guān)系的抽象表示，即圖中的定向邊緣，予以表征。

最終整個(gè)數(shù)據(jù)體系的管理體現(xiàn)為，由關(guān)系（定向邊緣）相連的實(shí)體（節(jié)點(diǎn)）的知識(shí)圖表，并通過(guò) RDF格式存儲(chǔ)和使用，以及后續(xù)可通過(guò)使用 SPARQL 數(shù)學(xué)來(lái)遍歷和查詢這些知識(shí)。

基于以上知識(shí)體系，所有關(guān)聯(lián)信息包含了：

◆物理世界目標(biāo)的分類標(biāo)簽；
◆地理位置；
◆關(guān)聯(lián)關(guān)系和關(guān)聯(lián)目標(biāo)；
◆隸屬和組成關(guān)系機(jī)器對(duì)應(yīng)對(duì)象；
◆提供什么檢測(cè)數(shù)據(jù)或可開展何種控制動(dòng)作。

責(zé)任編輯：lq