平面布置圖對(duì)于可視化空間、規(guī)劃路線和溝通建筑設(shè)計(jì)非常有用。例如,一個(gè)進(jìn)入新建筑的機(jī)器人可以使用平面圖快速感知總體布局。創(chuàng)建平面圖通常需要一個(gè)完整的布局,這樣3D傳感器和攝像機(jī)就可以捕捉到整個(gè)空間。
1月11日消息,據(jù)外媒報(bào)道,近日,來(lái)自Facebook、德克薩斯大學(xué)奧斯汀分校和卡內(nèi)基梅隆大學(xué)的研究人員正在探索一種人工智能技術(shù),利用視覺(jué)和音頻,從一個(gè)短視頻剪輯中重建一個(gè)平面圖。
研究人員斷言,音頻提供了空間和語(yǔ)義信號(hào),補(bǔ)充了圖像的映射能力。他們說(shuō),這是因?yàn)槁曇籼焐怯晌矬w的幾何形狀所驅(qū)動(dòng)的。聲音從表面反射回來(lái),揭示了房間的形狀,遠(yuǎn)遠(yuǎn)超出了相機(jī)的視野。從遠(yuǎn)處聽到的聲音,甚至是多個(gè)房間之外的聲音,可以揭示自由空間的存在,聲音物體可能存在。此外,從不同方向聽到的聲音暴露了基于這些聲音所代表的活動(dòng)或事物的布局。例如,淋浴的聲音可能暗示著浴室的方向,而微波爐的聲音則暗示著廚房的方向。
研究人員的方法被稱為AV-Map,旨在將帶有多通道音頻的短視頻轉(zhuǎn)換成2D樓層平面圖。機(jī)器學(xué)習(xí)模型利用音頻和視覺(jué)數(shù)據(jù)序列來(lái)推理樓層平面圖的結(jié)構(gòu)和語(yǔ)義,最終使用解碼組件融合音頻和視頻信息。AV-Map生成的平面圖大大超出了視頻中直接可見的區(qū)域,顯示了劃分為離散語(yǔ)義房間標(biāo)簽(如家庭房間和廚房)的自由空間和被占用區(qū)域。
該團(tuán)隊(duì)在來(lái)自Matternet3D和SoundSpaces數(shù)據(jù)集的數(shù)字環(huán)境中試驗(yàn)了兩種設(shè)置,即主動(dòng)和被動(dòng)。在第一個(gè)實(shí)驗(yàn)中,使用一個(gè)虛擬攝像機(jī)在模型房屋的房間內(nèi)移動(dòng)時(shí)發(fā)出一種已知的聲音。在第二種情況下,只依賴家中物體或人自然發(fā)出的聲音。
研究人員表示,在未來(lái)的工作中,將計(jì)劃考慮擴(kuò)展多層平面圖,并將繪圖想法與機(jī)器人連接起來(lái),主動(dòng)控制攝像頭。
責(zé)任編輯:pj
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
29455瀏覽量
211412 -
Facebook
+關(guān)注
關(guān)注
3文章
1432瀏覽量
56153 -
人工智能
+關(guān)注
關(guān)注
1804文章
48660瀏覽量
246183
發(fā)布評(píng)論請(qǐng)先 登錄
人工智能視覺(jué)識(shí)別技術(shù)的應(yīng)用領(lǐng)域及場(chǎng)景
智慧路燈如何應(yīng)用人工智能技術(shù)

【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+初品的體驗(yàn)
嵌入式和人工智能究竟是什么關(guān)系?
未來(lái)智慧建筑:人工智能技術(shù)的無(wú)限可能
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感
AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得
risc-v在人工智能圖像處理應(yīng)用前景分析
人工智能ai4s試讀申請(qǐng)
名單公布!【書籍評(píng)測(cè)活動(dòng)NO.44】AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新
FPGA在人工智能中的應(yīng)用有哪些?
Google開發(fā)專為視頻生成配樂(lè)的人工智能技術(shù)
研究人員利用人工智能提升超透鏡相機(jī)的圖像質(zhì)量

評(píng)論