女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

ImPosing:用于視覺定位的隱式姿態(tài)編碼

3D視覺工坊 ? 來源:3D視覺工坊 ? 2023-04-03 09:51 ? 次閱讀

主要內(nèi)容:

提出了一種新的基于學(xué)習(xí)的用于車輛上的視覺定位算法,該算法可以在城市規(guī)模的環(huán)境中實(shí)時(shí)運(yùn)行。

算法設(shè)計(jì)了隱式姿態(tài)編碼,通過2個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)將圖像和相機(jī)姿態(tài)嵌入到一個(gè)共同的潛在表示中來計(jì)算每個(gè)圖像-姿態(tài)對的相似性得分。通過以分層的方式在潛在空間來評估候選者,相機(jī)位置和方向不是直接回歸的,而是逐漸細(xì)化的。算法占的存儲量非常緊湊且與參考數(shù)據(jù)庫大小無關(guān)。

Pipeline:

a2dae33c-d1ab-11ed-bfe3-dac502259ad0.png

輸入為查詢圖像

輸出為查詢圖像的六自由度姿態(tài)(t,q)∈SE(3),t是平移向量,q是旋轉(zhuǎn)四元數(shù)。

訓(xùn)練是在帶有相機(jī)姿態(tài)label的數(shù)據(jù)庫圖像上進(jìn)行訓(xùn)練,沒有用額外的場景3D模型。

先通過圖像編碼器計(jì)算表示圖像向量。然后通過評估分布在地圖上的初始姿態(tài)候選來搜索相機(jī)姿態(tài)。姿態(tài)編碼器對相機(jī)姿態(tài)進(jìn)行處理以產(chǎn)生可以與圖像向量相匹配的潛在表示,每個(gè)候選姿態(tài)都會有一個(gè)基于到相機(jī)姿態(tài)的距離的分?jǐn)?shù)。高分提供了用于選擇新候選者的粗略定位先驗(yàn)。通過多次重復(fù)這個(gè)過程使候選池收斂到實(shí)際的相機(jī)姿態(tài)。

論文技術(shù)點(diǎn):

圖像編碼器:

使用圖像編碼器從輸入的查詢圖像計(jì)算圖像特征向量。

編碼器架構(gòu)包括一個(gè)預(yù)訓(xùn)練的CNN backbone,然后是全局平均池以及一個(gè)具有d個(gè)輸出神經(jīng)元的全連接層。

特征向量比圖像檢索中常用的全局圖像描述符小一個(gè)數(shù)量級(使用d=256)以便在隨后的步驟中將其與一大組姿態(tài)候選進(jìn)行有效比較。

初始姿態(tài)候選:

起點(diǎn)是一組N個(gè)相機(jī)姿態(tài),這是從參考姿態(tài)(=訓(xùn)練時(shí)相機(jī)姿態(tài))中采樣。通過這種初始選擇為定位過程引入了先驗(yàn),類似于選擇錨點(diǎn)姿態(tài)。

姿態(tài)編碼器:

姿態(tài)候選通過一個(gè)神經(jīng)網(wǎng)絡(luò)處理,輸出潛在向量,這種隱式表示學(xué)習(xí)到了給定場景中的相機(jī)視點(diǎn)與圖像編碼器提供的特征向量之間的對應(yīng)關(guān)系。

首先使用傅立葉特征將相機(jī)姿態(tài)的每個(gè)分量(tx,ty,tz,qx,qy,qz,qw)投影到更高維度:

a2e7ddee-d1ab-11ed-bfe3-dac502259ad0.png,因?yàn)樗兄诰哂械途S輸入的網(wǎng)絡(luò)擬合高頻函數(shù)。然后使用具有4層256個(gè)神經(jīng)元和隱藏層為ReLU激活的MLP。每一組候選姿態(tài)都是在一次batch的前向傳遞中計(jì)算出來的。

相似性分?jǐn)?shù):

為每個(gè)圖像-姿態(tài)對計(jì)算余弦相似性來獲得相似性得分s。

在點(diǎn)積之后添加一個(gè)ReLU層,使得s∈[0,1]。

直觀地說,其目標(biāo)是學(xué)習(xí)與實(shí)際相機(jī)姿態(tài)接近的候選姿態(tài)的高分。

有了這個(gè)公式后可以評估關(guān)于相機(jī)姿態(tài)的假設(shè),并搜索得分高的姿態(tài)候選者。

相似性分?jǐn)?shù)定義為:

a2efedf4-d1ab-11ed-bfe3-dac502259ad0.png

建議新的候選姿態(tài):

基于在上一次迭代中使用的姿態(tài)候選獲得的分?jǐn)?shù),為這一次迭代選擇新的姿態(tài)候選。

首先選擇得分最高的B=100的姿態(tài)a2fb08ba-d1ab-11ed-bfe3-dac502259ad0.png

然后從(hi)中以高斯混合模型的方式對新的候選者進(jìn)行采樣:

a3026d94-d1ab-11ed-bfe3-dac502259ad0.png

迭代姿態(tài)優(yōu)化:

在每次迭代之后,將噪聲向量除以2,使得新的候選者被采樣為更接近先前的高分。

因此可以在千米級地圖中收斂到精確的姿態(tài)估計(jì),同時(shí)只評估有限的稀疏姿態(tài)集。在每個(gè)時(shí)間步長獨(dú)立評估每個(gè)相機(jī)幀,但可以使用以前時(shí)間步長的定位先驗(yàn)來減少車輛導(dǎo)航場景中的迭代次數(shù)。

每次迭代時(shí)所選姿態(tài)的示例如圖2所示。通過對初始姿態(tài)的N個(gè)候選進(jìn)行采樣,保留了一個(gè)恒定的記憶峰值。

a30a386c-d1ab-11ed-bfe3-dac502259ad0.png

姿態(tài)平均:

最終的相機(jī)姿態(tài)估計(jì)是256個(gè)得分較高的候選姿態(tài)的加權(quán)平均值,與直接選擇得分最高的姿態(tài)相比,它具有更好的效果。使用分?jǐn)?shù)作為加權(quán)系數(shù),并實(shí)現(xiàn)3D旋轉(zhuǎn)平均。

損失函數(shù):

通過計(jì)算參考圖像和以K種不同分辨率采樣的姿態(tài)候選者之間的分?jǐn)?shù)來訓(xùn)練網(wǎng)絡(luò),

a314e5c8-d1ab-11ed-bfe3-dac502259ad0.png

其中,st是基于相機(jī)姿態(tài)和候選姿態(tài)之間的平移和旋轉(zhuǎn)距離來定義。

a31972f0-d1ab-11ed-bfe3-dac502259ad0.png

實(shí)驗(yàn):

與最近的方法在幾個(gè)數(shù)據(jù)集上進(jìn)行了比較,這些數(shù)據(jù)集涵蓋了大規(guī)模室外環(huán)境中的各種自動駕駛場景。

由于戶外環(huán)境的動態(tài)部分(移動物體、照明、遮擋等),這項(xiàng)任務(wù)極具挑戰(zhàn)性。

驗(yàn)證了其算法能夠在9個(gè)不同的大型室外場景中進(jìn)行精確定位。

然后展示了算法可以擴(kuò)展到多地圖場景

Baseline:

將ImPosing與基于學(xué)習(xí)的方法進(jìn)行比較。使用CoordiNet報(bào)告了牛津數(shù)據(jù)集上絕對姿態(tài)回歸結(jié)果作為基線。

將ImPosing與檢索進(jìn)行比較,使用了NetVLAD和GeM,使用全尺寸圖像來計(jì)算全局圖像描述符,然后使用余弦相似度進(jìn)行特征比較,然后對前20個(gè)數(shù)據(jù)庫圖像的姿態(tài)進(jìn)行姿態(tài)平均。

沒有使用基于結(jié)構(gòu)的方法進(jìn)行實(shí)驗(yàn),因?yàn)槭褂?D模型進(jìn)行幾何推理,這些方法比更準(zhǔn)確,但由于存儲限制使得嵌入式部署變得困難。

在Oxford RobotCar和Daoxiang Lake數(shù)據(jù)集上的定位誤差比較

a31efef0-d1ab-11ed-bfe3-dac502259ad0.png

Daoxiang Lake是一個(gè)比Oxford RobotCar更具挑戰(zhàn)性的數(shù)據(jù)集,因?yàn)樗闹貜?fù)區(qū)域幾乎沒有判別特征,環(huán)境也多種多樣(城市、城郊、高速公路、自然等)。因此,圖像檢索的性能比姿態(tài)回歸差。ImPosing要準(zhǔn)確得多,并且顯示出比競爭對手小4倍的中值誤差。

在4Seasons數(shù)據(jù)集上的比較:

a32f7690-d1ab-11ed-bfe3-dac502259ad0.png

4Seasons數(shù)據(jù)集包含慕尼黑地區(qū)在不同季節(jié)條件下的各種場景(城市、居民區(qū)、鄉(xiāng)村)中記錄的數(shù)據(jù)。

因?yàn)槭轻槍囕v部署的視覺定位算法,比較了各種算法的性能效率:

a338e6e4-d1ab-11ed-bfe3-dac502259ad0.png

a3469302-d1ab-11ed-bfe3-dac502259ad0.png

論文的算法只需要在設(shè)備中存儲神經(jīng)網(wǎng)絡(luò)權(quán)重和初始姿態(tài)候選,其中圖像編碼器為23MB,姿態(tài)編碼器小于1MB,初始姿態(tài)候選為1MB。

在圖3中報(bào)告了不同類別視覺定位方法的內(nèi)存占用相對于參考數(shù)據(jù)庫大小的縮放規(guī)律。這是有大量數(shù)據(jù)可用的自動駕駛場景中的一個(gè)重要方面。對于給定的地圖,基于學(xué)習(xí)的方法具有恒定的內(nèi)存需求,因?yàn)榈貓D信息嵌入在網(wǎng)絡(luò)權(quán)重中。

總結(jié):

提出了一種新的視覺定位范式,通過使用地圖的隱式表示,將相機(jī)姿態(tài)和圖像特征連接在一個(gè)非常適合定位的潛在高維流形中。

證明了通過一個(gè)簡單的姿態(tài)候選采樣過程,能夠估計(jì)圖像的絕對姿態(tài)。

通過提供一種高效準(zhǔn)確的基于圖像的定位算法,該算法可以實(shí)時(shí)大規(guī)模操作,使其可以直接應(yīng)用于自動駕駛系統(tǒng)。

但是方法的準(zhǔn)確性在很大程度上取決于可用的訓(xùn)練數(shù)據(jù)的數(shù)量。而且與回歸的方法類似,其不會泛化到遠(yuǎn)離訓(xùn)練示例的相機(jī)位置。

提出的方法可以在許多方面進(jìn)行改進(jìn),包括探索更好的姿態(tài)編碼器架構(gòu);找到一種隱式表示3D模型的方法,將隱式地圖表示擴(kuò)展到局部特征,而不是全局圖像特征。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 編碼器
    +關(guān)注

    關(guān)注

    45

    文章

    3775

    瀏覽量

    137139
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4807

    瀏覽量

    102770
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4698

    瀏覽量

    94734

原文標(biāo)題:WACV 2023 | ImPosing:用于視覺定位的隱式姿態(tài)編碼

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    動態(tài)環(huán)境中基于神經(jīng)表示的RGB-D SLAM

    神經(jīng)表示已經(jīng)被探索用于增強(qiáng)視覺SLAM掩碼算法,特別是在提供高保真的密集地圖方面。
    的頭像 發(fā)表于 01-17 10:39 ?1172次閱讀
    動態(tài)環(huán)境中基于神經(jīng)<b class='flag-5'>隱</b><b class='flag-5'>式</b>表示的RGB-D SLAM

    基于嵌入視覺伺服循跡定位系統(tǒng)設(shè)計(jì)

    基于嵌入視覺伺服循跡定位系統(tǒng)設(shè)計(jì)
    發(fā)表于 08-20 15:51

    【芯靈思A83T試用申請】嵌入視覺--遠(yuǎn)距離物體跟蹤與定位

    本帖最后由 左岸cpx 于 2017-4-27 15:25 編輯 項(xiàng)目名稱:嵌入視覺--遠(yuǎn)距離物體跟蹤與定位試用計(jì)劃1)燒錄Linux系統(tǒng)在eMMC中,配置wifi , 藍(lán)牙2)安裝
    發(fā)表于 04-27 14:18

    嵌入姿態(tài)測量系統(tǒng)的姿態(tài)參數(shù)怎么計(jì)算?

    的研究和應(yīng)用。然而,傳統(tǒng)的姿態(tài)測量系統(tǒng)包括捷聯(lián)慣導(dǎo)普遍具有體積大,重量大,復(fù)雜程度高等特點(diǎn),使得傳統(tǒng)的姿態(tài)測量系統(tǒng)無法應(yīng)用于日常應(yīng)用。同時(shí),傳統(tǒng)的捷聯(lián)慣導(dǎo)系統(tǒng)一般需要一 個(gè)尋北系統(tǒng)的
    發(fā)表于 08-22 07:27

    基于三元Golay寫碼的快速寫算法

    研究GF(3)上的編碼方法,利用三元Golay碼給出一種GF(3)上的寫碼,其寫性能較常見二元寫碼有顯著提高。提出基于三元Golay
    發(fā)表于 04-08 08:46 ?26次下載

    TPMS外置編碼存儲器輪胎定位技術(shù)設(shè)計(jì)方案

    TPMS外置編碼存儲器輪胎定位技術(shù)設(shè)計(jì)方案 TPMS技術(shù)及輪胎定位原理    汽車輪胎壓力監(jiān)測系統(tǒng)(TPMS)主要用于在汽車
    發(fā)表于 03-11 15:17 ?1153次閱讀
    TPMS外置<b class='flag-5'>編碼</b>存儲器<b class='flag-5'>式</b>輪胎<b class='flag-5'>定位</b>技術(shù)設(shè)計(jì)方案

    基于人眼視覺特性的的嵌入零樹圖像編碼改進(jìn)算法_劉敬

    基于人眼視覺特性的的嵌入零樹圖像編碼改進(jìn)算法_劉敬
    發(fā)表于 03-16 10:02 ?1次下載

    面向AAV壓縮域的通用寫分析方法

    基于幀間幀內(nèi)多階差分相關(guān)性的寫分析子特征,結(jié)合AAC編碼特性對子特征進(jìn)行加權(quán)融合,得到用于通用寫分析的特征集合,并采用隨機(jī)森林組合分類器,實(shí)現(xiàn)了面向AAC MDCT系數(shù)修改的通用
    發(fā)表于 12-23 11:32 ?0次下載
    面向AAV壓縮域的通用<b class='flag-5'>隱</b>寫分析方法

    網(wǎng)絡(luò)編碼姿態(tài)監(jiān)控體域網(wǎng)的容錯(cuò)性

    由加速度傳感器構(gòu)成的姿態(tài)監(jiān)控體域網(wǎng)被廣泛應(yīng)用于醫(yī)學(xué)、運(yùn)動等領(lǐng)域,其需要具備較高的通信可靠性,因此,姿態(tài)監(jiān)控體域網(wǎng)的容錯(cuò)性是需要解決的關(guān)鍵問題之一。網(wǎng)絡(luò)編碼的冗余可以作為一種非常有效的錯(cuò)
    發(fā)表于 12-25 16:06 ?0次下載
    網(wǎng)絡(luò)<b class='flag-5'>編碼</b><b class='flag-5'>姿態(tài)</b>監(jiān)控體域網(wǎng)的容錯(cuò)性

    醫(yī)療器械視覺定位應(yīng)用

    中的典型應(yīng)用之一。 醫(yī)療器械視覺定位工作流程: 1、在生產(chǎn)線上安裝視覺定位系統(tǒng); 2、產(chǎn)品無序流入激光噴碼機(jī)打印區(qū)域,進(jìn)行步進(jìn)移動; 3、
    的頭像 發(fā)表于 05-22 15:08 ?2452次閱讀

    關(guān)于3D視覺定位技術(shù)詳細(xì)解析

    3D視覺定位指的是根據(jù)事先構(gòu)建的3D模型及相關(guān)信息,計(jì)算取得某張圖像在拍攝時(shí)相機(jī)的位置和姿態(tài)。這是3D視覺的一項(xiàng)十分重要的技術(shù),可以用來幫助實(shí)現(xiàn)人員
    的頭像 發(fā)表于 04-03 14:39 ?9940次閱讀
    關(guān)于3D<b class='flag-5'>視覺</b><b class='flag-5'>定位</b>技術(shù)詳細(xì)解析

    STM32操作增量編碼器(二)----使用編碼器接口實(shí)現(xiàn)定位

    上一個(gè)博文介紹了編碼器實(shí)現(xiàn)測試,這也是編碼器最普遍的應(yīng)用,我們需要操作的東西并不多,通常來說記錄脈沖數(shù)。STM32操作增量編碼器(一)----使用外部中斷實(shí)現(xiàn)測速1.增量
    發(fā)表于 12-08 16:36 ?42次下載
    STM32操作增量<b class='flag-5'>式</b><b class='flag-5'>編碼</b>器(二)----使用<b class='flag-5'>編碼</b>器接口實(shí)現(xiàn)<b class='flag-5'>定位</b>

    機(jī)器視覺檢測與機(jī)器視覺定位的區(qū)別與應(yīng)用

    機(jī)器視覺檢測與機(jī)器視覺定位是兩種重要的機(jī)器視覺應(yīng)用技術(shù),主要區(qū)別在于檢測對象和應(yīng)用領(lǐng)域不同。機(jī)器視覺檢測技術(shù)可以
    的頭像 發(fā)表于 05-30 17:10 ?1295次閱讀

    一種基于RGB-D圖像序列的協(xié)同神經(jīng)同步定位與建圖(SLAM)系統(tǒng)

    提出了一種基于RGB-D圖像序列的協(xié)同神經(jīng)同步定位與建圖(SLAM)系統(tǒng),該系統(tǒng)由完整的前端和后端模塊組成,包括里程計(jì)、回環(huán)檢測、子圖融合和全局優(yōu)化。
    的頭像 發(fā)表于 11-29 10:35 ?852次閱讀
    一種基于RGB-D圖像序列的協(xié)同<b class='flag-5'>隱</b><b class='flag-5'>式</b>神經(jīng)同步<b class='flag-5'>定位</b>與建圖(SLAM)系統(tǒng)

    一種將NeRFs應(yīng)用于視覺定位任務(wù)的新方法

    視覺定位旨在估計(jì)在已知環(huán)境中捕獲的給定圖像的旋轉(zhuǎn)和位置,大致可以分為絕對姿態(tài)回歸(APR),場景坐標(biāo)回歸(SCR)和分層方法(HM)。
    的頭像 發(fā)表于 10-28 10:03 ?503次閱讀
    一種將NeRFs應(yīng)<b class='flag-5'>用于</b><b class='flag-5'>視覺</b><b class='flag-5'>定位</b>任務(wù)的新方法