女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于激光雷達和視覺融合的機器人SLAM應(yīng)用研究

iotmag ? 來源:物聯(lián)網(wǎng)技術(shù) ? 作者:物聯(lián)網(wǎng)技術(shù) ? 2022-09-20 10:31 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摘 要 :通過研究激光雷達和視覺傳感器融合 SLAM,實現(xiàn)雙目視覺傳感器對單線激光雷達點云的補充,以提高建圖精度。實現(xiàn)方案以 2D 激光雷達點云數(shù)據(jù)為主,雙目視覺傳感器作為激光雷達點云盲區(qū)的補充,搭建 SLAM實驗平臺,完成機器人實時地圖構(gòu)建并獲取當前位置信息,同時降低攜帶傳感器的成本。

0 引 言

隨著機器人技術(shù)的發(fā)展,越來越多的機器人已經(jīng)實現(xiàn)自主運動,但可靠性和制作成本依然制約著機器人的普及。通過使用相較3D激光雷達傳感器成本更低的2D激光雷達和視覺傳感器進行點云數(shù)據(jù)融合,實現(xiàn)平臺搭建,優(yōu)化機器人的SLAM技術(shù),解決當前2D激光雷達存在的感知單一平面點云數(shù)據(jù)不足、視覺傳感器數(shù)據(jù)計算量大等問題[1-2],提升地圖精度,減少SLAM應(yīng)用過程中的不確定性。

1 實驗平臺搭建

研究基于ROS構(gòu)建由2D激光雷達和深度相機點云融合的SLAM[3]平臺,通過NVIDIA Jetson TX2運算平臺和STM32微控制器通信傳送數(shù)據(jù),實現(xiàn)機器人自主運動。實驗平臺包括點云數(shù)據(jù)識別部分和運動部分,整體結(jié)構(gòu)如圖1所示。

云數(shù)據(jù)識別部分包括激光雷達獲取平面點云數(shù)據(jù)和雙目相機深度點云計算。運行時激光雷達獲取2D平面內(nèi)障礙物點云信息,雙目相機獲取機器人正面范圍的影像[4],通過Stereo Matching 計算可視范圍內(nèi)的深度點云數(shù)據(jù),并對其進行范圍剔除和距離篩選 ;最后將雙目相機獲得的點云與激光雷達點云序列進行比較更新,融合點云數(shù)據(jù)后根據(jù)占據(jù)柵格地圖算法構(gòu)建地圖[5]。點云數(shù)據(jù)融合過程如圖1所示。

運動部分通過單片機STM32F4從NUC獲取運動速度向量或從遙控中獲取控制信息,經(jīng)PID解算將電流或電壓值發(fā)送給底盤電機,電機連接聯(lián)軸器帶動麥克納姆輪轉(zhuǎn)動,從而實現(xiàn)全方向移動[6]。機器人整體設(shè)計如圖1所示。

7a630f70-388a-11ed-ba43-dac502259ad0.png

2 研究與測試

圍繞ROS節(jié)點話題進行研究和測試。雙目相機點云生成節(jié)點(cameraNode),將相機點云(/camera_cloud)傳送給點云數(shù)據(jù)處理節(jié)點(/transNode)處理,得到深度數(shù)據(jù)(/depth);激光雷達點云生成節(jié)點,得到點云數(shù)據(jù)(/laser),二者由點云合成節(jié)點(/mergeNode)融合得到點云數(shù)據(jù)(/scan),再將其輸出到 HectorMapping 的節(jié)點。點云融合建圖部分 ROS 節(jié)點與話題如圖2 所示 [7]。

7aaea426-388a-11ed-ba43-dac502259ad0.png

2.1 雙目校正與像素匹配

使用金乾象工業(yè)相機中的兩個自制雙目深度相機,需要保證左右畫面的同步和亮度,否則會導(dǎo)致深度圖的計算結(jié)果不佳。因此,在相機點云生成(/camera_cloud)之前,需要對左右相機讀取的原圖像進行雙目校正和像素匹配。

雙目校正根據(jù)攝像頭標定后獲得的單目內(nèi)參(焦距、成像原點、畸變系數(shù))和雙目相對位置關(guān)系(旋轉(zhuǎn)矩陣和平移向量),分別對左右視圖進行消除畸變和行對準,使得左右視圖的成像原點坐標一致、攝像頭光軸與對極線行對齊。原圖像與校正后圖像對比情況如圖3所示。

7aceade8-388a-11ed-ba43-dac502259ad0.png

像素匹配通過匹配代價計算、代價聚合、視差計算和視差優(yōu)化等步驟 [8],對左右視圖上對應(yīng)的像素點進行匹配得到視差圖。依靠視差圖,結(jié)合雙目相機的內(nèi)參,計算得到正交空間下的點云數(shù)據(jù)。

2.2 點云數(shù)據(jù)處理

由于雙目相機參數(shù)的差異,幀速率不能完全同步,獲取的點云數(shù)據(jù)存在一定誤差,需要先通過點云數(shù)據(jù)處理節(jié)點(/transNode)變換和剔除數(shù)據(jù),再通過點云合成節(jié)點(/mergeNode)融合同種格式的數(shù)據(jù)。

正交空間下的點云通過透視除法的逆變換得到相機空間下的點云數(shù)據(jù),獲得相對于相機實際位置的坐標。坐標變換與效果如圖4所示。

7b37d098-388a-11ed-ba43-dac502259ad0.png

數(shù)據(jù)轉(zhuǎn)換部分將點云投影到二維平面,并轉(zhuǎn)換為激光雷達點云格式的數(shù)據(jù),即角度和對應(yīng)方向的深度值[9]。轉(zhuǎn)換時,通過反正切函數(shù),根據(jù)點云位置的水平偏移與深度值計算出角度和距離值,篩選取得各個角度上距離最近的點云,效果如圖5所示。在融合點云之前,應(yīng)當剔除視錐內(nèi)不需要的部分,效果如圖5中截取點云后的投影圖所示 ;否則地面和天花板將對投影后的點云造成影響,效果如圖5中的原點云投影圖所示??紤]到雙目左右圖像的邊緣缺少完整的匹配信息,點云可能出現(xiàn)極不穩(wěn)定的深度值,效果如圖5中未進行邊緣剔除的投影圖所示。因此,在能夠反映完整深度值的情況下,剔除部分邊緣深度值,效果如圖5中邊緣剔除后的投影圖所示。

7b882d72-388a-11ed-ba43-dac502259ad0.png

2.3 點云融合建圖

點云合成節(jié)點將深度數(shù)據(jù)和激光雷達點云數(shù)據(jù)融合,并篩選出各個角度距離最近的點云輸出到 HectorMapping 的節(jié)點。

經(jīng)過測試,增加雙目相機后的建圖能夠獲取單線雷達掃描平面外的細節(jié),自身位姿估計和建圖結(jié)果更加精確,測試對比結(jié)果如圖6所示。但與工業(yè)級產(chǎn)品相比穩(wěn)定性差,建圖過程中會有微小偏差。

7ba9c234-388a-11ed-ba43-dac502259ad0.png

3 結(jié) 語

本文通過激光雷達提供大范圍點云信息,視覺傳感器提供機器人正面區(qū)域補充激光雷達缺失的點云,較單線雷達大范圍稀疏點云提高了計算準確度,使用Hector SLAM算法融合點云數(shù)據(jù),更好地實現(xiàn)機器人點云獲取和建圖[10]。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關(guān)注

    關(guān)注

    213

    文章

    29718

    瀏覽量

    212769
  • 雷達
    +關(guān)注

    關(guān)注

    50

    文章

    3117

    瀏覽量

    120048
  • 視覺傳感器
    +關(guān)注

    關(guān)注

    3

    文章

    267

    瀏覽量

    23327
  • 激光雷達
    +關(guān)注

    關(guān)注

    971

    文章

    4232

    瀏覽量

    192803

原文標題:論文速覽 | 基于激光雷達和視覺融合的機器人 SLAM 應(yīng)用研究

文章出處:【微信號:iotmag,微信公眾號:iotmag】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    AI驅(qū)動的人形機器人,成為激光雷達產(chǎn)業(yè)的下一個爆發(fā)點

    電子發(fā)燒友網(wǎng)報道(文/梁浩斌)過去兩年,激光雷達跟隨ADAS在電動汽車上大放異彩。作為視覺感知基礎(chǔ)上的進階感知硬件,激光雷達機器人領(lǐng)域的應(yīng)用,也開始隨著人形
    的頭像 發(fā)表于 12-23 09:07 ?3024次閱讀
    AI驅(qū)動的人形<b class='flag-5'>機器人</b>,成為<b class='flag-5'>激光雷達</b>產(chǎn)業(yè)的下一個爆發(fā)點

    AGV/AMR機器人單線激光雷達選型指南

    隨著機器人行業(yè)的飛速發(fā)展,各種場景機器人的廣泛應(yīng)用,激光雷達作為必不可少的傳感儀器在幫助機器人實現(xiàn)對環(huán)境的感知方面,遇到障礙物時能靈活繞障礙,在整個導(dǎo)航過程中可以精準??恳约霸谔厥猸h(huán)境
    的頭像 發(fā)表于 07-01 14:28 ?142次閱讀
    AGV/AMR<b class='flag-5'>機器人</b>單線<b class='flag-5'>激光雷達</b>選型指南

    詳細介紹機場智能指路機器人的工作原理

    負責接收旅客的語音指令,以便機器人理解旅客的需求。 環(huán)境感知與信息融合 :這些傳感器收集到的信息會進行融合處理。例如,激光雷達提供的距離信息和攝像頭捕捉的
    發(fā)表于 05-10 18:26

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎(chǔ)算法的應(yīng)用

    的本質(zhì)是解決“雞與蛋”問題:機器人需要地圖來定位,又需要準確定位來構(gòu)建地圖。書中從前端(傳感器數(shù)據(jù)處理)和后端(位姿優(yōu)化)兩個層面解析了SLAM的算法邏輯。 激光雷達視覺
    發(fā)表于 05-03 19:41

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】+內(nèi)容初識

    、Gazebo仿真(含RGBD相機/激光雷達仿真)、實物機器人運動控制,實現(xiàn)\"仿真→實物\"的無縫銜接 高階應(yīng)用篇(7-9章) 聚焦視覺SLAM、自主導(dǎo)航等前沿場景,提供完整項目鏈路
    發(fā)表于 04-27 11:24

    LD Gen2 Lite激光雷達:賦予機器人 “感知力” 的關(guān)鍵

    機器人的感知世界里,激光雷達宛如一雙敏銳的“慧眼”,賦予機器人“看”清周圍環(huán)境、自主決策的能力。亮道智能最新推出的純固態(tài)Flash短距激光雷達LD Gen2 Lite,憑借其獨特的技
    的頭像 發(fā)表于 04-25 10:42 ?208次閱讀

    速騰聚創(chuàng)第100萬臺激光雷達下線,用于人形機器人?

    電子發(fā)燒友網(wǎng)綜合報道 數(shù)日前,RoboSense 速騰聚創(chuàng)成功交付了其第 100 萬臺激光雷達,訂單接收方為人形機器人(上海)有限公司。速騰聚創(chuàng)由此成為全球首家實現(xiàn)百萬臺高線數(shù)激光雷達下線的企業(yè)
    發(fā)表于 03-16 01:00 ?683次閱讀

    洛微科技助力機器人領(lǐng)域激光雷達技術(shù)升級

    近日,由中國國際經(jīng)濟技術(shù)合作促進會標準化工作委員會牽頭制定的《機器人激光雷達通用技術(shù)條件》(T/CIET 879-2024)正式發(fā)布。
    的頭像 發(fā)表于 03-01 09:42 ?880次閱讀

    40個激光雷達!蘋果布局機器人感知系統(tǒng),讓碰撞降低63.7%

    機器人感知系統(tǒng)。ARMOR系統(tǒng)的創(chuàng)新之處在于采用 分布式感知方案 。研究團隊在機器人的手臂和手掌上戰(zhàn)略性地布置了 40個小型ToF激光雷達傳感器 ,每邊手臂20個。這些傳感器體積小巧
    的頭像 發(fā)表于 01-22 17:58 ?639次閱讀
    40個<b class='flag-5'>激光雷達</b>!蘋果布局<b class='flag-5'>機器人</b>感知系統(tǒng),讓碰撞降低63.7%

    禾賽拒絕“激光雷達無用論”

    1440線激光雷達AT1440和車規(guī)級純固態(tài)激光雷達FTX以及面向機器人的JT系列。 李一帆指出,目前行業(yè)對機器人的定義尚無共識,但激光雷達
    的頭像 發(fā)表于 01-16 11:58 ?1293次閱讀
    禾賽拒絕“<b class='flag-5'>激光雷達</b>無用論”

    禾賽科技推出面向機器人領(lǐng)域的迷你3D激光雷達

    近日,在拉斯維加斯舉行的 CES 2025 國際消費電子展上,禾賽面向機器人領(lǐng)域的迷你 3D 激光雷達 JT 系列產(chǎn)品正式面向全球發(fā)布。全新產(chǎn)品迷你型 3D 激光雷達 JT 系列發(fā)布即交付,已向客戶交付超過 2 萬顆。
    的頭像 發(fā)表于 01-10 09:05 ?817次閱讀

    【「具身智能機器人系統(tǒng)」閱讀體驗】2.具身智能機器人的基礎(chǔ)模塊

    具身智能機器人的基礎(chǔ)模塊,這個是本書的第二部分內(nèi)容,主要分為四個部分:機器人計算系統(tǒng),自主機器人的感知系統(tǒng),自主機器人的定位系統(tǒng),自主機器人
    發(fā)表于 01-04 19:22

    禾賽科技12月激光雷達交付量突破10萬臺

    禾賽科技 12 月激光雷達交付量突破 100,000 臺,成為全球首個達成單月交付量超過 10 萬臺的激光雷達企業(yè)。值得一提的是,禾賽面向機器人市場單月交付激光雷達超過 20,000
    的頭像 發(fā)表于 12-30 14:52 ?551次閱讀

    激光雷達SLAM:全面掌握同步定位與地圖構(gòu)建指南

    ? SLAM 背后的核心思想是讓機器人或自主系統(tǒng)能夠探索未知環(huán)境并創(chuàng)建該環(huán)境的地圖,同時確定其在生成的地圖中的位置。這是通過融合來自各種傳感器(例如激光雷達、攝像頭和慣性測量單元 (I
    的頭像 發(fā)表于 11-16 10:57 ?2322次閱讀

    激光雷達SLAM算法中的應(yīng)用綜述

    一、文章概述 1.1 摘 要 即時定位與地圖構(gòu)建(simultaneous localization and mapping,SLAM)是自主移動機器人和自動駕駛的關(guān)鍵 技術(shù)之一,而激光雷達則是支撐
    的頭像 發(fā)表于 11-12 10:30 ?2510次閱讀
    <b class='flag-5'>激光雷達</b>在<b class='flag-5'>SLAM</b>算法中的應(yīng)用綜述