女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

利用NVIDIA Isaac平臺構(gòu)建、設(shè)計并部署機器人應(yīng)用

麗臺科技 ? 來源:麗臺科技 ? 2024-11-09 11:41 ? 次閱讀

機器人智能制造設(shè)施、商業(yè)廚房、醫(yī)院、倉庫物流和農(nóng)業(yè)領(lǐng)域等不同環(huán)境中的應(yīng)用正在迅速擴展。該行業(yè)正在向智能自動化轉(zhuǎn)變,這需要增強的機器人功能來執(zhí)行感知、地圖構(gòu)建、導(dǎo)航、負(fù)載處理、物體抓取和復(fù)雜的裝配任務(wù)等功能。

AI 在這一變革中發(fā)揮著關(guān)鍵作用,提高了機器人的性能。通過集成 NVIDIA AI 加速,機器人可以更高的精度和效率處理復(fù)雜的任務(wù),在各種應(yīng)用中充分發(fā)揮自己的潛力。

在 COMPUTEX,NVIDIA 宣布了一些新功能,可幫助機器人專家和工程師構(gòu)建智能機器人。這些功能包括:

NVIDIA Isaac Perceptor,一種適用于自主移動機器人(AMR)和自動導(dǎo)引車(AGV)的新參考工作流。

NVIDIA Isaac 機器人操作系統(tǒng)ROS)為工業(yè)機械臂提供了新的基礎(chǔ)模型和參考工作流程。

面向機器人的 NVIDIA Jetson,以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab,這是一款輕量級應(yīng)用,用于機器人學(xué)習(xí)。

NVIDIA Isaac Perceptor

AMR 和 AGV 對于裝配線效率、物料搬運和醫(yī)療健康物流至關(guān)重要。隨著這些機器人在復(fù)雜和非結(jié)構(gòu)化環(huán)境中導(dǎo)航,感知周圍環(huán)境并作出反應(yīng)的能力變得至關(guān)重要。

Isaac Perceptor,基于 NVIDIA Isaac 機器人操作系統(tǒng)(ROS),助力原始設(shè)備制造商(OEM)、貨運服務(wù)提供商、軟件供應(yīng)商和自動移動機器人(AMR)生態(tài)系統(tǒng)加速機器人開發(fā)。團隊可以為移動機器人配備感知功能,以便在非結(jié)構(gòu)化環(huán)境中成功導(dǎo)航和避障。

Isaac Perceptor 的早期合作伙伴包括倉儲/內(nèi)部物流領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者、汽車制造商、工業(yè)機器人制造公司和機器人解決方案提供商,例如 ArcBest、比亞迪電子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 機器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可為基于 AI 的自主移動機器人提供多攝像頭、3D 環(huán)繞視覺功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率處理 16.5M 深度點。立體差異通過來自立體攝像頭的時間同步圖像對計算得出,用于為場景生成深度圖像或點云。高效的半監(jiān)督式深度神經(jīng)網(wǎng)絡(luò)(ESS DNN)為基于深度神經(jīng)網(wǎng)絡(luò)的立體差異提供了 GPU 加速支持。

6ec1cde0-9045-11ef-a511-92fbcf53809c.png

▲圖 1 ESS DNN 檢測 5 米處的障礙物

多攝像頭視覺慣性測距

Isaac ROS 視覺 SLAM 提供 ROS 2 軟件包,用于視覺同步定位和映射(VSLAM)和視覺測距(VO)。這基于 NVIDIA 的 CUDA 視覺 SLAM(cuVSLAM)并提供強大的導(dǎo)航功能,在無特色環(huán)境中導(dǎo)航時,翻譯錯誤率不到 1%。

在具有稀疏視覺特征或重復(fù)模式的環(huán)境中導(dǎo)航對 VSLAM 解決方案來說是一個眾所周知的挑戰(zhàn)。可以通過融合來自多個視角的輸入來緩解這一問題。在最新的更新中,cuVSLAM 整合了來自多個立體攝像頭的并發(fā)視覺測距估計。

測試表明有了顯著改進。機器人使用多個攝像頭持續(xù)實現(xiàn)其導(dǎo)航目標(biāo),而使用單個攝像頭則不到 25%。

6eeb654c-9045-11ef-a511-92fbcf53809c.png

▲表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 顯示了使用多個攝像頭加速機器人導(dǎo)航的性能

6ef82836-9045-11ef-a511-92fbcf53809c.gif

▲圖 2 使用一個攝像頭的 Isaac ROS Visual SLAM 與兩個攝像頭和四個攝像頭的對比

實時、多攝像頭立體像素網(wǎng)格映射

Isaac Perceptor 的核心是 nvblox,一個使用 CUDA 加速的 3D 場景重建庫,可以識別距離最遠(yuǎn) 5 米的障礙物,以提供 2D 成本圖,并在 300 毫秒內(nèi)進行更新。

Isaac ROS nvblox 提供了用于三維場景重建的 ROS 2 軟件包和用于導(dǎo)航的本地障礙物成本地圖生成軟件包。此軟件包可應(yīng)用于靜止環(huán)境以及包含人員和移動對象的場景。

此版本中的新增功能是使用多達(dá)三個 HAWK 攝像頭提供多攝像頭支持,以擴大覆蓋范圍,從而提供約 270° 的視野。

6f57fdd8-9045-11ef-a511-92fbcf53809c.gif

▲圖 3 使用 Isaac ROS Nvblox 進行立體像素 3D 重建,包括懸置障礙物重建

NVIDIA Nova Orin 開發(fā)者套件

此開發(fā)者套件采用 NVIDIA Jetson AGX Orin,支持多達(dá)六個攝像頭,包括多達(dá)三個立體攝像頭和三個魚眼攝像頭,攝像頭內(nèi)部延遲不到 100 微秒。

立體攝像頭的分辨率為每個攝像頭的 2MP,視野為 110X70,適用于三維占用網(wǎng)格映射、深度感知、視覺測距和人員檢測。購買 Nova Orin 開發(fā)者套件,可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此開發(fā)者套件中提供了一個參考圖,支持多達(dá)三個立體攝像頭。借助 ROS 2 軟件包的增強模塊化,此版本還提供了一個參考集成,即 Nav2 的 Nova Carter 參考機器人。

增強了與攝像頭和傳感器的兼容性

Isaac Perceptor 提供了與攝像頭和傳感器合作伙伴的集成的增強支持。Orbbec 成功集成了帶有 NVIDIA Isaac Perceptor 組件的 Gemini 335L 攝像頭。使用 Isaac ROS 視覺 SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了這種集成。

LIPS 還成功地將其 AE450 攝像頭與 Isaac 感知器組件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流程。它使開發(fā)者能夠?qū)?AI 加速應(yīng)用于機器人臂或操作器,以便無縫感知、理解環(huán)境并與環(huán)境進行交互。

其基礎(chǔ)模型和加速庫可以作為獨立模塊集成,也可以作為整個工作流程集成到解決方案開發(fā)中。除了獨立的模塊化組件外,還為開發(fā)者提供了示例工作流程(ROS 2 啟動腳本),這些工作流程結(jié)合了 Isaac Manipulator 組件,以實現(xiàn)完整的端到端參考集成。

6f9fd450-9045-11ef-a511-92fbcf53809c.png

▲圖 4 利用 NVIDIA 組件的 Isaac Manipulator 工作流程示例(綠色)

Isaac Manipulator 的早期協(xié)作者包括機器人開發(fā)者平臺公司、OEM 和 ISV/SI,包括 Intrinsic(一家 Alphabet 公司)、西門子、Solomon、Techman 機器人、Teradyne 機器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能來加速機械臂的開發(fā)。

cuMotion 可加快路徑規(guī)劃速度

此 GPU 加速的運動規(guī)劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 動作規(guī)劃框架,這是一個由國際社區(qū)開發(fā)的開源項目,由 PickNik Robotics 領(lǐng)導(dǎo)。

cuMotion 在多個種子間并行運行軌跡優(yōu)化,并返回最佳解決方案。

作為高級視覺和機器人解決方案的領(lǐng)導(dǎo)者,Solomon 是 Isaac Manipulator 的早期合作者。與傳統(tǒng)算法相比,由 Isaac Manipulator cuMotion 增強的 bin-picking 系統(tǒng)將路徑規(guī)劃速度提高了 8 倍,并將路徑奇點率降低了 50%。

6fe9eba8-9045-11ef-a511-92fbcf53809c.png

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶揀貨系統(tǒng)的性能增強。Solomon 的成功率、移動時間、軌跡長度和規(guī)劃時間都有顯著提高,路徑奇點出現(xiàn)次數(shù)減少。

FoundationPose

FoundationPose 是一種新的統(tǒng)一基礎(chǔ)模型,用于對新對象進行單次六維度姿態(tài)估計和跟蹤。此模型旨在在遇到以前未見過的物體的應(yīng)用程序中實現(xiàn)高精度工作,而無需進行微調(diào)。

FoundationPose 目前位于 2023 年 BOP 排行榜,用于對未見物體進行 6D 定位。它對遮擋、快速運動以及紋理和縮放等各種物體屬性非常可靠,可以確保跨場景提供可靠的性能。開發(fā)者可以從任何角度生成物體的逼真視圖。

7000a514-9045-11ef-a511-92fbcf53809c.gif

▲圖 6 使用 NVIDIA FoundationPose 進行姿態(tài)估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一組基于實時檢測 Transformer(DETR)的模型,用于單次圖像空間物體檢測,該模型基于使用 NVIDIA Omniverse 平臺。它使用 Transformer 編碼器 – 解碼器架構(gòu)一次預(yù)測所有物體,從而實現(xiàn)比傳統(tǒng)物體檢測方法更高效的檢測效果。

70769152-9045-11ef-a511-92fbcf53809c.gif

▲圖 7 使用 SyntheticaDETR 進行物體檢測和追蹤

經(jīng)過合成數(shù)據(jù)和真實數(shù)據(jù)的訓(xùn)練,SyntheticaDETR 在 BOP 排行榜上實現(xiàn)了 YCB-Video 數(shù)據(jù)集上的 2D 物體檢測(平均精度為 0.885,平均召回率為 0.903)。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態(tài)估計器的 2D 邊界框感興趣區(qū)域。下載合成測試模式,然后下載 Isaac Manipulator,以便進行進一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模組和開發(fā)套件。

NVIDIA Jetson 平臺服務(wù)即將推出模塊化、API 驅(qū)動的服務(wù),可更快、更輕松地構(gòu)建生成式 AI 和機器人應(yīng)用。這些預(yù)構(gòu)建和可定制的服務(wù)旨在加速 NVIDIA Jetson Orin 系統(tǒng)模組上的 AI 應(yīng)用開發(fā)。

NVIDIA Isaac Sim 4.0

借助Isaac Sim,開發(fā)者可以借助行業(yè)領(lǐng)先的傳感器和機器人類型測試,生成合成數(shù)據(jù)和各種復(fù)雜的虛擬測試環(huán)境。這可實現(xiàn)高度逼真的模擬,同時實時測試數(shù)千個機器人。

NVIDIA Isaac 實驗室

Isaac 實驗室是基于 Isaac Sim 平臺構(gòu)建的輕量級參考應(yīng)用,在機器人基礎(chǔ)模型訓(xùn)練中扮演著核心角色。它支持強化學(xué)習(xí)、模仿學(xué)習(xí)和遷移學(xué)習(xí),能夠訓(xùn)練各種機器人實施方案,為開發(fā)者提供設(shè)計和功能的探索空間。

新版本還可通過兼容性檢查器輕松集成 VSCode、為強化學(xué)習(xí)提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能、優(yōu)化緩存和著色器管理。

Isaac Sim 的其他新功能包括:

易于使用 PIP 安裝和用于導(dǎo)入機器人等的向?qū)А?/p>

合成數(shù)據(jù)生成(SDG)速度提升高達(dá) 80%,從而提升性能

支持 COCO 格式和用于姿態(tài)估計的自定義寫入器的新 SDG 格式。

ROS 2 啟動支持,提供端到端工作流程,并為基于圖像的發(fā)行商提供更好的性能。

更多內(nèi)置機器人支持:包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。還有許多人形機器人,包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關(guān)注

    關(guān)注

    213

    文章

    29508

    瀏覽量

    211632
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5246

    瀏覽量

    105791
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    34294

    瀏覽量

    275476
  • AGV
    AGV
    +關(guān)注

    關(guān)注

    27

    文章

    1431

    瀏覽量

    42016

原文標(biāo)題:通過 NVIDIA Isaac 平臺創(chuàng)建、設(shè)計和部署機器人應(yīng)用

文章出處:【微信號:Leadtek,微信公眾號:麗臺科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新

    在 COMPUTEX 2025 上,NVIDIA 宣布了機器人仿真參考應(yīng)用 NVIDIA Isaac Sim 和機器人學(xué)習(xí)框架
    的頭像 發(fā)表于 05-28 10:06 ?290次閱讀

    NVIDIA 通過云端至機器人計算平臺驅(qū)動人形機器人技術(shù),賦能物理 AI

    機器人推理與技能基礎(chǔ)模型的首次更新;用于合成運動生成的 NVIDIA Isaac GR00T-Dreams Blueprint;以及用于加速人形機器人開發(fā)的
    發(fā)表于 05-19 17:53 ?878次閱讀
    <b class='flag-5'>NVIDIA</b> 通過云端至<b class='flag-5'>機器人</b>計算<b class='flag-5'>平臺</b>驅(qū)動人形<b class='flag-5'>機器人</b>技術(shù),賦能物理 AI

    盤點#機器人開發(fā)平臺

    圖,電子技術(shù)資料網(wǎng)站具身智能機器人****開發(fā)平臺——Fibot廣和通發(fā)布機器人開發(fā)平臺-電子發(fā)燒友網(wǎng)NVIDIA
    發(fā)表于 05-13 15:02

    NVIDIA Isaac 是英偉達(dá)推出的綜合性機器人開發(fā)平臺

    NVIDIA Isaac 是英偉達(dá)推出的綜合性機器人開發(fā)平臺,旨在通過 GPU 加速、物理仿真和生成式 AI 技術(shù),加速自主移動機器人(AM
    的頭像 發(fā)表于 04-02 18:03 ?601次閱讀

    NVIDIA Isaac GR00T N1開源人形機器人基礎(chǔ)模型+開源物理引擎Newton加速機器人開發(fā)

    NVIDIA Isaac GR00T N1開源人形機器人基礎(chǔ)模型+開源物理引擎Newton加速機器人開發(fā)
    的頭像 發(fā)表于 03-20 16:56 ?652次閱讀

    NVIDIA發(fā)布全球首個開源人形機器人基礎(chǔ)模型Isaac GR00T N1

    NVIDIA 宣布推出一系列全新技術(shù),助力人形機器人開發(fā)。其中包括全球首個開源且完全可定制的基礎(chǔ)模型NVIDIA Isaac GR00T N1,該模型可賦能通用人形
    的頭像 發(fā)表于 03-20 14:34 ?594次閱讀

    智元機器人基于NVIDIA Isaac GR00T打造高效仿真數(shù)據(jù)采集方案

    案例簡介 本案例中,智元機器人基于 NVIDIA Isaac GR00T-Teleop & GR00T-Mimic 提供的遠(yuǎn)程仿真操作功能和強大的模仿學(xué)習(xí)合成數(shù)據(jù)生成工作流,打造了支持高保真模擬
    的頭像 發(fā)表于 03-07 19:16 ?914次閱讀
    智元<b class='flag-5'>機器人</b>基于<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> GR00T打造高效仿真數(shù)據(jù)采集方案

    NVIDIA宣布NVIDIA Isaac重要更新

    ,更為全球開發(fā)者提供了更加強大、高效的工具,以加速AI機器人的開發(fā)進程。 NVIDIA Isaac是一個綜合性的平臺,它集成了加速庫、應(yīng)用框架和AI模型等多種資源。這些組件協(xié)同工作,為
    的頭像 發(fā)表于 01-17 14:45 ?481次閱讀

    簡述NVIDIA Isaac的重要更新

    在 2025 CES,NVIDIA 宣布了對NVIDIA Isaac的重要更新。NVIDIA Isaac 是一個由加速庫、應(yīng)用框架和 AI
    的頭像 發(fā)表于 01-17 09:57 ?767次閱讀
    簡述<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b>的重要更新

    NVIDIA發(fā)布人形機器人重磅更新!Isaac GR00T Blueprint厲害在哪?

    電子發(fā)燒友網(wǎng)報道(文/吳子鵬)在備受矚目的CES 2025上,NVIDIA機器人領(lǐng)域宣布了重磅更新——Isaac GR00T Blueprint,幫助開發(fā)者更高效、高質(zhì)量地打造人形機器人
    的頭像 發(fā)表于 01-08 18:14 ?4202次閱讀
    <b class='flag-5'>NVIDIA</b>發(fā)布人形<b class='flag-5'>機器人</b>重磅更新!<b class='flag-5'>Isaac</b> GR00T Blueprint厲害在哪?

    NVIDIA通過加速AWS上的機器人仿真推進物理AI的發(fā)展

    NVIDIA Isaac Sim 現(xiàn)在可在 Amazon EC2 G6e 實例中的 NVIDIA GPU 云實例上使用,將機器人仿真的擴展速度提高了 2 倍
    的頭像 發(fā)表于 12-09 11:50 ?689次閱讀

    Foxconn利用NVIDIA AI和Omniverse訓(xùn)練機器人

    全球最大電子制造商 Foxconn 正準(zhǔn)備制造 NVIDIA 最復(fù)雜的產(chǎn)品之一,開始使用 NVIDIA Omniverse 和 Isaac 平臺
    的頭像 發(fā)表于 10-10 09:40 ?726次閱讀

    NVIDIA提供一套服務(wù)、模型以及計算平臺 加速人形機器人發(fā)展

    的發(fā)展,NVIDIA 于今日宣布,為全球領(lǐng)先的機器人制造商、AI 模型開發(fā)者和軟件制造商提供一套服務(wù)、模型以及計算平臺,以開發(fā)、訓(xùn)練和構(gòu)建下一代人形
    的頭像 發(fā)表于 07-31 10:41 ?1127次閱讀

    NVIDIA 加速人形機器人發(fā)展

    開發(fā)者可以訪問新的 NVIDIA NIM 微服務(wù),用于 Isaac Lab 和 Isaac Sim 中的機器人仿真、OSMO 機器人云計算編
    發(fā)表于 07-30 09:15 ?900次閱讀
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>機器人</b>發(fā)展

    逐際動力攜手英偉達(dá)Isaac平臺, 助力通用機器人研發(fā)

    在近日舉行的年度計算機視覺與模式識別會議(CVPR)上,英偉達(dá)發(fā)布了其最新版本的NVIDIA Isaac Sim。與此同時,逐際動力也宣布將采用這一升級版的Isaac平臺,以強化學(xué)習(xí)和
    的頭像 發(fā)表于 06-21 09:34 ?2741次閱讀