與 ROS World 2021 一起， NVIDIA 宣布了向 ROS 開發(fā)者社區(qū)提供性能感知技術(shù)的最新努力。這些舉措將加速產(chǎn)品開發(fā)，提高產(chǎn)品性能，并最終簡(jiǎn)化將尖端計(jì)算機(jī)視覺(jué)和 AI / ML 功能納入基于 ROS 的機(jī)器人應(yīng)用程序的任務(wù)。

公告要點(diǎn)：

最高性能的實(shí)時(shí)立體里程計(jì)解決方案，可作為 ROS 套件提供

NGC 上提供的所有 NVIDIA 推理 DNN 均作為 ROS 包提供，并附有圖像分割和姿勢(shì)估計(jì)示例

NVIDIA ISAAC Sim 中新的合成數(shù)據(jù)生成（ SDG ）工作流程，用于創(chuàng)建大規(guī)模生產(chǎn)質(zhì)量數(shù)據(jù)集，用于視覺(jué) AI 培訓(xùn)

NVIDIA 上的 NVIDIA Omniverse Sim 卡，具有對(duì) ROS 的開箱即用支持，是迄今為止對(duì)開發(fā)人員最友好的版本

NVIDIA ISAAC ROS GEMs 優(yōu)化性能

圖 1 NVIDIA ISAAC ROS GEMs 的軟件框圖

ISAAC 玫瑰寶石提供包括圖像處理和計(jì)算機(jī)視覺(jué)在內(nèi)的軟件包，包括針對(duì) NVIDIA GPU s 和 Jetson 進(jìn)行高度優(yōu)化的基于 DNN 的算法。

突出顯示的 GEM 立體視覺(jué)里程計(jì)具有同類最佳的精確度和最佳性能

當(dāng)自主機(jī)器在其環(huán)境中移動(dòng)時(shí)，它們必須跟蹤自己所在的位置。視覺(jué)里程計(jì)通過(guò)估計(jì)攝像機(jī)相對(duì)于其起始位置的位置來(lái)解決這個(gè)問(wèn)題。用于立體視覺(jué)里程計(jì)的 ISAAC ROS GEM 為 ROS 開發(fā)者提供了這一強(qiáng)大的功能。

這款 GEM 為實(shí)時(shí)立體攝像機(jī)視覺(jué)里程計(jì)解決方案提供了最佳精度?？蓞⒖蓟趶V泛使用的 KITTI 數(shù)據(jù)庫(kù)的公開結(jié)果here。這種 GPU 加速包除了具有高精度外，運(yùn)行速度也非?？臁Ｊ聦?shí)上，現(xiàn)在可以在 NVIDIA Jetson AGX Xavier 上實(shí)時(shí)（》 60fps ）運(yùn)行高清分辨率（ 1280 × 720 ）的 SLAM 。

突出顯示 GEM DNN 推斷所有可供 ROS 開發(fā)人員使用的 NGC DNN 推斷模型

您可以使用NGC上提供的 NVIDIA 眾多推理模型中的任何一種，甚至可以使用 DNN 推理 GEM （一組 ROS2 軟件包）提供您自己的 DNN ?？梢允褂?NVIDIA TAO 工具包進(jìn)一步調(diào)整預(yù)訓(xùn)練模型或優(yōu)化您自己的模型。

優(yōu)化TensorRT或Triton、 NVIDIA 的推理服務(wù)器后，部署這些包。利用TensorRT、 NVIDIA 的高性能推理 SDK ，節(jié)點(diǎn)將實(shí)現(xiàn)最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，則應(yīng)使用 NVIDIA Triton 部署該模型。

GEM 包括對(duì)U-Net和DOPE的本機(jī)支持。基于 TensorRT 的 U-Net 包可用于從圖像生成語(yǔ)義分割掩碼。 DOPE 軟件包可用于所有檢測(cè)對(duì)象的三維姿態(tài)估計(jì)。

該工具是將性能 AI 推理納入 ROS 應(yīng)用程序的最快方法。

NVIDIA ISAAC 模擬 GA 發(fā)布

ISAAC Sim 卡的 GA 版本將于 2021 年 11 月推出，這將是迄今為止對(duì)開發(fā)者最友好的版本。隨著用戶界面、性能和有用的構(gòu)建塊的大量改進(jìn)，它將導(dǎo)致更好的模擬，構(gòu)建速度更快。此外，改進(jìn)的 ROS 橋和更多的 ROS 樣本將增強(qiáng)您的體驗(yàn)。

此版本的新增版本（ 2021 。 2 版計(jì)劃于 2021 年 11 月發(fā)布）

提高了性能，減少了內(nèi)存使用和啟動(dòng)時(shí)間

改進(jìn)了入住率地圖生成， URDF 導(dǎo)入器

新環(huán)境：大型倉(cāng)庫(kù)、辦公室、醫(yī)院

用于與機(jī)器人、對(duì)象、環(huán)境接口的新 Python 構(gòu)建塊

ROS / ROS2 橋梁、深度點(diǎn)云、激光雷達(dá)點(diǎn)云的性能改進(jìn)

更新示例

基于 ROS2 的多機(jī)器人導(dǎo)航

Jupyter 中具有域隨機(jī)化的 SDG

視頻 1 ：使用 ROS MoveIT 聯(lián)合控制 Franka

ISAAC Sim 的新合成數(shù)據(jù)生成工作流生產(chǎn)數(shù)據(jù)集

自主機(jī)器人需要大量不同的數(shù)據(jù)集來(lái)訓(xùn)練運(yùn)行其感知堆棧的眾多 AI 模型。從真實(shí)場(chǎng)景中獲取所有這些培訓(xùn)數(shù)據(jù)的成本高昂，而且在某些情況下，可能存在危險(xiǎn)。 ISAAC Sim 提供的新合成數(shù)據(jù)工作流旨在構(gòu)建生產(chǎn)質(zhì)量數(shù)據(jù)集，以解決自主機(jī)器人的安全和質(zhì)量問(wèn)題。

構(gòu)建數(shù)據(jù)集的開發(fā)人員控制場(chǎng)景中對(duì)象、場(chǎng)景本身、照明和合成傳感器的隨機(jī)分布。開發(fā)人員還具有細(xì)粒度控制，以確保重要的角落案例包含在數(shù)據(jù)集中。最后，此工作流支持版本控制和調(diào)試信息，以便能夠準(zhǔn)確地復(fù)制數(shù)據(jù)集以用于審核和安全目的。

關(guān)于作者

Gerard Andrews 是專注于機(jī)器人開發(fā)社區(qū)的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔(dān)任產(chǎn)品營(yíng)銷總監(jiān)，負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營(yíng)銷和業(yè)務(wù)開發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會(huì)大學(xué)電子工程學(xué)士學(xué)位。

審核編輯：郭婷