AI 先鋒 Andrew Ng 呼吁廣泛轉向以數據為中心的機器學習（ ML ）方法。他最近舉辦了第一次以數據為中心的人工智能數據質量競賽，許多人聲稱這代表了人工智能 80% 的工作。

“我樂觀地認為，人工智能社區不久將對系統化改進數據和架構模型產生同樣大的興趣，” Ng 在他的時事通訊The Batch中寫道。

以數據為中心的合成數據方法

在使用合成數據時采用以數據為中心的模型開發方法是一個迭代過程。工程師評估訓練有素的模型并確定數據集中的改進。然后，他們生成新的數據集并開啟新的訓練周期。這個生成數據、訓練模型、評估模型和生成更多數據的過程會持續下去，直到模型按預期執行。

每次迭代中的數據都是在模擬中生成的，而不是在真實世界中收集的，然后進行標記，從而加快了模型訓練的速度。這些可以大規模生成的數據集以培訓工具可以直接使用的格式輸出。該功能消除了在數據預處理中執行額外步驟的麻煩。

合成數據生成過程的參數化為 ML 工程師提供了對每次迭代的更多控制，以及對數據集中已有內容的可追溯性。通過合成數據、大規模生成、理解數據集中存在的內容，將數據集改進結合在一起，它的生成方式縮短了開發人員實現結果的時間。

推出用于 ISAAC Sim 卡的 NVIDIA Omniverse 復制器

隨著人們對數據質量的日益關注， NVIDIA 發布了新的Omniverse Replicator for ISAAC Sim 應用程序，該應用程序基于最近發布的Omniverse Replicator 合成數據生成引擎。Isaac Sim中的這些新功能使 ML 工程師能夠構建生產質量的合成數據集，以訓練強健的深度學習感知模型。“復制”模型目標域的固有分布是最大化模型性能的關鍵。

Omniverse 復制器用于 ISAAC Sim 卡優勢

生成數據集，以實現開發人員設置為目標的隨機、受控和有界分布。

確保數據集包含目標角落和測試用例。

包含對象、照明和場景的攝影機相對視野放置。

在基于邊緣和云的系統上大規模工作。

跟蹤每個數據集中使用的工具和參數，以推動迭代過程并支持生產數據集的質量審核。

圖 1 ISAAC Sim 中的合成數據生成工作流示例。

Replicator 演示：使用自動移動機器人避免叉車叉齒

目前許多工廠部署的自主移動機器人（ AMR ）都是基于平面激光雷達的。激光雷達足以探測到許多物體的存在并進行導航。叉車在許多工廠和倉庫中隨處可見，這對激光雷達提出了獨特的挑戰；可以檢測叉車底盤，但不能檢測叉齒。

由于平面激光雷達無法檢測到叉齒，因此機器人只能在叉齒上方行駛時避免與叉車本體發生碰撞。

解決此問題的一種方法是讓機器人“感知”其路徑中有叉車，并使用該識別來改進導航以避免尖齒。

本節概述了使用 ISAAC Sim Replicator 培訓 DNN 以解決 AMR /叉車問題的整個工作流程的演示。

叉車演示關鍵步驟

在Omniverse上的 ISAAC Sim 卡中構建倉庫場景。

在倉庫中放置 AMR 并重新創建故障場景。

獲取叉車模型并使用 ISAAC Sim 生成合成數據。

使用TAO Toolkit使用合成數據訓練現有預訓練模型。

使用DNN Inference Isaac ROS GEM部署模型。

在模擬中測試 ISAAC ROS GEM 。

在NVIDIA Jetson platform上部署 ISAAC GEM in robot 軟件堆棧。

圖 2 使用 ISAAC Sim 數據復制器進行叉車演示的完整工作流程。

為 ISAAC Sim 使用 Omniverse 復制器生成數據集

在本演示中，我們獲得了八種不同的 3D 叉車通用場景描述（ USD ）模型來訓練 DNN 。 ISAAC Sim Replicator 然后被用來描述影響對象（叉車）的眾多參數：照明、相機和場景本身。

在領域隨機化中使用了特別的注意，因此深度學習模型將推廣其對叉車的理解。通過更改顏色、紋理、照明、叉車相對于攝影機的位置、叉車的偏航、俯仰、滾動，并在場景中添加其他非叉車對象，模型可以學習概括叉車。

最終，為這次演示生成了 90000 多張圖像。我們使用新的Omniverse Farm，一個用于多 GPU 、多代理、模擬的系統層，來管理創建數據集的 GPU – 計算資源。

這些圖像表示實現穩健性能所需的數據多樣性類型。

培訓和部署叉車探測器 DNN

我們從NVIDIA TAO Toolkit 中選擇了一個預訓練模型來執行識別叉車所需的分割任務。該模型經過預訓練，可以對人物、汽車和背景類進行語義分割。我們使用轉移學習，將該模型用于使用 ISAAC Sim 中生成的合成數據對叉車執行語義分割。

下一步是將叉車模型添加到DNN Inference Isaac ROS GEM。您可以快速將推理添加到基于 ROS 的機器人應用程序中，如本文中描述的 AMR 用例。

總結

提高基于人工智能的計算機視覺應用程序的性能需要復制目標領域固有分布的大型和多樣的數據集。用于 ISAAC Sim 卡的新型 NVIDIA Omniverse Replicator 是一款功能強大的應用程序，可生成生產質量數據集。

我們演示了如何使用合成數據培訓在 AMR 上運行的 DNN ，以避免在叉車叉齒上運行的常見事故。

在許多其他場景中，您可以應用此過程并使用合成數據來增加機器人對其環境和行為的理解。最終，這將導致機器人事故更少，需要更少的人工干預。

關于作者

Gerard Andrews 是專注于機器人開發社區的高級產品營銷經理。在加入 NVIDIA 之前，Gerard在Cadence擔任產品營銷總監，負責許可處理器IP的產品規劃、營銷和業務開發。他擁有佐治亞理工學院電子工程碩士學位和南方衛理公會大學電子工程學士學位。

審核編輯：郭婷