基于物理性質的傳感器仿真提供有針對性的方法以解決現實世界中的數據挑戰。

現實與仿真之間的差距越來越小。

NVIDIA 創始人兼首席執行官黃仁勛在 GTC 大會主題演講中宣布推出 NVIDIA Omniverse Replicator ，這是一種生成具有正確標注的合成數據的引擎，用于訓練 AI 網絡。在演示中，黃仁勛先生展示了 Omniverse Replicator 在使用 DRIVE Sim 開發自動駕駛汽車時所展示出的強大性能。

DRIVE Sim 是一種基于 Omniverse 構建的仿真工具，它可以利用平臺的許多功能。DRIVE Sim 生成的數據用于訓練構成自動駕駛汽車感知系統的深度神經網絡。對于 NVIDIA DRIVE 團隊而言，合成數據已成為其自動駕駛汽車開發工作流程中一個有效且關鍵的組成部分。

為自動駕駛汽車的感知提供支持的深度神經網絡由兩個部分組成：算法模型和用于訓練該模型的數據。工程師花費大量時間在算法改進上。但是，由于現實世界如數據收集不全、耗時且成本高昂的限制，因此作為該深度神經網絡另一方的數據方面仍然不夠完善。

這種不平衡往往導致 DNN 開發停滯不前，阻礙數據收集進展而使之無法滿足模型需求。通過合成數據生成工具，開發者可以更好地控制數據開發，適應模型的特殊需求。

雖然現實世界數據是自動駕駛汽車訓練、測試和驗證的關鍵組成部分，但它仍帶來了重大挑戰。用于訓練這些網絡的數據由車隊上的傳感器在車輛實際行駛過程中收集。數據一經捕獲，必須標記有正確的標注。標記數據工作由成千上萬名標記員手動完成 – 這個過程既費時又成本高昂，而且可能不準確。

通過合成數據增強現實世界的數據采集，可以消除這些瓶頸問題，同時使工程師能夠針對 DNN 開發采取數據驅動型方法，顯著加快自動駕駛汽車開發并改進現實世界中的結果。

仿真到真實的域差距問題

合成數據生成是一種用于 AI 訓練的知名工具 – 研究人員早在 2016 年就一直在電子游戲（如“俠盜飛車 （ Grand Theft Auto ）”）上做試驗，以創建數據。

然而，與電子游戲不同，感知 DNN 的質量受到數據與現實世界之間保真度的嚴重影響，對數據集的訓練若不轉換到現實世界，則實際上可能會降低網絡的性能。

這種仿真到現實的差距主要表現在兩個方面。外觀差距對應于仿真圖像和真實圖像之間的像素級差異，這是由模擬器生成數據的方式引起的。渲染器、傳感器模型、 3D 資產的保真度和材料屬性都可能會導致出現這種差距。

內容差距可能是由于缺乏現實世界的內容多樣性以及仿真和現實世界背景之間的差異造成的。當一個場景的背景與現實不匹配時，就會出現這些不一致情況。例如，現實世界中包含臟亂的道路、凹損的汽車和路邊的緊急救援車輛，所有這些都必須在仿真中重現。另一個重要因素是行為者（如交通和行人）的行為 – 現實的交互是現實數據輸出的關鍵所在。

應用 Omniverse Replicator 以縮小仿真到真實的域差距

Omniverse Replicator 旨在縮小外觀和內容差距。

為了縮小外觀差距，DRIVE Sim 利用 Omniverse 的 RTX 路徑跟蹤渲染器 為攝像機、雷達、激光雷達和超聲傳感器生成基于物理性質的傳感器數據。傳感器數據中包含了現實世界的效果，包括 LED 閃爍、動態模糊、滾動快門、激光雷達束發散和多普勒效應等現象。這些詳細信息甚至包括高保真車輛動態，這一點很重要，如車輛在激光雷達掃描過程中的運動會影響產生的激光點云。

此傳感器方程的另一端便是材料。DRIVE Sim 中的材料經過物理模擬，可獲得精確的光束反射。DRIVE Sim 包括一個內置的激光雷達材料庫和一個即將建成的雷達和超聲波材料庫。

DRIVE Sim 的傳感器功能包括路徑追蹤攝像頭、雷達和激光雷達模型，可捕獲現實世界的效果，如動態模糊、LED 閃爍、滾動快門和多普勒效應。

DRIVE Sim 使用 RTX 路徑跟蹤器以高保真度呈現這些清晨和夜間場景

解決內容差距的主要方法之一是在高保真度下擁有更多樣化的資產。DRIVE Sim 利用 Omniverse 的功能連接到各種內容創建工具。但是，生成適當的場景也要求背景正確無誤。

接下來，Omniverse Replicator 使用稱為域隨機化的功能組織數據以執行快速場景操作。DRIVE Sim 包括用于此功能和場景構建的工具，這些工具在維護現實世界背景的同時創建大量不同的數據。由于 Omniverse Replicator 還具有時間準確性和確定性，數據集可以可重復的方式創建。

DRIVE Sim 提供合適工具以可控且可重復的方式生成隨機場景，從而為生成的數據添加多樣性和多元性。

豐碩成果

通過 NVIDIA 的合成數據，DRIVE Sim 在加速感知開發方面已經取得了顯著成果。

一個示例是遷移到新的 NVIDIA DRIVE Hyperion 傳感器集。NVIDIA DRIVE Hyperion 8 平臺包括用于完整生產自動駕駛汽車開發的傳感器。然而，在這些傳感器可用之前，NVIDIA DRIVE 團隊能夠使用合成數據為平臺提供 DNN。DRIVE Sim 生成了數百萬張圖像和真值數據用于訓練。因此，一旦安裝傳感器，網絡便已準備好部署，從而節省了長達數月的寶貴開發時間。

在另一種情況下，用于檢測可駕駛車道空間的 PathNet DNN 在車輛未處于車道中心時難以確定路徑。收集此類數據很困難，因為車輛部分駛出車道非常危險（而且違反了 NVIDIA 的數據采集策略）。通過基于數百萬條駛離車道中心行駛路徑的合成圖像對網絡進行訓練，DRIVE Sim 顯著提高了 PathNet 的準確性。

用于檢測交通燈的 LightNet 和用于檢測和分類路標的 SignNet 也是如此。由于缺乏數據，這些網絡很難從極度角識別交通燈，并在某些條件下對路標進行錯誤分類。工程師能夠設計數據來增強現實世界的數據集并提高性能。

通過對這兩個 DNN 進行涵蓋這些問題領域的合成數據訓練，性能得到迅速提高，消除了開發過程中的瓶頸問題。

看到人類肉眼所不能看到的事物

合成數據改變了 DNN 開發的本質。它具有時間效益和成本效益，為工程師們提供了按需生成定制數據集的自由。

開發者可以指定天氣、照明、行人、道路碎石等元素。他們還可以控制元素的分布，例如在給定數據集中指定卡車、公共汽車、汽車和摩托車的特定組合。

合成數據提供了人類無法標記的正確的標注。例如深度信息、速度和多傳感器追蹤。這種正確的標注信息可以顯著增強感知性能。

它還有助于標記難以標記（有時是不可能實現）的組件。例如，對于在汽車后方行走的行人，如果被遮擋，人們將無法正確對其貼標。但是，通過模擬，即使人們看不到信息，正確的標注仍自動可用且具有像素級準確性。

合成數據的一個關鍵特點是精確的真值標簽，用于現實世界中很困難或不可能實現的場景，如在汽車駛過時行人被遮擋的場景。

清理前方道路

作為合成數據生成工具的模塊化、開放且可擴展的平臺，Omniverse Replicator 為深度學習工程師帶來了強大的新功能。而 DRIVE Sim 則使用這些新功能為自動駕駛汽車開發者提供模擬測試中的終極靈活性和效率，以便工程師創建所需的數據集以加快工作進程。

其結果是 DNN 更準確，開發時間縮短，快速將更安全、更高效的自動駕駛技術應用于道路。

原文標題：用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自動駕駛汽車開發并提高感知結果

文章出處：【微信公眾號：NVIDIA英偉達企業解決方案】歡迎添加關注！文章轉載請注明出處。