NVIDIA 在國際計算機視覺與模式識別會議（CVPR）上展示了用于自動駕駛汽車開發的加速計算和生成式 AI 的突破技術。

NVIDIA 采取行動加速自動駕駛汽車的開發，成為本周于美國西雅圖舉辦的國際計算機視覺與模式識別會議（CVPR）的自動駕駛國際挑戰賽的獲勝者。

NVIDIA Research 繼去年獲得 3D Occupancy 預測冠軍后，今年又憑借 Hydra-MDP 模型在大規模端到端駕駛類別中擊敗了全球 400 多個參賽者，榮登榜首。

這一里程碑顯示了生成式 AI 在自動駕駛汽車（AV）開發過程中構建物理 AI 部署的重要性。該技術還可應用于工業環境、醫療、機器人等其他領域。

NVIDIA 的獲獎作品還榮獲 CVPR 創新獎，該獎項是對 NVIDIA 改進“任意端到端駕駛模型使用所學習到的開環代理指標”這一方法的認可。

此外，NVIDIA 還發布了 NVIDIA Omniverse Cloud Sensor RTX，這是一套可實現物理精確傳感器仿真的微服務，可加速各類完全自主機器的開發。

端到端駕駛如何運作

比起短跑，自動駕駛汽車開發競賽更像是一場永無止境的鐵人三項賽，涉及到三個截然不同但又至關重要的部分：AI 訓練、仿真和自動駕駛。每個部分都需要有各自的加速計算平臺，并且專為這三個步驟打造的全棧系統，需要組合成一個能夠保證開發周期不間斷并且性能與安全性也不斷提高的強大“鐵三角”。

為了實現這一目標，首先要在NVIDIA DGX等 AI 超級計算機上對模型進行訓練。然后，通過使用NVIDIA Omniverse平臺并在NVIDIA OVX系統上對模型進行測試和驗證。最后在NVIDIA DRIVE AGX平臺上通過該模型實時處理傳感器數據。

建立一個能夠在復雜物理世界中安全導航的自動駕駛系統極具挑戰性。該系統需要全面感知和了解周圍環境，然后在幾分之一秒內做出正確且安全的決策。因此，系統必須具備類似人類的態勢感知能力，才能處理潛在的危險或罕見情況。

傳統的 AV 軟件開發一直基于模塊化方法，包括用于物體檢測和追蹤、軌跡預測以及路徑規劃和控制的獨立組件。

端到端自動駕駛系統采用一個統一模型接收傳感器輸入并生成車輛軌跡，從而簡化了這一過程，有助于避免工作流變得過于復雜并提供了一種更加全面、以數據為依據的方法來處理現實世界中的各種情況。

引領國際挑戰賽

今年的 CVPR 挑戰賽要求參賽者利用 nuPlan 數據集開發出能夠根據傳感器數據生成駕駛軌跡的端到端自動駕駛模型。

所提交的模型將在開源的 NAVSIM 模擬器中進行測試，它的任務是在數千種從未體驗過的場景中進行導航。比賽根據安全性、乘客舒適度以及與原始記錄軌跡的偏差等指標對模型性能進行評分。

勝出的 NVIDIA Research 端到端模型能夠獲取攝像頭和激光雷達數據以及車輛的軌跡歷史記錄，在傳感器輸入后的五秒鐘內就能生成安全的最佳車輛路徑。

NVIDIA 研究人員贏得此次比賽所使用的工作流可以通過 NVIDIA Omniverse 在高保真仿真環境中進行復制，這意味著自動駕駛仿真開發人員能夠在現實世界測試自動駕駛汽車之前，先在物理精確的環境中創建工作流。NVIDIA Omniverse Cloud Sensor RTX微服務將于今年晚些時候推出。請注冊以獲得搶先體驗https://developer.nvidia.com/login。

此外，NVIDIA 提交的作品在 CVPR 自動駕駛大型挑戰賽語言駕駛類別中排名第二。NVIDIA 的模型打通了視覺語言模型和自動駕駛系統，通過整合大語言模型的強大功能幫助做出決策并實現可通用、可解釋的駕駛行為。