構建一個能在復雜物理世界中導航的自動駕駛系統極具挑戰性。系統必須感知周圍環境并做出快速且明智的決策。乘客體驗也很重要，需要考慮加速、曲率、平滑度、路面附著力、碰撞時間等因素。

本文將介紹 Hydra-MDP，這個創新的框架將推動端到端自動駕駛領域的發展。Hydra-MDP 采用新穎的多教師、學生-教師知識提煉架構，整合了來自人類和基于規則的規劃器的知識。這使模型能夠學習不同的軌跡，從而提高在不同駕駛環境和條件下的通用性。

圖 1 端到端規劃范式比較

Hydra-MDP 所提供的通用框架展示了如何通過基于規則的規劃器來增強基于機器學習的規劃。這一整合確保模型不僅能模仿人類駕駛行為，還能遵守交通規則和安全標準，打破了傳統模仿學習的局限性。

Hydra-MDP 以數據驅動的擴展法則展現了其魯棒性和適應性。通過使用具有大量數據和 GPU 小時數的預訓練基礎模型，Hydra-MDP 展示了其可擴展性以及持續改進的潛力。

NVIDIA 的 Hydra-MDP 模型在 CVPR 2024 大規模端到端駕駛挑戰賽中獲得了第一名和創新獎，并且在 nuPlan 基準測試中的表現優于當前最先進的規劃器。它為基于 ML 的規劃系統在自動駕駛中的應用開辟了一條前景廣闊的道路。

端到端自動駕駛是一套系統接收來自攝像頭、雷達和激光雷達的原始傳感器數據并直接輸出車輛控制的完整方法。

相關論文

Hydra-MDP：多目標 Hydra-Distillation 端到端多模式規劃

Hydra-MDP 采用新穎的多教師、學生-教師知識提煉架構，整合了來自人類和基于規則的規劃器的知識。

借助基于規則的教師知識，Hydra-MDP 可以學習環境如何以端到端的方式影響規劃，而不是求助于無差別的后處理，使其在不同駕駛環境和條件下的通用性有了顯著提高。

通過多目標 Hydra-Distillation

加強多模態規劃

在開發 Hydra-MDP 的過程中，NVIDIA 學到了一些關鍵的經驗，這些經驗決定了 Hydra-MDP 的架構及其成功。Hydra-MDP 將人類和基于規則的知識提煉相結合，創建出一個強大的多功能自動駕駛模型。

以下是 NVIDIA 學習到的關鍵經驗：

認識到多模態和多目標規劃的復雜性

利用多目標 Hydra-Distillation 的強大功能

克服后處理的局限性

了解環境背景的重要性

通過模擬反復完善

使用有效的模型組合

認識到多模態和多目標規劃的復雜性

認識到多模態和多目標規劃的必要性是一門“基礎課”。

傳統的端到端自動駕駛系統通常只側重于單個模態和目標，這限制了其在現實世界中的有效性。Hydra-MDP 整合了根據安全、效率、舒適度等多個指標定制的不同軌跡，確保模型不只是模仿人類駕駛員，而是能夠適應復雜的駕駛環境。

圖 2 Hydra-MDP 架構

利用多目標 Hydra-Distillation 的強大功能

多目標 Hydra-Distillation 是一個教師-學生多模態框架，它是 NVIDIA 方法中的關鍵策略。通過采用多個專業教師（既有人類教師，也有基于規則的教師），模型能夠學會預測與各種模擬指標相一致的軌跡。該技術提高了模型在不同駕駛條件下的通用性。

NVIDIA 了解到加入基于規則的規劃器提供了一個結構化框架，而加入人類教師則帶來了適應性和細致的決策能力，這對于適應不可預測的場景至關重要。

克服后處理的局限性

另一個洞察是依賴后處理進行軌跡選擇存在固有的局限性。

傳統方法通常會將感知和規劃分離成不同且不可微分的步驟，從而丟失有價值的信息。Hydra-MDP 的端到端架構將感知和規劃整合成一個無縫銜接的工作流，并在整個決策過程中保持了環境數據的豐富性。通過這種整合，使預測變得更加明智且準確。

了解環境背景的重要性

加入詳細的環境背景對于規劃的準確性來說至關重要。

Hydra-MDP 的感知網絡以 Transfuser 基線為基礎構建而成，它將激光雷達和攝像機輸入所具有的特征加以組合。這種多模態融合有助于模型更好地理解和應對復雜的駕駛環境。

Transformer 層將這些模態連接起來，保證了對環境背景的全面編碼，并提供豐富、可操作的洞察。

通過模擬反復完善

事實證明，離線模擬促進的反復完善過程非常有價值。

在整個訓練數據集上運行模擬生成了各項指標的基準真實模擬分數。這些數據隨后被用于監督訓練過程，使模型能夠從各種模擬駕駛場景中學習。

該步驟凸顯了大量模擬在填補理論性能與實際應用之間差距的重要性。

表 1 Hydra-MDP 的準確性與輸入圖像分辨率、預訓練和骨干架構的函數關系。獲勝方案 Hydra-MDP-C 通過將這些因素結合在一起提高了性能。

使用有效的模型集合

有效的模型集合是取得成功的關鍵。

NVIDIA 使用了混合編碼器和子分數集合等技術來結合模型的優勢。這提高了 Hydra-MDP 的魯棒性，保證了最終模型能夠以高精度處理各種駕駛場景。

集合技術兼顧了計算效率和性能，對于實時應用至關重要。

結論

Hydra-MDP 的開發是一個創新、實驗和不斷學習的過程。通過采用多模態和多目標規劃、利用多目標 Hydra-Distillation，以及通過大量模擬加以完善， NVIDIA 創建了一個明顯優于當前最先進方法的模型。這些經驗造就了 Hydra-MDP 的成功，并為未來自動駕駛技術的進步提供了寶貴的啟發。

更多信息，參見 Hydra-MDP：借助多目標 Hydra-Distillation 實現端到端多模態規劃。相關工作參見自動駕駛汽車應用研究。