過去十年，自動駕駛和高級駕駛輔助系統 (AD/ADAS) 軟件和硬件的開發(fā)成為了各大汽車公司的主要投資目標之一。各大汽車公司對AD/ADAS 持續(xù)不斷的投資加快了 AD/ADAS 組件的開發(fā)周期，但也揭示了目前需要解決的重大挑戰(zhàn)——如何快速了解開發(fā) AD/ADAS 組件中的車輛行為，以便進行改進！

一、方案背景

由于 AD/ADAS 的運行環(huán)境很復雜，從仿真到真實駕駛，任何 AD/ADAS 組件的每次更改都需要根據大量場景進行驗證。然而，場景數量龐大且每天都在增長，傳統的機器人開發(fā)支持工具（如 RVIZ）無法滿足我們的需求。例如，RVIZ只允許我們實時檢查車輛的行為，很難快速跳轉到任何特定事件。

為此，康謀推出IVEX自動駕駛場景管理及分析平臺來克服這一難題。IVEX是一個基于云的平臺，包含許多功能來支持 AD/ADAS 的驗證和開發(fā)。

下文康謀將為您分享在AD/ADAS開發(fā)中使用IVEX的經驗。

二、康謀方案——IVEX自動駕駛場景管理及分析平臺

圖1 IVEX頁面

1、數據輸入

我們通過將原始數據轉換為所需的格式，然后將轉換后的數據上傳到基于云的服務器來與安全分析平臺進行交互。平臺的輸入數據以 Protobuf 消息格式定義，包括執(zhí)行期間有關環(huán)境和AD/ADAS 行為的信息，例如：

a.自車狀態(tài)變量，例如位姿、速度、加速度和轉向角；

b.自我車輛規(guī)劃軌跡；

c.障礙物信息，如位姿、邊界框、速度和類型；

d.上下文圖像；

e.標記事件，其中每個事件由一個標簽和相應的時間戳組成；

2、場景執(zhí)行結果

（1）格式

IVEX清晰且定義良好的輸入格式有助于無縫處理不同的數據格式。由于場景來自不同的來源，因此場景執(zhí)行結果具有不同的格式，例如 Autoware ROS2 Bags、Apollo CyberRecords、Carla Simulator 日志格式和其他商業(yè)模擬器日志格式。

對于每種數據格式，我們都有一個適配器（通常只是一個 Python 腳本），用于將數據轉換為安全分析的 Protobuf 輸入格式。Protobuf 是大多數工程師都熟悉的格式。通常只需幾個小時即可開發(fā)一個適配器，將新的數據格式轉換為安全分析的 Protobuf 輸入格式。

（2）上傳

圖2 將數據上傳到IVEX的命令行界面

通過命令行界面將場景執(zhí)行結果上傳到IVEX平臺。數據轉換和數據上傳都集成到 CI/CD 流程中。同時每位工程師都可以執(zhí)行任何特定場景并將結果上傳到 IVEX平臺。這種靈活性使我們能夠快速試驗AD/ADAS開發(fā)中的每項更改。

（3）檢查

在 IVEX的 Web 界面上檢查場景執(zhí)行結果。我們可以根據不同的元數據（例如執(zhí)行日期、軟件版本或場景名稱）搜索、過濾和選擇相關場景。

圖3 IVEX的搜索功能示例

a.快速概覽

由于場景驗證通常是大量的，因此快速概覽結果十分重要。使用 IVEX的聚合視圖可以實現快速概覽。在篩選和選擇感興趣的場景后，可以訪問聚合視圖，該視圖可快速提供有關所有標記事件的信息，這些事件按不同的操作設計域進行分類。標記的事件可以包含在要上傳到 IVEX的輸入數據中，從而能夠標記與驗證任務相關的任何類型的事件。IVEX還會自動標記幾個標準事件，例如緊急剎車、關鍵碰撞時間等。

例如，當在IVEX中開發(fā)一項新功能并想要比較自主車輛以不同速度行駛時的結果時，啟用聚合視圖來顯示按不同速度范圍分類的信息，如下圖所示。

圖4 IVEX的聚合視圖

b.快速導航

除了概覽場景執(zhí)行結果中發(fā)生的事件之外，我們還需要能夠快速導航到特定事件以檢查車輛的行為。從聚合視圖可以直接跳轉到任何感興趣的事件。

例如，如果想檢查當自車行駛速度超過 30 公里/小時時發(fā)生的緊急剎車事件，可以點擊與該事件和速度相對應的框。事件的分布和特定時間戳的列表與上下文圖像一起顯示。點擊任何一張卡片都會來到數據日志視圖，該視圖提供在特定時間戳發(fā)生的詳細信息。

圖5 聚合視圖中事件選擇示例

圖6 在數據日志視圖中檢查急剎車事件

在數據日志視圖中，可以詳細檢查事件。該視圖具有詳細的可視化功能，可顯示當時的所有信息，包括自車的狀態(tài)、地圖、障礙物及其相關信息，例如速度、類型和與自車的距離。我們還可以從場景列表直接跳轉到數據日志視圖。

圖7 數據日志視圖的可視化

數據日志視圖還幫助我們重播并查看場景中發(fā)生的情況。只需點擊幾下，我們就可以在每個時間戳之間來回切換。我們還可以看到所有標記的事件并導航到其中任何一個。使用此視圖，可以快速評估和了解任何情況。

圖8 跨時間觀察障礙物

圖9 快速導航至特定事件或時間戳

c. 團隊共享

一旦發(fā)現需要進一步檢查的事件，我們就可以與其他同事分享完全相同的視圖，然后同事就可以隨時檢查該事件。在團隊工作時，共享此類信息可以大大促進我們的溝通，并幫助我們專注于正確的方向。

三、結論

IVEX大大推動了AD/ADAS的開發(fā)工作：

a.輕松集成駕駛數據到平臺

b.快速了解車輛行為

c.快速導航感興趣事件

d.訪問所有有價值的可視化信息了解情況

e.團隊共享信息

期待您繼續(xù)關注康謀之后的文章，我們將分享有關AD/ADAS的基于場景的驗證和數據分析的更多信息。