日前，黑芝麻智能機器學習專家張蕾在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上發表了主題為“基于激光雷視融合的3D自動標注技術助力自動駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數據自動標注方面的研發進展。

越來越多的新車開始配備激光雷達，以提高車輛的自主安全性和實現更高級別的輔助駕駛以及自動駕駛能力。然而，純人工3D標注和驗收的效率低、耗時長、成本高昂。而通過先進的AI技術，利用車載激光雷達和多攝像頭，可以自動地對車輛、行人、騎行人等動態道路使用者進行3D物體檢測，進而高效率地輔助甚至部分替代純人工標注。

日前，在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上，黑芝麻智能機器學習專家張蕾發表了主題為“基于激光雷視融合的3D自動標注技術助力自動駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數據自動標注方面的研發進展。

自研系統性能方案比肩世界領先算法

在自動駕駛中需要用道路上目標物3D的位置進行規劃和決策，但傳統的攝像頭解決方案對于深度和3D位置的估計不夠準確。在采用了BEV技術以后，需要大量的真實3D標注的數據來輔助訓練BEV上的3D模型，這樣可以融合多個攝像頭的信息，直接去獲得3D世界的物體。

為此，黑芝麻智能自主設計和開發了一套基于激光雷達和多攝像頭進行3D自動標注的方案。該方案履行兩階段的方法，第一階段是先通過多幀點云的方式和圖像融合，得到初始的3D標注；第二階段是以物體為中心的3D精調，進一步提高3D檢測精準度。

對于3D物體框的精調，黑芝麻智能采用了兩種不同方案。靜態物體在多幀點云對齊以后，可以得到一個密度非常高的單個物體點云。在單幀點云里即使看不到一個物體的全貌，但經過以物體為中心的點云融合以后，基本上可以看到完整的物體形狀，這樣可以更好地估計其尺寸。另一方面，對于動態物體，它的軌跡會形成一個有用的信息，根據動態累計的點云也可以更好地估計其大小和空間上的位置。

張蕾介紹，黑芝麻智能的這一方案，融合了多種模態，目前包括360度激光雷達和六個攝像頭的信息，還有前融合和后融合的方式。在兩階段的模型里面，采用的是以物體為中心的點云對齊精調的方式，生成高度緊湊的3D目標檢測框。而多幀激光雷達點云的時序融合，能有效彌補單幀點云的稀疏和遮擋問題。同時，整個模型不同階段可以進行多種融合，下一階段還可以在整個模型的不同層次階段進行融合。另外，在采用了跟圖像檢測做后融合的方法以后，黑芝麻智能還將檢測物體的類別從三類擴展到十三類，并且還可以通過聚合的方式實現復雜不規則物體的檢測。與此同時，黑芝麻智能的方案，采用了模塊化設計，可根據不同需求增加、去除可選的處理環節，達到最優化效益。

根據在Waymo公開數據上測試的結果，黑芝麻智能3D 物體自動標注系統的性能可以比肩世界領先算法的性能。

自建數據采集系統與完整的云服務平臺

基于華山二號A1000芯片，黑芝麻智能還可同時提供傳感器采集設備，客戶可基于這套設備同步采集360度旋轉激光雷達和6個1080p攝像頭數據，同時采集IMU、GPS、輪速編碼器等多種數據。

黑芝麻智能還可以對這一3D自動標注系統做進一步擴展，包括通過差異化的多模型集成來進一步提高算法準確度，通過運行時的數據增強來進一步提高算法準確度，通過半監督學習和自監督學習來訓練更好的模型，通過在神經網絡深層結構上的多傳感器融合來進一步提高模型能力，通過融合聚類方法來檢測未知的路面障礙物等等。

張蕾在演講結尾時表示，在開發基于激光雷達和多攝像頭的自動駕駛領域的 3D 物體自動標注系統的同時，黑芝麻智能可為客戶提供數據采集、數據預處理、3D 自動標注、人工標注及檢驗的云服務平臺。

審核編輯：湯梓紅