環境感知是自動駕駛領域非常重要的一項任務。特別是在夜晚或者極端天氣的情況下,現有的視覺感知和激光雷達兩種方式對環境的感知和識別都效果不佳。這給自動駕駛等高風險應用帶來了挑戰。 有些研究提出使用熱像儀來彌補 LiDAR 和視覺攝像頭的缺陷。但由于物體不斷發出熱輻射,粒子會擴散到附近的環境中,導致熱成像變得模糊、無紋理,形成「鬼影(ghost)」,使這種方法難以實際應用。 現在,一種新的熱成像技術可以不受霧、煙和黑暗等視覺障礙的影響,使得自動駕駛汽車在黑暗中也能準確感知環境。如下圖所示,與以前的熱成像(上)相比,新方法可以創建更清晰、更有質感的夜間圖像(中和下)。
這種新方法是由來自普渡大學等機構的研究者提出,他們開發了一種新的系統, 稱為「熱輔助探測和測距系統(HADAR)」。借助該系統,我們可以在環境不佳的情況下獲得精細的環境圖像,細節與精度和傳統相機在明亮日光下拍攝的圖像相當。研究論文已登上 Nature 封面。
論文地址:https://www.nature.com/articles/s41586-023-06174-6 方法介紹 HADAR 能夠穿透光學雜波來檢測物體的溫度、材料成分和熱輻射模式,而不受霧、煙和黑暗等視覺障礙的影響。因此,無論一天中的時間或環境如何,HADAR 基于對深度和紋理的渲染都能創建極其詳細、清晰的圖像。
HADAR 與「鬼影」熱成像。 為了訓練 HADAR 系統,研究人員在夜間使用先進的熱成像相機和能夠顯示電磁波譜中能量輻射的成像傳感器,在戶外捕獲數據。他們還創建了對戶外環境的計算機模擬,以便進行額外的 AI 訓練。 普渡大學電氣與計算機工程系教授、本文作者之一 Zubin Jacob 表示,「HADAR 學會了探測物體并估計與這些物體的距離,其精度是僅依靠傳統夜視技術的 10 倍。而且,HADAR 在夜間的性能與傳統物體檢測系統在白天的性能相當。」 「聲納、雷達和激光雷達等會發出信號并返回反射,以推斷物體是否存在及其與物體的距離。除了相機所擁有的視覺能力之外,它們還提供了場景的額外信息,尤其是在環境照明較差的情況下,」Jacob 表示,「然而,HADAR 有著根本的不同,它利用不可見的紅外輻射來重建夜間場景,清晰度就像白天一樣。」 在沒有反射光的黑暗環境中, 傳統攝像頭無法很好地捕捉圖像,雷達和激光雷達也容易受到干擾。 熱成像技術通過捕獲環境中物體輻射的紅外光來重建場景。如下圖所示,新研究提出的 HADAR 方法改變了機器感知的方式:



聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
物聯網
+關注
關注
2927文章
45900瀏覽量
388202
原文標題:AI提高自動駕駛夜視能力,檢測黑夜、霧天場景和白天一樣
文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
熱點推薦
自動駕駛安全基石:ODD
和限制下可以正常工作,是自動駕駛安全的核心概念之一。 ? 對于人類司機來說,在不同的道路上駕駛的能力也有所區別,比如新手司機在一些窄路、山路
新能源車軟件單元測試深度解析:自動駕駛系統視角
。
?自動駕駛軟件的特殊性?
? 感知層: ?激光雷達、攝像頭等傳感器數據處理算法的單元測試需覆蓋極端場景。例如,激光雷達點云濾波算法在雨雪天氣下的噪聲抑制能力需通過邊界測試驗證。某廠商曾在測試中遺漏
發表于 05-12 15:59
AI將如何改變自動駕駛?
[首發于智駕最前沿微信公眾號]五一假期繼續閑聊一下,還歡迎大家隨意留言,隨著人工智能(AI)的發展,很多車企及自動駕駛供應商正嘗試將AI融入自動駕駛
自動駕駛規控算法驗證到底需要什么樣的場景仿真軟件?
ModelBase-AD憑借其優秀的靜態場景模型、隨機交通流模型、整車動力學模型,為各大主機廠和供應商提供了準確的自動駕駛規控算法驗證仿真環境,提升了自動駕駛規控算法驗證效率。

NVIDIA DRIVE技術推動自動駕駛發展
隨著 AI 技術的飛速發展,汽車行業正經歷一場深刻而全面的智能化轉型。以 NVIDIA DRIVE 技術為核心,NVIDIA 正在推動著自動駕駛技術不斷邁向新高度。2025 年,AI
一文聊聊自動駕駛測試技術的挑戰與創新
隨著自動駕駛技術的飛速發展,自動駕駛測試的重要性也日益凸顯。自動駕駛測試不僅需要驗證車輛的感知、決策、控制模塊的獨立性能,還需確保系統在復雜場景中運行的整體可靠性。然而,



汽車雷達回波發生器的技術原理和應用場景
的波束并向前傳播,以模擬真實的雷達工作環境。應用場景
自動駕駛系統的開發和測試:在自動駕駛系統的開發和測試過程中,汽車電子雷達回波發生器可以模擬各種交通場景下的目標回波,評估雷達系統在
發表于 11-15 14:06
基于場景的自動駕駛驗證策略
可選方案是將實際交通狀況做出總結生成具有高度代表性的交通場景,通過仿真分析自動駕駛系統在這些場景上的安全性。然而交通場景中元素的復雜性與失敗事件的罕見性導致難于準確分析系統失敗的概率和


RISC-V適合什么樣的應用場景
解決方案,適用于邊緣計算、智能攝像頭、智能音箱等場景。
靈活性:RISC-V的開放性使得其能夠更容易地與各種AI框架和算法集成,滿足不同的AI應用需求。
4. 自動駕駛和汽車電子
定制
發表于 07-29 17:16
FPGA在自動駕駛領域有哪些優勢?
FPGA(Field-Programmable Gate Array,現場可編程門陣列)在自動駕駛領域具有顯著的優勢,這些優勢使得FPGA成為自動駕駛技術中不可或缺的一部分。以下是FPGA在自
發表于 07-29 17:11
FPGA在自動駕駛領域有哪些應用?
是FPGA在自動駕駛領域的主要應用:
一、感知算法加速
圖像處理:自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環境,這涉及到大量的圖像處理任務。FPGA在處理圖像上的運算速度快,可并行性強,且功耗
發表于 07-29 17:09
Nullmax正式推出新一代自動駕駛技術Nullmax Intelligence
7月16日,Nullmax在上海舉辦“AI無止境,智變新開端”2024技術發布會,正式推出新一代自動駕駛技術Nullmax Intelligence(簡稱“NI”)。新技術著重于打造全場景

評論