傳感器系統開發商FLIR公司近日發布了自動駕駛開源熱傳感器數據集，該數據集匯集了10,000多個白天和夜間場景的注釋熱圖像，熱成像傳感器可以檢測行人，動物和其他車輛，最大距離可達到傳統前燈照明的四倍。該傳感器的應用將有助于駕駛員或未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰性的環境中看得更遠。

近日，美國俄勒岡州的傳感器系統開發商 FLIR Systems Inc. 宣布推出一款開源機器學習熱數據集，專為高級駕駛輔助系統（ADAS）和自動駕駛汽車研究人員，開發人員和汽車制造商而設計，該數據集匯集了10,000多個白天和夜間場景的注釋熱圖像。

什么是熱成像傳感器？

智車科技曾在《紅外熱像儀結合機器學習助力自動駕駛安全，或是未來發展方向之一》一文中提到，熱像儀又稱紅外熱像儀，是利用紅外探測器和光學成像物鏡接受被測目標的紅外輻射能量分布圖形反映到紅外探測器的光敏元件上，從而獲得紅外熱像圖，這種熱像圖與物體表面的熱分布場相對應。通俗地講熱像儀就是將物體發出的不可見紅外能量轉變為可見的熱圖像。熱圖像的上面的不同顏色代表被測物體的不同溫度。紅外熱像儀是可通過光電轉換、電信號處理等手段，將目標物體的溫度分布圖像轉換成視頻圖像的設備。

熱像儀可通過識別行人、動物以及周圍環境發出的熱量，形成物體輪廓圖像，進而幫助司機發現行駛過程中的危險。

目前自動駕駛感知的局限性

目前自動駕駛感知一般都用激光雷達(LiDAR)、雷達和攝像頭等，這些傳感器的感知距離有限，而且對行人、動物等識別容易出現差錯，需要人類駕駛員隨時準備接管控制車輛，要實現3-5級的自動駕駛，車輛需要更大數量和更強功能的傳感器。

雷達傳感器可以檢測遠處的物體，但卻無法識別該物體。攝像頭可以很有效地確定物體是什么，但僅能在較近的范圍內起作用，而且在夜間等感光能力差的時候，容易出現誤識別（比如Uber事件）。雷達傳感器和攝像頭融合方案，可以為自動駕駛車輛提供更完整的檢測和覆蓋范圍，但仍需有強大的冗余備份。

目前的傳感技術都存在感知問題。CMOS攝像頭、雷達和LiDAR無法在動態照明或惡劣天氣條件下發揮作用。（來源：面包板社區）

在ADAS環境中，感應熱紅外輻射或熱量的能力為現有傳感器技術提供了互補和獨特的優勢。當前的自動駕駛和自動駕駛解決方案使用各種傳感器來收集汽車周圍環境的信息，但它們都有缺點，在與熱成像結合使用時解決。作為目前汽車行業唯一的汽車級無源紅外傳感器，FLIR傳感器應用于眾多車輛，包括通用汽車，標致，梅賽德斯，奧迪和寶馬制造的車輛，以及售后系統。可以檢測行人，動物和其他車輛，熱傳感器的最大距離可達到傳統前燈照明的四倍。熱成像有助于駕駛員和未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰性的環境中看得更遠。

FIR技術方案

據面包板社區介紹，FIR熱攝像頭使用遠紅外光波來檢測物體自然發出的熱量（熱輻射）的差異，并將該數據轉換成圖像，可以掃描可見光以上的紅外光譜，因此可以檢測到一般攝像頭/雷達/LiDAR無法察覺的物體。帶有FIR的VGA熱傳感器對于高對比度成像具有0.05攝氏度的靈敏度，可以檢測到200米距離遠的行人。FIR傳感器將能夠以30或60fps的速度跟蹤行人，并檢測前方道路。

FIR傳感器產生新的信息，可提高分割能力，并提供對車輛周圍環境的準確分析

除了捕獲物體或材料的溫度之外，FIR攝像頭還可以捕獲物體的發射率——它是如何有效地散發熱量的。由于每個物體具有不同的發射率，因此FIR攝像頭可以感測其路徑中的任何物體。有了這些信息，攝像頭就可以創建一個可以獨立并安全運行的道路視覺圖畫。

在低光靈敏度下幾種最先進的攝像頭對比，采用FIR方案的Viper可以檢測到其他傳感技術無法檢測到的物體

憑借這項先進的技術，FIR攝像頭可以克服復雜的天氣和照明條件帶來的障礙，而這是目前其他傳感技術無法克服的。

開源熱數據集

這是首款包含汽車，其他車輛，人員，自行車和狗的注釋的熱數據集，它能夠使開發人員使用FLIR汽車開發套件（ADKTM）開始測試并優化卷積神經網絡（CNN）算法。當它與普通可見光攝像機，激光雷達和雷達相結合時，熱傳感器數據與機器學習相結合，有助于創建更全面和冗余的系統，用于識別和分類道路物體，尤其是行人和其他生物。

“這個免費的開源數據集，它為汽車界提供了一個重要的機會，使ADAS和自動駕駛汽車在各種條件下更具魯棒性。”FLIR業務總裁說。“此外，最近引人注目的自動駕駛相關事故，顯示出對經濟實惠的智能熱傳感器的明確需求。憑借數百萬自動駕駛汽車的潛力，FLIR熱傳感器成本將大幅降低，這將鼓勵大規模采用并最終實現更安全的自動駕駛汽車。”

該數據集包括日間和夜間場景，包含汽車和其他車輛以及人員，自行車和狗的注釋。圖像可用于訓練卷積神經網絡（CNN）來識別這些對象。FLIR表示，將熱圖像與激光雷達，雷達和可見光相機相結合可以創建更強大的算法，能夠更輕松地識別物體 ——特別是人和動物。

車道線清晰，在夜間具有挑戰性的照明條件下，ADK與可見相機的對比

最新的FLIR ADK與NVIDIA DRIVE汽車平臺的開發者生態系統兼容。ADK采用高分辨率FLIR Boson，配備Intel?Movidius?Myriad?2視覺處理單元，是FLIR唯一的熱像儀模塊，采用先進的低功耗多核視覺處理器，結構緊湊，堅固耐用汽車使用所需的包裝。

隨著世界向自動駕駛汽車邁進，這種熱傳感器的應用可能將有助于汽車行業將自動駕駛汽車所需的可靠性和冗余性。