0.這篇文章干了啥？

這篇文章介紹了一種名為F-UAV-D的嵌入式系統(tǒng)，旨在利用事件到幀輸入來檢測(cè)無人機(jī)。文章首先介紹了無人機(jī)在各種領(lǐng)域中的應(yīng)用，并指出了對(duì)于保護(hù)隱私和安全，對(duì)無人機(jī)進(jìn)行預(yù)防和檢測(cè)至關(guān)重要的重要性。然后，文章討論了目前用于無人機(jī)檢測(cè)的兩種主要方法：主動(dòng)掃描和被動(dòng)掃描。接著，文章介紹了動(dòng)態(tài)視覺傳感器（DVS）作為一種替代方案，其利用時(shí)間戳像素級(jí)亮度變化，適應(yīng)于低延遲的對(duì)象檢測(cè)。隨后，文章提出了F-UAV-D系統(tǒng)，它利用DVS作為實(shí)時(shí)低功耗配置中的RGB攝像頭的替代方案，并展示了該系統(tǒng)的性能優(yōu)勢(shì)。最后，文章總結(jié)了實(shí)驗(yàn)結(jié)果，并提出了未來工作的計(jì)劃，包括擴(kuò)展數(shù)據(jù)集、深入研究提出的設(shè)置以及嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

下面一起來閱讀一下這項(xiàng)工作~

1. 論文信息

論文題目：Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors

作者：Jakub Mandula, Jonas K¨uhne等

作者機(jī)構(gòu)：瑞士蘇黎世聯(lián)邦理工學(xué)院

論文鏈接：https://arxiv.org/pdf/2403.11875.pdf

2. 摘要

無人機(jī)(Unmanned Aerial Vehicles, UAVs)在民用和軍事應(yīng)用中越來越受歡迎。然而，對(duì)受限區(qū)域的未經(jīng)控制的訪問威脅到隱私和安全。因此，預(yù)防和檢測(cè)無人機(jī)對(duì)于保證機(jī)密性和安全至關(guān)重要。盡管主要基于雷達(dá)的主動(dòng)掃描是最精確的技術(shù)之一，但它可能比被動(dòng)檢查，例如對(duì)象識(shí)別，更昂貴且不太靈活。動(dòng)態(tài)視覺傳感器(Dynamic Vision Sensors, DVS)是一種受生物啟發(fā)的基于事件的視覺模型，利用了快速移動(dòng)場(chǎng)景中的時(shí)間戳像素級(jí)亮度變化，很好地適應(yīng)于低延遲目標(biāo)檢測(cè)。本文提出了一種名為F-UAV-D (Fast Unmanned Aerial Vehicle Detector)的嵌入式系統(tǒng)，可實(shí)現(xiàn)快速移動(dòng)無人機(jī)的檢測(cè)。具體而言，我們提出了一種利用DVS作為RGB攝像頭的替代方案的設(shè)置，實(shí)現(xiàn)實(shí)時(shí)和低功耗配置。我們的方法利用了DVS的高動(dòng)態(tài)范圍(HDR)和背景抑制，在訓(xùn)練了各種快速移動(dòng)無人機(jī)后，在低照度和快速移動(dòng)場(chǎng)景等次優(yōu)環(huán)境中優(yōu)于RGB輸入。我們的結(jié)果顯示，F(xiàn)-UAV-D可以(i)平均使用<15W的功率檢測(cè)無人機(jī)，并且(ii)通過利用邊緣計(jì)算機(jī)的CPU和GPU節(jié)點(diǎn)進(jìn)行實(shí)時(shí)推理(即<50ms)。

3. 效果展示

RGB和事件到幀重疊的示例。

AprilTag 網(wǎng)格在 RGB 和事件到幀視圖中的示例。

4. 主要貢獻(xiàn)

設(shè)計(jì)和開發(fā)用于能效高和低延遲無人機(jī)檢測(cè)的嵌入式系統(tǒng)

數(shù)據(jù)集收集和地面真實(shí)創(chuàng)建，用于機(jī)器學(xué)習(xí)訓(xùn)練和評(píng)估

在邊緣不同批大小的YOLOv8的功耗消耗的實(shí)證評(píng)估。

5. 基本原理是啥？

這篇文章的基本原理是利用事件驅(qū)動(dòng)的視覺傳感器（DVS）和傳統(tǒng)的RGB攝像頭相結(jié)合，實(shí)現(xiàn)在邊緣設(shè)備上實(shí)時(shí)檢測(cè)快速移動(dòng)的無人機(jī)。傳統(tǒng)的RGB攝像頭每隔一定時(shí)間（幀率）返回一幀圖像，而DVS則在感知到亮度變化時(shí)立即生成事件，每個(gè)事件包含有關(guān)一個(gè)像素的信息（受到亮度變化影響的像素）以及時(shí)間戳和亮度變化的極性。

文章介紹了構(gòu)建系統(tǒng)所使用的硬件和軟件設(shè)置。硬件方面，系統(tǒng)基于商用DVS攝像頭、CMOS RGB陣列傳感器和低功耗計(jì)算節(jié)點(diǎn)構(gòu)建。軟件方面，系統(tǒng)基于實(shí)時(shí)目標(biāo)檢測(cè)算法和事件到幀轉(zhuǎn)換的組合。事件到幀轉(zhuǎn)換是一個(gè)關(guān)鍵步驟，將DVS生成的事件流轉(zhuǎn)換為傳統(tǒng)計(jì)算機(jī)視覺算法所需的幀格式。為了實(shí)現(xiàn)這一轉(zhuǎn)換，事件被累積到一個(gè)2D矩陣中，生成人工幀，其中正亮度變化的事件生成白色，負(fù)亮度變化的事件生成藍(lán)色。

在數(shù)據(jù)收集方面，文章介紹了創(chuàng)建一個(gè)包含不同無人機(jī)的公開可用數(shù)據(jù)集的過程。為了標(biāo)記數(shù)據(jù)集，作者使用了YOLO檢測(cè)器對(duì)傳統(tǒng)攝像頭幀進(jìn)行標(biāo)記，并將標(biāo)簽轉(zhuǎn)換為事件相機(jī)幀以用作先驗(yàn)。

最后，文章通過對(duì)系統(tǒng)性能的定量和定性分析，展示了系統(tǒng)在實(shí)時(shí)檢測(cè)無人機(jī)方面的可行性。文章還提出了一個(gè)研究問題，即不同批次大小對(duì)功耗和推斷延遲的影響，為未來的研究提供了方向。

6. 實(shí)驗(yàn)結(jié)果

本文旨在評(píng)估所提出的基于事件的計(jì)算機(jī)視覺算法在低端計(jì)算系統(tǒng)上實(shí)時(shí)檢測(cè)快速移動(dòng)的無人機(jī)的性能。以下是實(shí)驗(yàn)的關(guān)鍵內(nèi)容：

數(shù)據(jù)集收集和標(biāo)記：使用硬件收集數(shù)據(jù)集，并使用Label Studio進(jìn)行標(biāo)記，標(biāo)記人員可以在RGB和DVS輸入同步的情況下檢查兩者之一以進(jìn)行視覺確認(rèn)。

事件到幀轉(zhuǎn)換：DVS生成對(duì)亮度變化的響應(yīng)的事件流，但傳統(tǒng)計(jì)算機(jī)視覺算法支持幀作為輸入。因此，需要將事件流累積以生成人工幀，以便適應(yīng)傳統(tǒng)計(jì)算機(jī)視覺算法。作者采用了一種簡(jiǎn)單的累積過程，將事件聚合成為2色幀，其中白色代表正事件，藍(lán)色代表負(fù)事件。

攝像頭同步和校準(zhǔn)：應(yīng)用圖像變換來對(duì)齊RGB和事件到幀的視角，以便手動(dòng)標(biāo)記無人機(jī)，并在RGB空間運(yùn)行檢測(cè)器并將標(biāo)簽傳輸?shù)绞录臻g。

數(shù)據(jù)集標(biāo)簽：使用自動(dòng)生成的標(biāo)簽候選項(xiàng)，在Label Studio中繪制圍繞目標(biāo)的邊界框，以創(chuàng)建YOLO訓(xùn)練所需的地面真實(shí)數(shù)據(jù)集。

YOLOv5訓(xùn)練：采用YOLOv5-nano算法，將其調(diào)整為接受與事件到幀累積相對(duì)應(yīng)的二維、2通道矩陣，并使用默認(rèn)的訓(xùn)練代理和參數(shù)進(jìn)行訓(xùn)練。

功耗測(cè)量：使用Keysight N6705C DC功率分析儀測(cè)量F-UAV-D在推斷期間的總功耗，發(fā)現(xiàn)批次大小為4時(shí)功耗最低，每幀需求約為146mJ。

7. 總結(jié) & 未來工作

在本文中，我們介紹了F-UAV-D，這是一個(gè)由硬件和軟件組件組成的嵌入式系統(tǒng)，可實(shí)現(xiàn)使用事件到幀輸入來檢測(cè)無人機(jī)。我們展示了一個(gè)硬件設(shè)置，包括傳統(tǒng)的RGB攝像頭、新穎的DVS傳感器和低功耗嵌入式系統(tǒng)。我們展示了如何使用現(xiàn)有的機(jī)器學(xué)習(xí)工具如YOLO來自動(dòng)化創(chuàng)建新的事件攝像頭數(shù)據(jù)集的標(biāo)記過程。此外，我們公開提供了我們的數(shù)據(jù)集，其中包括27分鐘的靜止和快速移動(dòng)無人機(jī)錄像（即49,000幀）。我們通過測(cè)量功耗和延遲初步驗(yàn)證了上述數(shù)據(jù)集。所測(cè)得的性能（即0.53 mAP）顯示出了實(shí)時(shí)推斷的現(xiàn)場(chǎng)可部署性，其每幀只需150mJ。我們計(jì)劃通過以下方式擴(kuò)展這項(xiàng)工作：（i）擴(kuò)展數(shù)據(jù)集（例如，包括更具挑戰(zhàn)性的條件）、（ii）對(duì)所提出的設(shè)置進(jìn)行更深入的研究（例如，包括RGB和DVS幀之間的同步和校準(zhǔn)過程的挑戰(zhàn)和限制）、（iii）嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。