自動(dòng)駕駛汽車不僅會(huì)被「假路標(biāo)」誤導(dǎo)，開上反向車道，還會(huì)無視道路中間的障礙物，直到躲閃不及才能發(fā)現(xiàn)。最近密歇根大學(xué)、UIUC聯(lián)合百度提交的一項(xiàng)研究讓自動(dòng)駕駛技術(shù)又一次成為了人們關(guān)注的焦點(diǎn)。這一次，連性能最好的傳感器激光雷達(dá)（LiDAR）都被黑掉了，自動(dòng)駕駛汽車真的安全嗎？

用激光雷達(dá)進(jìn)行目標(biāo)檢測(cè)是目前自動(dòng)駕駛汽車用到的主流方法，這種傳感器精度高、成本高昂、技術(shù)門檻高。如果昂貴的價(jià)格能買來安全，那么也能顯示其價(jià)值。但最近，來自百度研究院、密歇根大學(xué)以及伊利諾伊大學(xué)香檳分校的研究者提出了一種可以「欺騙」激光雷達(dá)點(diǎn)云的對(duì)抗方法，對(duì)激光雷達(dá)的安全性提出了質(zhì)疑。

在深度學(xué)習(xí)中，為了檢測(cè)神經(jīng)網(wǎng)絡(luò)的魯棒性，研究者通常會(huì)用特定方法生成一些不容易識(shí)別或判斷的目標(biāo)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行攻擊，這些目標(biāo)被稱為「對(duì)抗樣本」。對(duì)抗樣本通常是精心設(shè)計(jì)的輸入，伴有小幅度的擾動(dòng)，目的是誘導(dǎo)神經(jīng)網(wǎng)絡(luò)做出錯(cuò)誤預(yù)測(cè)。

上述幾位研究者也制作了對(duì)抗樣本，不過這次是針對(duì)激光雷達(dá)的。他們提出的對(duì)抗方法名為 LiDAR-Adv，如果把用該方法生成的對(duì)抗樣本打印出來，會(huì)得到下圖這些奇形怪狀的物體。

為了進(jìn)行物理對(duì)照實(shí)驗(yàn)，他們還找來了普通箱子作為對(duì)照組。

對(duì)照組用到的箱子（確定不是 SF 的廣告？）

接下來，他們把這些對(duì)抗樣本和普通箱子分別放置在自動(dòng)駕駛車行進(jìn)路徑的中央和右側(cè)，觀察激光雷達(dá)的反應(yīng)。

將對(duì)抗樣本和箱子放在路徑中央

結(jié)果顯示，放在路徑中央時(shí)，配置激光雷達(dá)的汽車一直到逼近對(duì)抗樣本時(shí)才檢測(cè)出該目標(biāo)，相比之下，該汽車在距離較遠(yuǎn)時(shí)就檢測(cè)到了作為對(duì)照的普通箱子。

將對(duì)抗樣本和對(duì)照箱放在路徑右側(cè)。

將物體放在路徑右側(cè)時(shí)情況更為糟糕，激光雷達(dá)直接「無視」了對(duì)抗樣本。這讓我們對(duì)自動(dòng)駕駛汽車的安全性提出了很大的質(zhì)疑。

容易受攻擊的不止是神經(jīng)網(wǎng)絡(luò)

用對(duì)抗樣本「欺騙」自動(dòng)駕駛汽車的確不是什么新鮮事，如機(jī)器之心之前報(bào)道過的用「物理攻擊」方式欺騙特斯拉的自動(dòng)駕駛系統(tǒng)。在那項(xiàng)研究中，來自騰訊科恩實(shí)驗(yàn)室的研究人員在道路特定位置貼了幾個(gè)貼紙，就讓處在自動(dòng)駕駛模式的特斯拉汽車并入反向車道。該研究中的對(duì)抗樣本欺騙的是特斯拉 Model S 中的車道檢測(cè)系統(tǒng)，即其中的深度神經(jīng)網(wǎng)絡(luò)分類器。

深度神經(jīng)網(wǎng)絡(luò)（DNN）容易受到對(duì)抗樣本的攻擊，這一點(diǎn)已經(jīng)被許多研究所證明。為了證明這種攻擊在現(xiàn)實(shí)世界構(gòu)成威脅，一些研究提議生成能夠迷惑分類器識(shí)別停車標(biāo)志的實(shí)體貼紙或可打印貼圖，如上述的特斯拉對(duì)抗攻擊實(shí)驗(yàn)。但是，自動(dòng)駕駛系統(tǒng)并不僅僅是圖像分類器。為了獲得更清晰的感知影像，大多數(shù)自動(dòng)駕駛檢測(cè)系統(tǒng)配備有激光雷達(dá)或普通雷達(dá)（無線電探測(cè)與測(cè)距）設(shè)備，這些設(shè)備能夠借助于激光束直接探查周圍 3D 環(huán)境。這就提出了一個(gè)疑問：貼圖干擾是否會(huì)影響激光雷達(dá)掃描的點(diǎn)云？

為了回答這一問題，研究者提出了一種基于優(yōu)化的方法——LiDAR-Adv，以生成可以在各種場(chǎng)景下規(guī)避激光雷達(dá)檢測(cè)系統(tǒng)的對(duì)抗樣本，從而揭露激光雷達(dá)自動(dòng)駕駛檢測(cè)系統(tǒng)的潛在漏洞。

研究者首先使用一種基于黑盒進(jìn)化的算法展示了相關(guān)漏洞，接著使用基于梯度的方法 LiDAR-Adv 探索強(qiáng)大的對(duì)抗樣本造成的影響有多大。

為了評(píng)估 LiDAR-Adv 在現(xiàn)實(shí)世界中的影響，研究者對(duì)生成的對(duì)抗樣本進(jìn)行 3D 打印，并在百度阿波羅自動(dòng)駕駛平臺(tái)上測(cè)試它們。結(jié)果顯示，借助于 3D 感知和產(chǎn)品級(jí)多階段檢測(cè)器，他們能夠誤導(dǎo)自動(dòng)駕駛系統(tǒng)，實(shí)現(xiàn)不同的對(duì)抗目標(biāo)。

激光雷達(dá)工作原理

在分析研究者提出的對(duì)抗方法之前，我們先來了解一下激光雷達(dá)的工作原理。

如下圖 2 所示，激光雷達(dá)傳感器首先對(duì) 3D 環(huán)境進(jìn)行掃描，獲得場(chǎng)景的原始點(diǎn)云。接著，點(diǎn)云通過預(yù)處理饋入到檢測(cè)模型。最后，對(duì)檢測(cè)輸出進(jìn)行后處理，以預(yù)測(cè)檢測(cè)結(jié)果。

圖 2：激光雷達(dá)在 AV 上的檢測(cè)流程圖

構(gòu)建激光雷達(dá)對(duì)抗樣本的難點(diǎn)

基于激光雷達(dá)的檢測(cè)系統(tǒng)由多個(gè)不可微分步驟組成，而不是單個(gè)的端到端網(wǎng)絡(luò)，這種端到端網(wǎng)絡(luò)會(huì)極大地限制基于梯度的端到端攻擊的使用。

這些關(guān)鍵性障礙不僅令之前的圖像方法無效，而且在構(gòu)建對(duì)抗樣本時(shí)帶來如下一些新的挑戰(zhàn)：

1）基于激光雷達(dá)的檢測(cè)系統(tǒng)利用實(shí)體激光雷達(dá)設(shè)備將 3D 形狀映射到點(diǎn)云上，隨后點(diǎn)云饋入到機(jī)器學(xué)習(xí)檢測(cè)系統(tǒng)。所以，形狀擾動(dòng)（shape perturbation）如何影響掃描到的點(diǎn)云尚不清楚；2）激光雷達(dá)點(diǎn)云的預(yù)處理過程是不可微的，從而避免了對(duì)基于梯度的優(yōu)化器的不成熟使用；3）擾動(dòng)空間受到多方面的限制。

首先，研究者需要確保可以在現(xiàn)實(shí)世界重建擾動(dòng)目標(biāo)。其次，一個(gè)目標(biāo)的有效激光雷達(dá)掃描為點(diǎn)云的約束子集，使得擾動(dòng)空間比無任何約束的點(diǎn)云擾動(dòng)空間小得多。

LiDAR-Adv 對(duì)抗樣本構(gòu)建方法

如下圖 1 所示，研究者提出了 LiDAR-Adv 方法，生成針對(duì)現(xiàn)實(shí)世界激光雷達(dá)檢測(cè)系統(tǒng)的對(duì)抗樣本。

圖 1：LiDAR-Adv 概覽圖。圖上行顯示，基于激光雷達(dá)的檢測(cè)系統(tǒng)可以檢測(cè)到普通的箱子；圖下行顯示，LiDAR-Adv 生成的類似大小的對(duì)抗樣本無法被檢測(cè)到。

首先，研究者模擬了一個(gè)可微分的激光雷達(dá)渲染器，將 3D 目標(biāo)的擾動(dòng)與激光雷達(dá)掃描（或點(diǎn)云）連接起來。然后，他們利用可微分的 proxy 函數(shù)制作 3D 特征聚合。最后，他們?cè)O(shè)計(jì)不同的損失，確保生成的 3D 對(duì)抗樣本平滑。

此外，為了更好地展示 LiDAR-Adv 攻擊方法的靈活性，研究者在兩種不同的攻擊場(chǎng)景下對(duì)其進(jìn)行了評(píng)估：

1）隱藏目標(biāo)：合成一個(gè)不會(huì)被檢測(cè)器檢測(cè)到的「對(duì)抗樣本」；

2）改變標(biāo)簽：合成一個(gè)被檢測(cè)器識(shí)別為特定對(duì)抗目標(biāo)的「對(duì)抗樣本」。

研究者還對(duì)激光雷達(dá)與黑盒設(shè)置下的進(jìn)化算法做了對(duì)比。

方法概覽

在場(chǎng)景中給定一個(gè) 3D 樣本 S，如 background 中所述，并在激光雷達(dá)傳感器掃描該場(chǎng)景之后根據(jù) S 生成點(diǎn)云 X，所以 X = render（s, background）。在預(yù)處理過程中，點(diǎn)云 X 被切割并聚合生成 x，即 H × W × 8 特征向量。研究者將這一聚合過程稱為Φ: x = Φ(X)。然后，機(jī)器學(xué)習(xí)模型 M 將 2D 特征 x∈^RH×W×8 映射到 O = M(x)，其中 O ∈^RH×W×7。接著，研究者利用聚類過程Ψ對(duì) O 進(jìn)行后處理，以生成檢測(cè)到障礙的置信度 y_conf 和標(biāo)簽 y_label，所以 (y_conf , y_label) = Ψ(O)。一個(gè)對(duì)抗攻擊者意圖操控樣本 S，以實(shí)現(xiàn)對(duì)抗目標(biāo)。

研究者將對(duì)抗目標(biāo)分為兩類：

隱藏目標(biāo)：通過操控現(xiàn)有樣本 S 來隱藏 S；

改變標(biāo)簽：將檢測(cè)到的目標(biāo) S 的標(biāo)簽 y 改變?yōu)樘囟繕?biāo) y'。

在激光雷達(dá)檢測(cè)中實(shí)現(xiàn)上述對(duì)抗目標(biāo)并非易事，面臨以下三方面問題：

多階預(yù)處理/后處理；

操作約束；

操作空間有限。

針對(duì)上述問題，研究者設(shè)計(jì)了端到端攻擊管道。為了方便基于梯度的算法，研究者執(zhí)行了一個(gè)近似可微且模擬激光雷達(dá)功能性的渲染器 R，從而使一組預(yù)定義射線與包含頂點(diǎn) V 和傾斜點(diǎn) W 的 3D 目標(biāo)平面 (S) 產(chǎn)生交互。

預(yù)處理完成后，點(diǎn)云饋入到預(yù)處理函數(shù)Φ，以生成特征圖 x = Φ(X)。接著，特征圖 x 作為機(jī)器學(xué)習(xí)模型 M 的輸入，以獲得輸出度量 O = M(x)。整個(gè)過程可以表征為 F(S) = M(Φ(R(S)))。

注意，通過微分渲染器 R，整個(gè)過程 F(S) = M(Φ(R(S))) 又可微分為 w.r.t. S。通過這種方式，研究者可以操控 S，從而利用最終輸出 F(S) 運(yùn)行的目標(biāo)函數(shù)生成對(duì)抗 S_adv。

實(shí)驗(yàn)

在實(shí)驗(yàn)過程中，研究者實(shí)現(xiàn)了「隱藏樣本」的目標(biāo)，并通過基于進(jìn)化的黑盒算法揭露了激光雷達(dá)檢測(cè)系統(tǒng)存在的漏洞。然后，他們展示了白盒設(shè)置下 LiDAR-Adv 方法的定性和定量結(jié)果。此外，實(shí)驗(yàn)結(jié)果表明，LiDAR-Adv 方法還可以實(shí)現(xiàn)「改變標(biāo)簽」等其他一些對(duì)抗目標(biāo)。

由于點(diǎn)云在現(xiàn)實(shí)場(chǎng)景下是連續(xù)捕獲的，所以單個(gè)靜態(tài)幀中的攻擊可能在現(xiàn)實(shí)場(chǎng)景中的影響不大。所以在實(shí)驗(yàn)中，針對(duì)包含不同方向和位置的 victim 數(shù)據(jù)集，研究者生成了一個(gè)魯棒的通用對(duì)抗樣本。他們對(duì)這種通用對(duì)抗樣本進(jìn)行 3D 打印，并進(jìn)行真實(shí)駕駛實(shí)驗(yàn)，從而證明這些樣本的確對(duì)公路上行駛的自動(dòng)駕駛車輛構(gòu)成威脅。

圖 3：研究人員生成的不同尺寸對(duì)抗樣本，在多個(gè)激光雷達(dá)照射的情況下仍然可以保持不被檢測(cè)到。

表 1：不同設(shè)置下 LiDAR-Adv 方法和基于進(jìn)化方法的攻擊成功率對(duì)比。

為了確保 LiDAR-Adv 方法在各種物理?xiàng)l件下保持對(duì)抗效果，研究者通過一組物理變換（位置和方向）來進(jìn)行采樣和優(yōu)化。實(shí)驗(yàn)證明了生成的對(duì)抗樣本具有魯棒性，可以實(shí)現(xiàn)高成功率的隱蔽和攻擊。

表 2：在受控和不可見情形下，LiDAR-Adv 方法對(duì)于不同位置和方向上攻擊的成功率。

除此之外，研究者評(píng)估了 3D 打印生成的樣本在物理世界的效果。如下圖 5（a）所示，自動(dòng)駕駛系統(tǒng)在 36 個(gè)不同幀中并未檢測(cè)到對(duì)抗物體。如下圖 5（b）所示，系統(tǒng)在 18 個(gè)幀中的 12 個(gè)檢測(cè)到了正方體盒子。由于車速不同，總幀數(shù)也有不同。

圖 5：物理攻擊結(jié)果。LiDAR-Adv 方法的 3D 打印硬質(zhì)對(duì)抗物體未被基于激光雷達(dá)的汽車檢測(cè)系統(tǒng)檢測(cè)到。圖第 1 行顯示由激光雷達(dá)傳感器收集的點(diǎn)云數(shù)據(jù)，第 2 行顯示由儀表板處相機(jī)捕獲的相應(yīng)圖像。