中科院信工所/中山大學(xué)操曉春教授課題組，香港中文大學(xué)(深圳)吳保元教授課題組，騰訊AI Lab共同提出的一種基于先驗指導(dǎo)的對抗樣本初始化方法已被ECCV2022接收。對抗訓(xùn)練是抵御對抗樣本攻擊最有效的方法之一。標準的對抗訓(xùn)練往往使用多步的方法來生成對抗樣本，如PGD。然而，這需要花費大量時間來計算梯度。為了提高對抗訓(xùn)練的效率，快速對抗訓(xùn)練（FAT）應(yīng)運而生。但FAT往往存在災(zāi)難性遺忘的問題，例如在FAT中后段，訓(xùn)練模型在對抗攻擊下的魯棒準確率會突然急劇下降。針對這個問題，本文通過比較標準對抗訓(xùn)練與FAT的訓(xùn)練過程，發(fā)現(xiàn)導(dǎo)致FAT出現(xiàn)災(zāi)難性遺忘的原因是FAT中產(chǎn)生的對抗樣本（AEs）的攻擊成功率在訓(xùn)練中逐漸變低。作者通過提出一種基于先驗指導(dǎo)的（Prior-Guided）對抗樣本初始化方法來解決FAT中的災(zāi)難性遺忘的問題，從而提升FAT的效果。

1. 問題背景

傳統(tǒng)的對抗訓(xùn)練可以歸類為一個最小最大化優(yōu)化問題：

其中表示參數(shù)為的模型，為損失函數(shù)，表示在輸入空間上添加的對抗擾動，其大小可以被限制。從而多步的對抗攻擊方法可以被定義為：

其中表示在第次迭代時的擾動，表示攻擊步長，為將輸入影射到的投影。

盡管多步的對抗訓(xùn)練方法可以有效提高模型的魯棒性，但這往往需要大量時間和計算資源來生成訓(xùn)練中的對抗樣本。隨后，快速對抗訓(xùn)練通過單步快速梯度符號（FGSM）的方法被提出用以提升生成對抗樣本的效率：

其中是最大擾動強度。盡管基于FGSM的對抗訓(xùn)練方法起到了較好的加速效果，但是具有災(zāi)難性遺忘的問題，即在使用基于FGSM的方法對抗訓(xùn)練一段時間后，訓(xùn)練模型的魯棒性會迅速消失，無法抵御PGD所產(chǎn)生的對抗樣本的攻擊。Wong等人提出了在基于FGSM的對抗樣本生成中加入隨機初始化，即

其中表示隨機初始化，是一個高斯分布。而Andriushchenko等人的工作表明生成對抗樣本時添加隨機初始化并不能防止災(zāi)難性遺忘的發(fā)生。

2. 基本先驗指導(dǎo)的對抗初始化

2.1 審視災(zāi)難性遺忘

對抗訓(xùn)練的災(zāi)難性遺忘是指在快速對抗訓(xùn)練中后期模型的魯棒準確率突然降低到的現(xiàn)象，如下圖右所示

這種現(xiàn)象最先由Wong等人發(fā)現(xiàn)，隨后他們又發(fā)現(xiàn)使用FGSM生成對抗樣本時使用隨機初始化可以延緩災(zāi)難性遺忘發(fā)生的時間，但是隨著訓(xùn)練的進行，災(zāi)難性遺忘還是無法避免。

為了研究災(zāi)難性遺忘發(fā)生的原因，本文首先對基于PGD的標準對抗訓(xùn)練（SAT）以及基于FGSM的快速對抗訓(xùn)練（FAT）中途所生成的對抗樣本進行比較和研究。通過觀察上圖左，本文發(fā)現(xiàn)：（1）由標準的FGSM-AT與添加隨機初始化的FGSM-RS生成的對抗樣本的攻擊成功率（ASR）分別在第20個和第74個epoch降低到，從而導(dǎo)致了災(zāi)難性遺忘的發(fā)生。這預(yù)示著如果對抗訓(xùn)練途中生成的對抗樣本喪失了攻擊性，則模型的魯棒性會迅速降低；（2）通過比較FGSM-AT與FGSM-RS發(fā)現(xiàn)加入隨機初始化可以延緩災(zāi)難性遺忘的發(fā)生，但是無法避免；（3）PGD-2-AT中沒有發(fā)生災(zāi)難性遺忘。由于PGD-2-AT可以認為是帶有對抗初始化（adversarial initialization）的FSGM，因此對抗初始化可以提高所生成的對抗樣本的質(zhì)量，盡管進行對抗初始化需要額外的梯度計算。

2.2 基于先驗指導(dǎo)的對抗初始化

通過上述觀察，本文作者轉(zhuǎn)而思考如何有效的得到對抗初始化而不需要額外的計算開銷。作者提出可以使用訓(xùn)練過程中的歷史對抗擾動，來作為當前時刻的初始化。而這種歷史對抗擾動可以認為是不需要進行額外計算就能得到的先驗知識。本文探索了三種利用歷史對抗擾動的策略，即（1）先前batch生成的擾動；（2）先前epoch生成的擾動；（3）所有epoch產(chǎn)生的擾動的動量，分別命名為FGSM-BP，F(xiàn)GSM-EP和FGSM-MEP。

Prior From the Previous Batch (FGSM-BP):將上一個batch所生成的對抗擾動存儲下來作為當前batch生成對抗樣本時的初始化，公式如下：

其中代表第個batch所添加的對抗擾動。

Prior From the Previous Epoch (FGSM-EP):將上一個epoch所生成的對抗擾動存儲下來作為當前epoch生成對抗樣本時的初始化，公式如下：

其中代表第個epoch所添加的對抗擾動。

Prior From the Momentum of All Previous Epochs (FGSM-MEP):為了充分利用整個訓(xùn)練過程中的歷史對抗擾動信息，作者提出使用使用先前所有training epoch中所生成的擾動的動量來作為當前epoch生成對抗樣本時的初始化，公式如下：

2.3 Prior-guided Initialization based Regularization

本文還提出了一種基于先驗指導(dǎo)初始化的正則化方法來提升模型的魯棒性。給定先驗指導(dǎo)下的初始化，F(xiàn)GSM可以產(chǎn)生當前時刻的對抗擾動。不論是先驗指導(dǎo)下的初始化還是當前時刻的擾動都可以用來生成對抗樣本。因此迫使這兩種方式生成的對抗樣本具有相同的輸出結(jié)果有助于提升所學(xué)模型函數(shù)的光滑性。所提出的正則項可以加入到訓(xùn)練損失中去來更新模型參數(shù)，如下所示：

其中代表上述三種方法之一所生成的先驗指導(dǎo)的初始化，代表FGSM使用作為初始化所生成的對抗擾動，是一個常系數(shù)項。上述公式中第一項為對抗樣本上的交叉熵損失，第二項為與 d的輸出之差的距離。第二項的目的是使得學(xué)到的模型不僅對當前生成的對抗樣本魯棒，而且對歷史的對抗樣本也魯棒。這樣，所提出的正則項顯式的迫使模型函數(shù)在樣本周圍更加光滑，從而提升模型魯棒性。

2.4 理論分析

由于在非凸優(yōu)化問題中梯度的范數(shù)與收斂性有關(guān)，因此更小的對抗擾動的范數(shù)上界有助于對抗訓(xùn)練更快地收斂到局部最小值。本文給出了基于先驗指導(dǎo)初始化所生成的對抗擾動的范數(shù)上界，即，如下圖所示，這比FGSM-RS提出的更小。

3. 實驗

3.1 實驗設(shè)置

本文共使用ResNet-18，WideResNet34-10在CIFAR-10和CIFAR-100上，PreActResNet18在Tiny ImageNet上，以及ResNet-50在ImageNet上評估所提方法的有效性。

CIFAR-10結(jié)果

CIFAR-100結(jié)果

Tiny ImageNet結(jié)果

ImageNet結(jié)果

消融實驗

為了驗證所提出的基于經(jīng)驗指導(dǎo)的正則化方法的有效性，本文使用ResNet18在CIFAR-10上進行了消融實驗，結(jié)果如下。

4. 總結(jié)

在本文中，我們從初始化的角度研究了如何提高對抗樣本的質(zhì)量，并提出采用歷史生成的對抗擾動來初始化對抗樣本。它可以在沒有額外計算成本的情況下生成有效的對抗樣本。此外，我們還提出了一種簡單而有效的正則化方法提高模型的魯棒性，從而防止當前擾動與先驗引導(dǎo)的初始化偏差太大。正則化項利用歷史和當前的對抗性擾動來指導(dǎo)模型學(xué)習(xí)。廣泛的實驗評估表明，所提出的方法可以防止災(zāi)難性的過度擬合，并以較低的計算成本優(yōu)于最先進的FAT 方法。

審核編輯：郭婷