谷歌大腦最近研究表明，任何機(jī)器學(xué)習(xí)分類(lèi)器都可能被欺騙，給出不正確的預(yù)測(cè)。在自動(dòng)語(yǔ)音識(shí)別（ASR）系統(tǒng)中，深度循環(huán)網(wǎng)絡(luò)已經(jīng)取得了一定的成功，但是許多人已經(jīng)證明，小的對(duì)抗干擾就可以欺騙深層神經(jīng)網(wǎng)絡(luò)。而目前關(guān)于欺騙 ASR 系統(tǒng)的工作主要集中在白盒攻擊上，Alzantot 等人證明利用遺傳算法的黑盒攻擊是可行的。

而在接下來(lái)為大家介紹的這篇加州大學(xué)伯克利分校機(jī)器學(xué)習(xí)團(tuán)隊(duì)的論文中，引入了一個(gè)新的黑盒攻擊領(lǐng)域，特別是在深層非線性的 ASR 系統(tǒng)中可以輸出任意長(zhǎng)度的轉(zhuǎn)換。作者提出了一種將遺傳算法和梯度估計(jì)結(jié)合的黑盒攻擊方法，使之可以產(chǎn)生比單獨(dú)算法更好的對(duì)抗樣本。

在研究中，通過(guò)改進(jìn)遺傳算法從而應(yīng)用于短語(yǔ)和句子中；將噪聲限制在高頻域上可以提高樣本的相似度；而當(dāng)對(duì)抗樣本已經(jīng)接近目標(biāo)時(shí)，梯度估計(jì)會(huì)比遺傳算法進(jìn)行更有效的權(quán)衡，為未來(lái)的研究打開(kāi)了新的大門(mén)。

以下為論文摘編：

對(duì)抗性攻擊介紹

因?yàn)樯窠?jīng)網(wǎng)絡(luò)具有的強(qiáng)表達(dá)能力，使得它們能夠很好地適應(yīng)于各種機(jī)器學(xué)習(xí)任務(wù)，但在超過(guò)多個(gè)網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)集上，它們?nèi)菀资艿綌硨?duì)攻擊的影響。這些攻擊通過(guò)對(duì)原始輸入增加小的擾動(dòng)就會(huì)使網(wǎng)絡(luò)對(duì)輸入產(chǎn)生錯(cuò)誤的分類(lèi)，而人類(lèi)的判斷卻不會(huì)受到這些擾動(dòng)的影響。

到目前為止，相比其他領(lǐng)域，如語(yǔ)音系統(tǒng)領(lǐng)域，為圖像輸入生成對(duì)抗樣本的工作已經(jīng)做了很多。而從個(gè)性化語(yǔ)音助手，如亞馬遜的 Alexa 和蘋(píng)果公司的 Siri ，到車(chē)載的語(yǔ)音指揮技術(shù)，這類(lèi)系統(tǒng)面臨的一個(gè)主要挑戰(zhàn)是正確判斷用戶正在說(shuō)什么和正確解釋這些話的意圖，深度學(xué)習(xí)幫助這些系統(tǒng)更好的理解用戶，然而存在一個(gè)潛在的問(wèn)題是針對(duì)系統(tǒng)進(jìn)行目標(biāo)對(duì)抗攻擊。

在自動(dòng)語(yǔ)音識(shí)別（ASR）系統(tǒng)中，深度循環(huán)網(wǎng)絡(luò)在語(yǔ)音轉(zhuǎn)錄的應(yīng)用已經(jīng)取得了令人印象深刻的進(jìn)步。許多人已經(jīng)證明，小的對(duì)抗干擾就可以欺騙深層神經(jīng)網(wǎng)絡(luò)，使其錯(cuò)誤地預(yù)測(cè)一個(gè)特定目標(biāo)。目前關(guān)于欺騙 ASR 系統(tǒng)的工作主要集中在白盒攻擊上，在這種攻擊中模型架構(gòu)和參數(shù)是已知的。

對(duì)抗性攻擊（Adversarial Attacks）：機(jī)器學(xué)習(xí)算法的輸入形式為數(shù)值型向量，通過(guò)設(shè)計(jì)一種特別的輸入以使模型輸出錯(cuò)誤的結(jié)果，這被稱(chēng)為對(duì)抗性攻擊。根據(jù)攻擊者對(duì)網(wǎng)絡(luò)的了解信息，有不同的執(zhí)行敵對(duì)攻擊的方法：

白盒攻擊：對(duì)模型和訓(xùn)練集完全了解；如果給定一個(gè)網(wǎng)絡(luò)的參數(shù)，白盒攻擊是最成功的，例如 Fast Grandient Sign Method 和 DeepFool；

黑盒攻擊：對(duì)模型不了解，對(duì)訓(xùn)練集不了解或了解很少；然而，攻擊者能夠訪問(wèn)網(wǎng)絡(luò)的所有參數(shù)，這在實(shí)踐中是不現(xiàn)實(shí)的。在黑盒設(shè)置中，當(dāng)攻擊者只能訪問(wèn)網(wǎng)絡(luò)的邏輯或輸出時(shí)，要始終如一地創(chuàng)建成功的敵對(duì)攻擊就很難了。在某些特殊黑盒設(shè)置中，如果攻擊者創(chuàng)建了一個(gè)模型，這個(gè)模型是目標(biāo)模型的一個(gè)近似或逼近模型，就可以重用白盒攻擊方法。即使攻擊可以轉(zhuǎn)移，在某些領(lǐng)域的網(wǎng)絡(luò)中也需要更多的技術(shù)來(lái)解決這個(gè)任務(wù)。

攻擊策略：

基于梯度的方法：FGSM 快速梯度法；

基于優(yōu)化的方法：使用精心設(shè)計(jì)的原始輸入來(lái)生成對(duì)抗樣本；

以往的研究

在先前的研究工作中，Cisse 等人開(kāi)發(fā)了一個(gè)通用攻擊框架，用于在包括圖像和音頻在內(nèi)的各種模型中工作。與圖像相比，音頻為模型了提供了一個(gè)更大的挑戰(zhàn)。雖然卷積神經(jīng)網(wǎng)絡(luò)可以直接作用于圖像的像素值，但 ASR 系統(tǒng) 通常需要對(duì)輸入音頻進(jìn)行大量預(yù)處理。

最常見(jiàn)的是梅爾-頻率轉(zhuǎn)換（ＭFC），本質(zhì)上是采樣音頻文件的傅里葉變換，將音頻轉(zhuǎn)換成一個(gè)顯示頻率隨時(shí)間變化的 spectogram，如下圖中的DeepSpeech 模型，使用 spectogram 作為初始輸入。當(dāng) Cisse 等人將他們的方法應(yīng)用到音頻樣本時(shí)，他們遇到了通過(guò)了 MFC 轉(zhuǎn)換層進(jìn)行反向傳播的路障。Carlini 和 Wagner 克服了這一挑戰(zhàn)，開(kāi)發(fā)了一種通過(guò) MFC 層傳遞漸變的方法。

他們將方法應(yīng)用到 Mozilla DeepSpeech 模型中（該模型是一個(gè)復(fù)雜、反復(fù)、字符級(jí)的網(wǎng)絡(luò)，解碼每秒 50 個(gè)字符的翻譯）。他們?nèi)〉昧肆钊擞∠笊羁痰慕Y(jié)果，生成超過(guò) 99.9% 的樣本，類(lèi)似于目標(biāo)攻擊的 100%，雖然這次攻擊的成功為白盒攻擊打開(kāi)了新大門(mén)，但在現(xiàn)實(shí)生活中，對(duì)手通常不知道模型架構(gòu)或參數(shù)。Alzantot 等人證明，針對(duì) ASR 系統(tǒng)的目標(biāo)攻擊是可能的，利用遺傳算法的方法，能夠迭代地將噪音應(yīng)用到音頻樣本中，這次攻擊是在語(yǔ)音命令分類(lèi)模型上進(jìn)行的，屬于輕量級(jí)的卷積模型，用于對(duì) 50 個(gè)不同的單詞短語(yǔ)進(jìn)行分類(lèi)。

本文研究

本文采用一種黑盒攻擊，并結(jié)合了遺傳算法與梯度估計(jì)的方法創(chuàng)建有針對(duì)性的對(duì)抗音頻來(lái)實(shí)現(xiàn)欺騙 ASR 系統(tǒng)。第一階段攻擊是由遺傳算法進(jìn)行的，這是一種無(wú)需計(jì)算梯度的優(yōu)化方法。對(duì)候選樣本總體進(jìn)行迭代，直到一個(gè)合適的樣本產(chǎn)生。為了限制過(guò)度的突變和多余的噪聲，我們用動(dòng)量突變更新改進(jìn)標(biāo)準(zhǔn)遺傳算法。

攻擊的第二階段使用了梯度估計(jì)，因?yàn)閱蝹€(gè)音頻點(diǎn)的梯度是估計(jì)的，因此當(dāng)敵對(duì)樣本接近目標(biāo)時(shí)，允許設(shè)置更精細(xì)的噪聲。這兩中方法的組合提供了在3000 次迭代之后實(shí)現(xiàn)了 94.6% 的音頻文件的相似性，89.25% 目標(biāo)攻擊相似性。在更復(fù)雜的深度語(yǔ)音系統(tǒng)上困難在于試圖將黑盒優(yōu)化應(yīng)用到一個(gè)深度分層、高度非線性的解碼器模型中。盡管如此，兩種不同方法和動(dòng)量突變的結(jié)合為這項(xiàng)任務(wù)帶來(lái)了新的成功。

數(shù)據(jù)與方法

數(shù)據(jù)集：攻擊的數(shù)據(jù)集從 Common Voice 測(cè)試集中獲取前 100 個(gè)音頻樣本。對(duì)于每一個(gè)，隨機(jī)生成一個(gè) 2 字的目標(biāo)短語(yǔ)并應(yīng)用我們的黑盒方法構(gòu)建第一個(gè)對(duì)抗樣本，每個(gè)數(shù)據(jù)集中的樣例是一個(gè) .wav 文件，可以很容易地反序列化成 numpy 數(shù)組，從而我們的算法直接作用于 numpy 數(shù)組避免了處理問(wèn)題的難度。

受害者模型：我們攻擊的模型是在 Mozilla 上開(kāi)源，Tensorflow 中實(shí)現(xiàn)的百度深度語(yǔ)音模型。盡管我們可以使用完整的模型，但是我們?nèi)詫⑵湟暈楹诤泄簦辉L問(wèn)模型的輸出邏輯。在執(zhí)行 MFC 轉(zhuǎn)換后，該模型由 3 層卷積組成，后面一個(gè)雙向 LSTM，最后是一個(gè)全連接層。

遺傳算法：如前所述，Alzantot 等人用標(biāo)準(zhǔn)的遺傳算法演示了黑盒對(duì)抗攻擊在語(yǔ)音到文本系統(tǒng)上的成功。帶有 CTC 損失的遺傳算法對(duì)于這種性質(zhì)的問(wèn)題很有效，因?yàn)樗耆?dú)立于模型的梯度。

梯度估計(jì)：當(dāng)目標(biāo)空間很大時(shí)，遺傳算法可以很好的工作，而相對(duì)較多的突變方向可能是有益的，這些算法的優(yōu)勢(shì)在于能夠有效地搜索大量空間。然而，當(dāng)解碼的距離和目標(biāo)解碼低于某個(gè)閾值時(shí)，需要切換到第二階段，這時(shí)候梯度評(píng)估技術(shù)更有效，對(duì)抗樣本已經(jīng)接近目標(biāo)，梯度估計(jì)會(huì)為更有信息的干擾做出權(quán)衡。梯度評(píng)估技術(shù)來(lái)源于 Nitin Bhagoji 在 2017 年的一篇研究圖像領(lǐng)域黑盒攻擊的論文。

結(jié)果與結(jié)論

評(píng)價(jià)標(biāo)準(zhǔn)：采用了兩種主要方式評(píng)估算法性能；一是精確敵對(duì)音頻樣本被解碼到所需目標(biāo)短語(yǔ)的準(zhǔn)確性；為此，我們使用 Levenshtein 距離或最小字符編輯距離。二是確定原始音頻樣本和敵對(duì)音頻樣本之間的相似性。

實(shí)驗(yàn)結(jié)果

在我們運(yùn)行算法的音頻樣本中，在使用 Levenshtein 距離的最終解碼短語(yǔ)和目標(biāo)之間取得了 89.25% 的相似性；最終敵對(duì)樣本和原始樣本相關(guān)性為 94.6%。在 3000 次迭代后，平均最終 Levenshtein 距離是 2.3，35% 的敵對(duì)樣本在不到 3000 次迭代情況下完成了精準(zhǔn)解碼，22% 的敵對(duì)樣本在不到 1000 迭代時(shí)間內(nèi)完成了精準(zhǔn)解碼。

本文提出的算法性能與表中數(shù)據(jù)結(jié)果有所不同，在幾個(gè)迭代中運(yùn)行算法可以產(chǎn)生更高的成功率，事實(shí)上，在成功率和相似率之間很明顯存在著權(quán)衡，這樣就可以通過(guò)調(diào)整閾值來(lái)滿足攻擊者的不同需要。

對(duì)比白盒攻擊、黑盒攻擊單個(gè)單詞（分類(lèi)）、以及我們所提出的方法：通過(guò)兩種波形的重疊，可以看出原始音頻樣本與對(duì)抗樣本之間的相似性，如下圖顯示出來(lái)的，35% 的攻擊是成功的強(qiáng)調(diào)了黑盒的事實(shí)，對(duì)抗攻擊的除了確定性同時(shí)也是非常有效的。

實(shí)驗(yàn)結(jié)論

我們?cè)诮Y(jié)合遺傳算法和梯度估計(jì)的過(guò)程中實(shí)現(xiàn)了黑盒對(duì)抗，它能產(chǎn)生比每個(gè)算法單獨(dú)產(chǎn)生的更好的樣本。

從最初使用遺傳算法使大多數(shù)音頻樣本的轉(zhuǎn)錄近乎完美，同時(shí)還保持高度的相似性。雖然這很大程度上還是一種概念性的驗(yàn)證，通過(guò)本文的研究展示了使用直接方法的黑盒模型可以實(shí)現(xiàn)針對(duì)性對(duì)抗攻擊。

此外，加入動(dòng)量突變和在高頻中加入噪聲，提高了我們的方法的有效性，強(qiáng)調(diào)了結(jié)合遺傳算法和梯度估計(jì)的優(yōu)點(diǎn)。將噪聲限制在高頻率域上，使我們的相似度得到提高。通過(guò)結(jié)合所有這些方法，能夠達(dá)到我們的最高結(jié)果。

綜上所述，我們引入了黑盒攻擊這個(gè)新的領(lǐng)域，結(jié)合現(xiàn)有的和新穎的方法，能夠展示我們方法的可行性，并為未來(lái)的研究打開(kāi)新的大門(mén)。