機器視覺的阿基里斯之踵，秘密都在谷歌Brain論文中

“從一些方面看，機器視覺比人類視覺更好。但是現在研究人員找到了一類能夠輕松‘愚弄’機器視覺的‘對抗性圖像’。“——來自arXiv的Emerging Technology。

現代科學最了不起的進步之一就是機器視覺的興起。最近幾年，新一代機器學習技術已經改變了計算機“看見”世界的方式。

現在，機器在人臉識別和物品識別方面已經超越了人類，并將改變無數基于視覺的任務，例如駕駛、安全監控等等。機器視覺現在簡直是超人。

但是有一個問題出現了。機器視覺研究人員已經注意到，這項新技術有一些讓人擔心的弱點。實際上，機器視覺算法有一個阿基里斯之踵，使它們被一些經過微擾的圖像捉弄，而這些圖像對于人類來說非常淺顯易見。

這些經過修改的圖像被稱為“對抗性圖像，成為一種重要的威脅。“在人臉識別領域，一個對抗性例子可能由臉部非常細微的標記構成，因此人會正確識別出圖像中的身份，而機器學習系統會將其識別為一個不同的人。”谷歌Brain的Alexey Kurakin、Samy Bengio以及非營利機構OpenAI的Ian Goodfellow說。

他們在論文中稱，這種對抗性攻擊除了能影響完全在計算機中運行的系統，例如逃避垃圾郵件過濾器或病毒軟件監測器，還能影響在物理世界中運行的系統，例如通過攝像頭及其他傳感器感知世界的機器人、視頻監控系統以及圖像和聲音分類的移動應用。

因為機器視覺還非常新，我們對于對抗性圖像還知之甚少。沒人知道如何最好地創造它們、如何用它們來愚弄機器視覺系統、或者如何預防此類攻擊。

現在，Kurakin及同事的研究開始改變這一現狀，他們對對抗性圖像首次展開了系統研究。他們的研究說明了機器視覺系統在此類攻擊之下多么脆弱。

團隊開始使用了一個機器視覺研究的標準數據庫，名叫 ImageNet。這個數據庫的圖像根據顯示的內容進行分類。一個標準測試是基于這個數據庫的一部分來訓練一個機器視覺算法，然后利用數據庫的另一個部分來測試算法能否良好進行分類。

測試表現的測量方法是統計算法中最高五項回答、甚至最高一項回答中正確分類的頻率（被稱為前五準確率和前一準確率），或者中前五項或一項中回答不正確的頻率（其前五錯誤率或者前一錯誤率）。

最好的機器視覺系統之一是谷歌的 Inception v3 算法，其前五錯誤率為3.46%。進行同樣任務的人類的前五錯誤率為大約5%，因此 Inception v3 確實具有超人般的能力。

Kurakin和同事通過3種不同的方式修改了50,000張 ImageNet 的圖像，從而創造了一個對抗性圖像的數據庫。他們的方法是基于這個概念：神經網絡處理信息，來將一個圖像與某個類別匹配起來。這項處理所需的信息量被稱為交叉熵，會體現出匹配任務的難度。

他們的第一個算法對圖像進行了一個小改變，試圖最大化這項交叉熵。他們的第二個算法只是將這個過程迭代，進一步改變圖像。

這兩項算法都改變了圖像，使其更難正確分類。“這些方法可以造成一些比較無聊的錯誤分類，例如將一種雪橇狗錯認為另一種雪橇狗。”

他們最終的算法有更聰明的方法。這種對圖像的改變讓機器視覺系統出現某種特定分類錯誤，更傾向于最不可能的類別。“最不可能的分類通常是與正確分類非常不同的，因此這項方法會造成更有趣的錯誤，例如將一只狗錯認為一架飛機。” Kurakin 及同事說。

然后，他們測試了谷歌 Inception v3 算法能否良好分類50,000個對抗性圖像。

這兩個簡單的算法大大降低了前五和前一精確度。但是他們最強大的算法——最不可能的分類法——將所有50,000個圖像的精確度迅速減少至零。（團隊未透露算法在指引錯誤分類方面是否成功。）

這意味著對抗性圖像是一個重要威脅，但是這種方法也有一種潛在的弱點。所有對抗性圖像都是直接輸入機器視覺系統的。

但是在真實世界中，圖像總是經過攝像頭系統的改變。如果這項過程中和了其效果，一個對抗性圖像算法就是無用的。因此，弄清楚算法如何應對真實世界的改變就非常重要。

為了測試，Kurakin 和同事講所有對抗性圖像和原始圖像打印出來，并手動用一個 Nexus 5 智能手機進行拍照。然后，再將這些經過轉變的對抗性圖像輸入機器視覺系統。

Kurakin 和同事說最不可能類別方法受到這些轉變的影響最大，不過其他方法的承受度都還可以。換句話說，對抗性圖像算法在真實世界中的確是一種威脅。“很大一部分用原創網絡制造的對抗性圖像被錯誤分類了，即便是通過攝像頭輸入分類器。”團隊稱。

這項研究非常有趣，對于機器視覺的阿基里斯之踵帶來了新的認識。并且未來還有很多研究要做。Kurakin 和同事希望針對其他類型的視覺系統開發對抗性圖像，使其更加高效。

這在計算機安全領域會引發討論。機器視覺系統現在比人類更能夠識別人臉，因此很自然我們會想到在更多的領域使用該技術，從解鎖智能手機和家門，到護照管控以及銀行賬號的身份信息。但是 Kurakin 和同事提出了輕松“愚弄”這些系統的可能性。

最近幾年，我們經常聽到機器視覺系統能有多好。現在，我們才發現他們還有蠢蠢的阿基里斯之踵。

在此，雷鋒網為大家分享來自谷歌Brain和 OpenAI 科學家、名為《物理世界中的對抗性例子》論文全文。

摘要

大部分現有的機器學習分類器都很容易受到對抗性例子的影響。一個對抗性例子是一個輸入數據樣本，經過了某種微擾，目的是使機器學習分類器錯誤分類。在很多情況下，這些微擾會非常微小，以至于人類觀察者可能根本不會留意到這些變化，而分類器仍然會犯錯。對抗性例子會引發安全顧慮，因為它們可以被用于攻擊機器學習系統，即便是對抗性不涉及底層模型。目前為止，所有之前的研究都假設了一個威脅模型，其中對抗性能將數據直接輸入機器學習分類器。然而對于在物理世界中運行的系統來說并不總是這樣的，例如那些使用攝像頭或其他傳感器的信號作為輸入的系統。這篇論文顯示了即便是在這樣的物理世界情景中，機器學習系統也會受到對抗性例子的影響。我們證明這一點的方法是，將從手機攝像頭中獲得的對抗性圖像輸入一個 ImageNet Inception 分類器，并測量系統的分類精度。我們發現，很大一部分對抗性例子被錯誤分類了，即便是從攝像頭中獲得的圖像。

1、簡介

最近機器學習和深度神經網絡方面的進展讓研究人員能夠解決多個重要的實際問題，例如圖像、視頻、文字分類及其他（Krizhevsky et al., 2012; Hinton et al., 2012; Bahdanau et al., 2015)。

但是，機器學習模型經常受到其系統輸入中對抗性操作的影響，目的是引發錯誤分類（Dalvi et al., 2004)。尤其是機器學習模型中的神經網絡等其他許多類別，特別容易受到基于測試時系統輸入中的小修改的攻擊影響（Biggio et al., 2013; Szegedy et al., 2014; Goodfellow et al., 2014; Papernot et al., 2016b)。

問題可以總結如下。假設有一個機器學習系統 M 和輸入樣本 C，我們稱其為干凈例子。假設樣本 C 中機器學習系統中正確分類，即：M(C) = y_true。我們可以打造一個對抗性例子 A，與 C 在感官上無法區分，但是被系統錯誤分類，即：M(A) ≠ y_true。這些對抗性例子比通過噪音改變的例子更頻繁地被錯誤分類，即便是噪音的廣度超過對抗性影響的廣度（Szegedy et al., 2014)。

對抗性例子對實用的機器學習應用造成潛在的安全威脅。其中，Szegedy et al. （2014）提出了一個特別設計為在模型 M₁ 中被錯誤分類的對抗性例子，經常也會被模型 M₂ 錯誤分類。這種對抗性例子的可轉移特點意味著我們可以生成對抗性例子，并且無需涉及底層模型就能對機器學習系統進行錯誤分類攻擊。Papernot et al. (2016a、b) 在現實情境中證明了此類攻擊。

但是，所有關于針對神經網絡的對抗性例子的先前研究利用了一個威脅模型，其中攻擊者直接向機器學習模型中提供輸入。這樣，對抗性攻擊依賴于輸入數據修改的良好調試。

這樣的威脅模型可以描述一些情景，其中攻擊完全在計算機中發生，例如作為逃避垃圾郵件過濾器或者病毒軟件監測 (Biggio et al., 2013; Nelson et al.)。但是，實踐中許多的機器學習系統在物理環境中運行。可能的例子包括但不限于：通過攝像頭及其他傳感器感知世界的機器人、視頻監控系統以及圖像和聲音分類的移動應用。在這類情境中，對抗性不能依賴于輸入數據中基于像素的良好調整。因而產生了以下問題：是否還有可能打造對抗性例子，對在物理世界里運行的機器學習系統進行對抗性攻擊，并通過各種傳感器而非數字化表征來感知數據？

一些早先的研究已經探索了機器學習系統的物理攻擊問題，但不是通過在輸入中制造微小的干擾來愚弄神經網絡。例如，Carlini et al. (2016) 顯示了一個攻擊創造出的聲音輸入，移動手機識別其為包含有意義的語音指令，而人類聽起來是無意義的一句話。基于照片的面部識別系統很容易受到回放攻擊的影響，其中給攝像頭呈現一個授權用戶之前抓取的面部圖像，而非一個真實的人臉（Smith et al., 2015)。原則上，對抗性例子可以應用于任一個物理領域中。語音命令領域中的一個對抗性例子會包括一個對于人類來說看起來無害的錄音（例如一首歌），但是其中包含機器學習算法會識別出的語音指令。一個面部識別領域的對抗性例子可能包括面部非常微妙的改動，因此一個人類觀察者會正確識別出他們的身份，但是機器學習系統會將他們認作一個不同的人。

這篇論文中，我們探索在物理世界中針對圖像分類任務創造對抗性例子的可能性。為了這個目的，我們用一個預先訓練的 ImageNet Inception 分類器進行了一個實驗（Szegedy et al., 2015)。我們為這個模型生成了對抗性例子，然后將這些例子通過一個手機攝像頭輸入分類器，并測量分類精度。這個情景是一個簡單的物理世界系統，通過一個攝像頭感知數據，然后運行圖像分類器。我們發現，很大一部分從原始模型中生成的對抗性例子即便是通過攝像頭感知，仍然被錯誤分類。

出人意料的是，我們的攻擊方法不需要針對攝像頭的出現做出任何修改——這是使用對抗性例子、為 Inception 模型打造的最簡單的攻擊，其帶來的對抗性例子成功轉移到了攝像頭與 Inception 模型的結合中。因此，我們的結果給出了較低的攻擊成功率，可以通過更有針對性的攻擊實現，在打造對抗性例子的時候明顯地模擬攝像頭。

我們的結果的限制是，我們假設了一個威脅模型，其中攻擊者完全了解模型架構和參數值。這基本上是因為我們可以在所有實驗中使用一個單一的 Inception v3 模型，而不需要設置和訓練不同的高效模型。對抗性例子的轉移特性意味著，當攻擊者不了解模型描述的時候，我們的結果可能微弱地延展到情景中（Szegedy et al., 2014; Goodfellow et al., 2014; Papernot et al., 2016b)。

為了更好理解攝像頭引起的重要圖像轉變如何影響對抗性例子的轉移性，我們進行了一系列額外的實驗，研究了對抗性例子如何在若干個具體類型的圖像轉換合成中轉移。

論文剩余的部分將如此安排：在第2部分，我們回顧用于生成對抗性例子的不同方法。接下來第3部分將詳細討論我們的“物理世界”實驗設置和結果。最后，第4部分描述使用了各種人工圖像轉換（例如改變亮度、對比度等）的實驗，以及它們如何影響對抗性例子。

2、生成對抗性圖像的方法

這個部分描述我們在實驗中使用的不同的生成對抗性圖像的方法。值得注意的是，沒有任何一個描述中的方法保證生成的圖像會被錯誤分類。然而，我們將所有生成的圖像稱為“對抗性圖像”。

在論文的剩余部分我們將使用以下標記：

X - 一個圖像，通常是3D張量（長 x 寬 x 高）。在這篇論文中，我們假設像素值是在［0，255］之間的整數。

y_{true -} 圖像 X 的真實類別。

J(X,y) - 基于圖像 X 和類別 y，神經網絡的交叉熵成本函數。我們在成本函數中有意忽視神經網絡權重（及其他參數) θ，因為我們假設在論文的條件中它們是固定的（固定為訓練機器學習模型所帶來的值）。針對帶有softmax輸出層的神經網絡，應用于整數類標簽的交叉熵成本函數，等于真實類別的負對數概率：J (X, y) = - log p (y | X)，這個關系會在下面用到。

Clip X，∈｛ X’ ｝ － 運行圖像 X’ 的逐像素剪輯的函數，因此結果會在 L∞ ε- 原圖像 X 周邊。詳細的裁剪方程如下：

其中 X (x, y, z) 是圖像 X 在坐標（x, y) 時 z 軸的值。

2.1 快速方法

生成對抗性圖像的最簡單的方法之一是如 Goodfellow et al.(2014)描述，目標是成本函數的線性化以及解決最大化L∞ 約束的成本。這可以閉合實現，只需要調用一次反向傳播：

其中 ε 是一個有待選擇的超參數。

這篇論文中，我們將這個方法稱為“快速方法”，因為它不需要一個迭代過程來計算對抗性例子，這樣比其他考慮的方法更快。

2.2 基本迭代方法

我們引入了一個直接的方式來延伸“快速”方法——我們用小步長將其應用多次，并在每一步之后剪切中間結果的像素值，來確保它們在原始圖像的 ε -周邊之內：

在我們的實驗中，我們使用 α ＝ 1，也就是說，我們將每一個像素的值每一步只改變1。我們選擇迭代次數最少為（ε ＋ 4，1.25 ε）。這個迭代次數是以啟發式方法選擇的；這足夠讓對抗性例子到達 ε 最大范數，同時有足夠的限制，讓實驗的計算成本值控制范圍內。

以下我們將這個方法稱為“基本迭代”方法。

2.3 迭代最不可能類別方法

我們目前描述過的兩種方法只是試圖增加正確類型的成本，而不說明模型應該選擇哪一種不正確的類別。這樣的方法對于數據庫應用來說足夠了，例如 MNIST 和 CIFAR - 10，其中類型的數量少，而且所有類型之間的差別很大。在 ImageNet，類型數量多得多，而且不同類別之間的差別度各異，這些方法可能造成比較無趣的錯誤分類，例如將一種雪橇狗錯認為另一種雪橇狗。為了制造更有趣的錯誤分類，我們引入了迭代最不可能類別方法。這種迭代方法試圖制造的對抗性圖像會根據預期被分類為特定的目標類別。至于期望類別，我們使用基于圖像 X 訓練而訓練的神經網絡來預測，選擇最不可能的類別：

對于一個訓練良好的分類器來說，最不可能的類別通常是與真實類別高度不同的，因此這項攻擊方法會造成更加有趣的錯誤，例如將一只狗錯誤識別為一架飛機。

要制造一個被分類為 y_LL 的對抗性圖像，我們在該方向進行迭代步驟：

將 log p(yll | X) 最大化。最后的一個方程對于帶有交叉熵損失的神經網絡來說等于：。

這樣，我們就有了以下的步驟：

對于這個迭代過程，我們與基本迭代方法使用同樣的 α 和同樣的迭代次數。

下面我們將此方法稱為“最不可能類別”方法，或者簡稱“l.l. 類別”。

2.4 生成對抗性例子的方法比較

正如上面所提，對抗性圖像不能保證一定會被錯誤分類——有時候攻擊者獲勝，有時候機器學習模型勝利。我們做了對抗性方法的實驗比較，來理解生成圖像實際的分類精度，以及每一種方法所利用的微擾類型。

實驗使用了從 ImageNet 數據庫（Rusakovsky et al., 2014）中而來的共50,000個驗證圖像，使用一個預先訓練的 Inception 3 分類器（Szegedy et al., 2015)。對于每一個驗證圖像，我們使用不同的方法和不同的 ε 值。對于每一組方法和 ε，我們在所有50,000個圖像上計算分類精度。另外，我們在所有干凈圖像上計算精度，用作基準。

圖表 1 和 2 中展示了生成的對抗性圖像例子。干凈圖像和對抗圖像的前一和前五分類精度總結在圖表3中。

如圖表3中所示，快速方法即便是使用 ε 的最小值，也將前一精度降低了二分之一，將前五精度減少了大約40%，隨著我們增加 ε 值，快速方法所生成的對抗性圖像的精度保持不變，直到 ε ＝ 32，然后隨著 ε 增加到 128 緩慢降低到近似于 0。這可以解釋為：快速方法對每一個圖像增加 ε 倍的噪音，因此更高的 ε 值實際上毀壞了圖像內容，即便是人類也無法識別，見圖 1。

迭代方法利用了很多更良好的微擾，即便是在更高 ε 值的情況下也不毀壞圖像，見圖 2。

基本迭代方法能夠在 ε < 48 時生成更好的對抗性圖像，然而當我們提升 ε 值，它無法提升。

“最不可能類型”方法即便是在 ε 相對較小時，也會毀壞大部分圖像的正確分類。

圖1: 比較使用“快速”方法進行抵抗性微擾而來的圖像。頂部圖像是一個“膝墊”而底部圖像是“垃圾車”。在兩種情況中，干凈圖像都被正確分類了，而對抗性圖像在所有考慮的 ε 值中都錯誤分類了。

圖2: 用 ε ＝ 32，比較不同的對抗性方法。迭代方法生成的微擾比快速方法生成的更好。另外，迭代方法不會總是選擇 ε－周邊邊界上的點作為對抗性圖像。

圖3: 在不通對抗性方法的攻擊下，Inception v3 的前一和前五精度，以及與“干凈圖像”——數據庫中未經修改的圖像——相比，不同的 ε 值。精度是使用 ImageNet 數據庫中共 50,000 個驗證圖像計算而出。在這些實驗中，ε 值的范圍是 2 到 128。

圖4: 實驗設置：（a) 生成的打印，包含干凈圖像與對抗性圖像組，以及一個二維碼來幫助自動剪切；（b）手機攝像頭制作的打印照片；(c) 從照片中自動剪切的圖像。

我們將所有接下來的實驗進一步限制為 ε ≤ 16，因為這樣的微調即便是被識別到，也只會被認為是小噪音，而對抗性方法可以在干凈圖像的 ε-周邊之內，生成足夠數量的錯誤分類例子。

3. 對抗性例子的圖像

3.1 對抗性圖像的毀壞率

為了研究對抗性圖像強制轉換的影響，我們引入了毀壞率的概念。它可以描述為對抗性圖像中，經過轉化后不再會錯誤分類的比例。公式化定義如下方程（1）：

其中 n 是用于計算毀壞率的圖像個數，X^k 是一個數據庫中的圖像，是這個圖像的真實類別，是對應的對抗性圖像。函數 T(*) 是一個強制性圖像轉換——這篇論文中，我們研究各種轉換，包括打印圖像和對結果進行拍照。函數 C (X, y) 是一個指示函數，返回圖像是否正確分類：

我們將這個指示值的二進制否定標記為，計算方式是＝ 1 － C ( X, y )。

3.2 實驗設置

為了探索物理對抗性例子的可能性，我們用對抗性例子的圖片進行了一系列實驗。我們打印了干凈圖片和對抗性圖片，為打印的頁面拍了照片，并從完整頁面中將打印圖片剪切了出來。我們可以認為這是一個黑盒轉化，我們稱為“照片轉化”。

我們用干凈圖像和對抗性圖像，分別在照片轉化之前及之后計算精度，并計算由于照片轉化而來的對抗性圖像的毀壞率。

實驗過程如下：

1、打印圖像，如圖4a。為了減少手工工作量，我們在每張紙上打印了多組干凈和對抗性例子。另外，打印的邊角還放置了二維碼來幫助自動剪切。

所有打印的生成圖像（圖4a）保存為無損 PNG 格式。

一批批 PNG 打印使用 ImageMagick 套裝里的默認設定：convert * .png output.pdf 轉化為多頁 PDF 文檔。

生成出來的 PDF 文檔使用一個 Ricoh MP C5503 辦公室打印機來打印。PDF 文檔的每一頁都使用默認打印機大小調整來自動調整大小，來適合整張紙。打印機像素設置為 600dpi。

2、使用手機（Nexus 5x）來對打印的圖像拍照，見圖4b。

3、自動剪切和包裹圖片中的驗證例子，這樣它們會變成與原圖像同樣大小的正方形，見圖4c：

（a）監測照片四角上的四個二維碼的位置和值。二維碼包涵了圖片中顯示的驗證例子的批次信息。如果沒能成功監測到任何一個邊角，整個圖像都會被放棄，照片中的圖像就不會用來計算精度。我們觀察到，任何實驗中，所有圖像中不超過10%的圖像被放棄，通常被放棄的圖像大約為3%到6%。

（b）使用透視轉換來包裹圖像，從而將二維碼的位置移入預先定義的坐標。

（c）圖像包裹后，每一個例子都有了已知的坐標，能夠很容易從圖像中剪切出來。

4、在轉化圖像和原圖像上運行分類。計算對抗性圖像的精度和毀壞率。

這個過程包括了將打印頁面進行手動拍照，不需要仔細控制燈光、攝像機角度和到頁面的距離等因素。這是故意的；這引入了細微的變化，有可能會毀壞對抗性微擾，因為它依賴細微的、良好適應的精確像素值。不過，我們沒有故意使用極端的攝像機角度或者燈光情況。所有照片都是在正常的室內照明、以大致正對頁面的攝像機拍攝的。

對每一組對抗性例子生成方法以及 ε，我們進行兩組實驗：

平均情況：

    為測量平均情況表現，我們在一個實驗中隨機選擇了102個圖像，用一個既定 ε 和對抗性方法。這個實驗估測對抗性成功攻擊隨機選擇照片的頻率——外界隨機選擇一個圖像，對抗性試圖讓其被錯誤分類。

預先篩選的情況：

   為了研究更主動的攻擊，我們用預先篩選過的圖片進行了試驗。具體來說，我們選擇了102個圖像，這樣所有干凈圖像都正確分類了，而所有對抗性圖像（在圖片轉換前）都錯誤分類了（前一和前五分類都是）。此外，我們為最高預測使用了置信度閾值：p (y_predicted | X) ≥ 0.8，其中y_predicted 是網絡預測的圖像 X 的類別。這個試驗測量當對抗性可以選擇攻擊哪一個原始圖像時的成功頻率。在我們的威脅模型之下，對抗性可以涉及模型的參數和架構，因此攻擊者總是可以進行干涉，來確定攻擊在沒有照片轉化的情況下是否會成功。攻擊者可能會期望，通過選擇會在這個初始階段成功的攻擊，來實現最佳效果。受害者然后會對攻擊者選擇展示的物理目標再拍一個新照片，圖片轉化可能會保留或毀壞攻擊。

表格1：平均情況中，對抗性圖像照片的精度（隨機選擇的圖像）。

表格2：預先篩選情況中，對抗性圖像照片的精度（干凈圖像正確分類，對抗性圖像會確保進行不正確分類）。

表格3：照片的對抗性圖像毀壞率。

3.3 對抗性圖像照片的實驗結果

圖片轉化實驗結果總結再表格1、2和3中。

我們發現，“快速”對抗性圖像對于照片轉化比迭代方法更強。這可以解釋為迭代方法利用更加微妙的微擾，而這些微擾更可能被圖片轉化所毀壞。

有一個預期之外的結果是，在一些情況下，對抗性毀壞率在“預先篩選情況”中比“平均情況”中的更高。在迭代方法的情況中，即便是預先篩選圖像的總成功率也比隨機選擇的圖像更低。這意味著要獲得非常高的置信度，迭代方法經常進行微妙的調整，不能適應圖片轉化。

總體來說，結果顯示對抗性例子的一些部分即便是在非淺顯的轉化后也仍被錯誤分類：圖片轉化。這證明了物理對抗性例子的可能性。例如，一個使用 ε ＝ 16 快速方法的對抗性例子，可以預計有 2/3 的圖像會出現前一錯誤分類，而1/3的圖像會出現前五錯誤分類。因此，通過生成足夠多的對抗性圖像，對抗性預計可以比自然輸入造成多得多的錯誤分類。

4、人工圖像轉化

圖5：對改變亮度的轉化，各種不同對抗性方法的對抗性毀壞率比較。所有實驗都是以 ε ＝ 16 來進行。

之前部分描述的圖片轉化可以被認為是一種更簡單的圖像轉化的綜合。因此，為了更好理解，我們進行了一系列實驗，來測量人工圖像轉化的對抗性毀壞率。我們探索來以下轉化組：改變對比度和亮度、高斯模糊、高斯噪音以及 JPEG 編碼。

對這一組實驗，我們使用了1,000個圖像的一個子集，從驗證組中隨機選擇而出。這個1,000個的子集為一次性選出，這樣，所有這個部分的實驗都使用同樣的圖像子集。我們為多對對抗性方法和轉化進行了實驗。對每一組轉化和對抗性方法，我們計算對抗性例子，為對抗性例子應用轉化，然后 根據方程（1）計算毀壞率。

當 ε ＝ 16，各種轉化和對抗性方法的結果總結在圖5、6、7、8和9中。我們可以得出以下的總體觀察結果：

• 快速方法生成的對抗例子是面對轉化時最強的，迭代最不可能類型方法生成的對抗性例子是最弱的。這與我們在圖片轉化中的結果一致。

• 前五毀壞率通常比前1毀壞率高。這可以解釋為：為了“毀壞”前五對抗性例子，必須要有一個轉化來將正確分類的標簽推進前五項預測之一。然而，為了毀壞前1對抗性例子，我們必須將正確的標簽推入前1項預測，這是一個更加嚴格的要求。

• 改變亮度和對比度對于對抗性例子沒有太大的影響。快速方法和基本迭代對抗性例子的毀壞率小于5%，迭代最不可能類別方法的毀壞率小于20%。

• 模糊、噪音和 JPEG 編碼比改變亮度和對比度有更高的毀壞率。尤其是對于迭代方法來說，毀壞率可以高達80% - 90%。然而，沒有任何一個轉化毀壞100%的對抗性例子，這與“圖片轉化”實驗中的結果一致。

圖6：改變對比度的各種對抗性方法的對抗性毀壞率比較。所有實驗都是以 ε ＝ 16 進行。

圖7：高斯模糊轉化的各種對抗性方法的對抗性毀壞率比較。所有實驗都是以 ε ＝ 16 進行。

圖8：高斯噪音轉化的各種對抗性方法的對抗性毀壞率比較。所有實驗都是以 ε ＝ 16 進行。

圖9：JPEG 編碼轉化的各種對抗性方法的對抗性毀壞率比較。所有實驗都是以 ε ＝ 16 進行。

5、結論

這篇論文中，我們探索了這種可能性：針對在物理世界中運行的機器學習系統，創造對抗性例子。我們使用了手機攝像頭拍攝的圖像，輸入一個 Inception v3 圖像分類神經網絡。我們顯示了在這樣一個設置中，使用原始網絡制造的對抗性圖像中，有足夠多的部分被錯誤分類了，即便是通過攝像機來輸入分類器。這項發現證明了物理世界中的機器系統具有對抗性例子的可能性。未來的研究中，我們期望證明還有可能使用除了打印在紙上的圖像以外其他類型的物理物品，來攻擊不同類型的機器學習系統——例如復雜的增強學習代理——無需涉及模型的參數和架構，就能實施攻擊（假設使用轉移特性），以及通過在對抗例子打造過程中，明確地模擬物理轉化，從而實現更高成功率的物理攻擊。我們還希望未來的研究會開發高效的方法，來防御這樣的攻擊。

via MIT Tech Review

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。