0
| 本文作者： 亞萌 | 2017-04-27 21:06 |
雷鋒網按：ICLR 2017 總共有三篇最佳論文，其中有一篇是關于如何有效保護機器學習訓練中的隱私數據，名為「用半監督知識遷移解決深度學習中訓練數據隱私問題」（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）。論文給出了一種通用性的解決方法，名為「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE），PATE 發音類似「法國肉醬」這種食物。該論文第一作者是 Nicolas Papernot。在近日舉辦的 ICLR 2017 大會上，Papernot 也進行了口頭報告。以下是 Papernot 現場演講視頻，另附文字版，由雷鋒網編譯。
我主要講一講，如何在機器學習當中保護數據的隱私性。這篇論文的貢獻者還有：Martín Abadi、úlfar Erlingsson、Kunal Talwar 和 Ian Goodfellow。
為了解決這個問題，我們展示了一種能為訓練數據提供強健隱私保障的通用性方法：「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE）。
一些機器學習應用的訓練涉及到敏感數據。這里是一個訓練一般人臉識別模型的例子，2015 年一群研究員發現，通過機器學習模型的預測結果，可以反過來重建模型訓練時使用的人臉數據。2016 年，另一撥研究人員發現，同樣可以根據模型的預測結果，來推理出模型訓練數據中是否包含了某個具體的訓練點（training point），他們將這種攻擊稱之為「會員推理攻擊」（membership inference attacks）。
以下有兩種攻擊類型。
模型查詢（model querying）
攻擊者通過查詢來觀察模型。對于攻擊者來說，模型是一個黑盒，攻擊者可以挑選輸入值，來觀察模型的預測結果。
模型檢驗（model inspection）
當我們進行防守設計的時候，我們會針對最強的攻擊手法。有很多證據表明，機器學習模型能夠記住一些訓練數據，其中一個證據就是來自這篇論文：《理解深度學習，需要重新思考泛化問題》（Understanding Deep Learning Requires Rethinking Generalization）。所以我們也想防范白盒攻擊者（white-box adversary）通過模型檢驗進行的攻擊。
在我們的工作中，威脅模型有以下幾個假定：
攻擊者可以進行潛在的無限多的查詢
攻擊者能夠進入模型內部組件
在以上假定下，我們設計保護數據隱私的通用性方法。「通用性」的意思是指「獨立于學習算法或學習架構」，這是與此前該領域工作最大的一個不同點。我們不僅提供正式的差分隱私保障，也提供一定的直觀隱私（intuitive privacy）保障，關于這一點，我后續會給出更多的解釋。
我們給出的解決方法是「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE），PATE 的發音類似「法國肉醬」這種食物。
教師模型（Teacher Model）
起初，我們將敏感數據分割為 N 個互斥的不同數據集，然后由這些數據集分別獨立訓練不同的模型，得到 N 個「教師模型」。當我們部署訓練好的「教師模型」時，我們記錄每一個「教師模型」的預測結果，選取票數最高的那個，將預測結果聚合起來。
如果大部分「教師模型」都同意某一個預測結果，那么就意味著它不依賴于具體的分散數據集，所以隱私成本很小。但是，如果有兩類預測結果有相近的票數，那么這種不一致，或許會泄露隱私信息。
因此，我們在中間「統計票數」和「取最大值」之間，添加了額外的一個步驟：引入拉普拉斯噪聲，把票數的統計情況打亂，從而保護隱私。
學生模型（Student Model）
你可以把「聚合教師模型」（Aggregated Teacher）看做是一個差分隱私 API，你提交輸入值，它會給你保護隱私的標簽。但是，如果我們能訓練一個機器學習模型，部署到用戶設備上直接運行模型得出預測結果，這樣會更好。所以，我們又訓練了一個額外模型：「學生模型」。「學生模型」可以獲得未標記的公共數據池。為了訓練「學生模型」，我們需要「聚合教師模型」以隱私保護的方式，來給公共數據進行標注，傳遞知識。我們用于部署在設備上的，就是訓練好的「學生模型」。
為什么要訓練一個額外的「學生模型」？
如果你仔細看一下，就會發現「聚合教師模型」實際上破壞了我們的威脅模型。每次你在查詢「聚合教師模型」時，都會增加隱私成本，因它每次給出的輸出結果都會或多或少透露一些隱私信息。然而，當「學生模型」訓練好之后，只能對「聚合教師模型」進行固定數量的查詢，那么隱私成本就會被固定下來了。
另外，我們要防范攻擊者探取模型底層函數庫。「教師模型」是由隱私數據訓練的，「學生模型」是由公共數據訓練的，帶有隱私保護的標注。所以最壞的情況是，攻擊者通過查驗「學生模型」的底層函數庫而獲得其訓練數據，也只能得到帶有隱私保護的標注信息，除此以外攻擊者得不到再多的隱私信息了。
對于相近的數據集（d,d'），隨機的算法 M 滿足（ε，δ）差分隱私，那么兩個查詢數據庫（d,d'）的查詢結果在概率上接近。寫成公式就是：
也就是說，對于任意的查詢結果集合 S，參數ε接近 0 時，隱私程度高。所以，ε值決定了噪聲的干擾程度，也決定了隱私程度。另外，我們還有一個參數δ，代表失敗率（failure rate），簡化了差分隱私分析。
我們應用了 Moments Accountant 技巧，來自去年的一篇論文（Abadi et al，2016），可以對「教師模型」設置一個強固定數（strong quorum），從而帶來小隱私成本。另外，差分隱私范圍（bound）是依賴于數據的。
在展示實驗結果之前，我想展示一下 PATE 的一種生成式變種：PATE-G，你可以把它當做是更華麗的一種 PATE 版本。PATE-G 的設計初衷很簡單：我們希望產生「學生模型」訓練時需要用的標簽數目，數目越小，則隱私成本越小。
生成對抗網絡（GANs）的一般架構是分為生成器和判別器。我們將原本二元分類的判別器（只判別數據是真實的 or 生成的）擴展至一個多類別的分類器，用來區分：已標注的真實樣本，未標注真實樣本，以及生成樣本。
實驗設置
我們使用了四個數據庫：MNIST、SVHN、UCI Adult 和 UCI Diabetes。在訓練「教師模型」時，對于 MNIST 和 SVHN 兩個圖像數據庫，我們使用了卷積架構；對于兩個 UCI 數據庫，我們使用了隨機森林。在訓練「學生模型」時，對于 MNIST 和 SVHN，我們使用了 PATE-G；對于兩個 UCI 數據庫，我們使用的是普通的 PATE 架構。順便說一句，我們所有的實驗設置都已經在 TensorFlow 模塊上。
「聚合教師模型」的準確率
這幅圖描繪了「聚合教師模型」的準確率。所以，在訓練「學生模型」之前，我們考慮了每一個標簽的隱私。橫軸是每一個標簽查詢的ε值，縱軸是預測結果的平均準確率。
紫色這條線代表了一個包含 10 個「教師模型」的「聚合教師模型」（n=10）。當我們逐漸降低ε的值，意味著我們引入更多的隨機噪聲，加強隱私保障，那么這個「聚合教師模型」的準確率也很快下降。但是，圖中綠線和紅線的部分，分別是包含 100 個和 250 個「教師模型」的「聚合教師模型」（n=100，n=250），那么在較低ε值時，我們仍然可以保持較高的準確率。
「學生模型」準確率和隱私之間平衡
橫軸是「學生模型」的ε值，代表我們方法的所有隱私成本（overall cost）。縱軸是進行了隱私保護的「學生模型」的錯誤率。
在紫色（MNIST）和藍色（SVHN）部分，我們大幅度降低了ε值（60 萬到 20 萬以下），意味著大幅加強隱私保障，由此保持甚至提高了準確率，因為錯誤率都保持在較低水平。對于綠色（Adult）部分，我們把錯誤率降低到了最先進的水平，同時付出了適量的隱私成本。
最后，對于 UCI Diabetes 數據庫，我們發現了一些非常有趣的東西。隱私保護模型（student accuracy）比未加隱私保護的模型（non-private baseline）的準確率還要高。
最后，我想強調三點。第一點，就是這個方法是具有通用性的，這意味著你可以將它應用于各種分類器中（包括神經網絡）；另外，就算你不太懂隱私保護的知識，你可以通過 PATE 框架來保護機器學習里的訓練數據。第二點，差分隱私范圍（bound）不是給定的，對于達到準確度與隱私之間的良好的平衡，具有重要意義。第三點，我們觀察到，隱私和通用性并不一定是互相矛盾的。
以上就是我的報告，謝謝大家。
更多雷鋒網文章：
ICLR 最佳論文作者張馳原演講全文：理解深度學習，為何我們需要重新思考泛化問題？| ICLR 2017
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
