1
近期，創(chuàng)新工場南京人工智能研究院執(zhí)行院長馮霽做客雷鋒網(wǎng)AI金融評論公開課，以“淺析聯(lián)邦學習中的安全性問題”為題，詳盡地講解了聯(lián)邦學習的特點、聯(lián)邦學習的應用和安全防御對策等內(nèi)容。
以下為馮霽演講全文內(nèi)容與精選問答：
今天跟大家簡單的匯報，我們對聯(lián)邦學習中安全性問題的思考。
在介紹聯(lián)邦學習之前，先簡單介紹一下創(chuàng)新工場。
創(chuàng)新工場，是由李開復博士在2009年創(chuàng)辦的創(chuàng)投機構(gòu)，經(jīng)過10余年的發(fā)展，在國內(nèi)外都頗具影響力。
創(chuàng)新工場的特色之一是設立了創(chuàng)新工場人工智能工程院，開創(chuàng)了獨特的VC+AI模式。創(chuàng)新工場人工智能工程院最近針對人工智能系統(tǒng)的安全性和隱私保護方向，做了一點自己的思考，今天和大家做一個簡要的技術上的分享。
人工智能系統(tǒng)的安全性問題
這一波（2015年后）人工智能的興起，使得人工智能逐漸從低風險的應用，比如判斷一封郵件是否是垃圾郵件，轉(zhuǎn)向了高風險應用，比如自動駕駛、無人機、還有重度依賴人工智能技術的金融投資、投顧等領域。
一旦這些人工智能系統(tǒng)出現(xiàn)了偏差甚至錯誤，它所帶來的損失不僅僅是巨額的財產(chǎn)，還有可能是生命。
但是，一個核心的問題是，人工智能領域涉及到的安全問題，和傳統(tǒng)的軟件工程安全問題，是否存在本質(zhì)的不同？我們能否繼續(xù)使用傳統(tǒng)的攻防工具，對人工智能系統(tǒng)進行安全分析？
這就需要談到軟件1.0和軟件2.0的概念。
我們認為在這一輪的人工智能興起之后，整個軟件工程也產(chǎn)生了一個范式的轉(zhuǎn)變。
在傳統(tǒng)的軟件工程中，工程師會搭建一個系統(tǒng)，構(gòu)建一個基于規(guī)則的程序，輸入數(shù)據(jù)后，計算機會給出確定性的輸出。這是軟件1.0時代的特征。
而隨著這一波人工智能的興起，誕生了一個新的軟件工程開發(fā)范式，程序是由數(shù)據(jù)驅(qū)動的方式，利用人工智能算法自動產(chǎn)生的，這從軟件工程角度來看，是一個相當本質(zhì)的改變，有人稱之為軟件2.0時代。
因此，在軟件工程1.0時代的一系列安全分析，漏洞分析的手段，到了軟件2.0時代不再適用。軟件工程范式的改變，帶來了全新的安全問題。
目前針對人工智能系統(tǒng)的攻擊，可以分成兩大類。一類是測試階段攻擊，一類是訓練階段攻擊。
測試階段攻擊
訓練階段攻擊發(fā)生在AI模型訓練之前，測試階段攻擊針對是已訓練好的AI模型。我們先看測試階段攻擊。
測試階段的攻擊，大家見的最多的一類，也對抗樣本。
左邊的這張圖拍的是大熊貓的照片，當攻擊者知道這個圖像分類模型的所有參數(shù)后，就可以根據(jù)模型的參數(shù)，精心設計出干擾“噪聲”（中間的圖）。
把噪聲疊加在左圖，形成右圖。雖然我們用肉眼看到的右圖和左圖一模一樣，但圖像分類模型會把右圖的熊貓錯認為另一種生物。這個過程就是所謂的對抗樣本攻擊。
對抗樣本不僅僅可用于電腦儲存的數(shù)字圖像，還可以應用在真實的物理環(huán)境中。
比如對交通的路牌做微小的改動，就可能讓自動駕駛汽車在行駛過程中因為不能正確識別，而做出錯誤的行動。再比如用3D打印技術設計出一只烏龜，在烏龜?shù)募y理上做對抗樣本的疊加，模型會認為這是一個其他物種。
對抗樣本并不神秘，學術界認為它攻擊原理的本質(zhì)就是由于我們的輸入樣本在一個非常高維的空間中。而通過機器學習模型學習出來的決策邊界，在高維空間中是高度非線性的。
對抗樣本在這些高度非線性的角色邊界附近產(chǎn)生了一個擾動，擾動就會讓模型從分類一誤判為分類二（如上圖）。但它們在視覺上很難區(qū)分。
剛才講的對抗樣本，從另一個角度來看，是白盒攻擊。意思是攻擊者需要提前知道AI模型的所有參數(shù)信息。
黑盒攻擊，是另一種測試階段攻擊，攻擊者對指定模型的參數(shù)未知，只知道模型的輸入輸出，這種情況下依舊想產(chǎn)生特定的對抗樣本，很明顯黑盒攻擊的難度更大。
怎樣才能讓黑盒攻擊，做到和白盒攻擊一樣的效果呢？對此，目前常見的攻擊思路有兩大方向：
黑盒攻擊的第一大方向，是利用對抗樣本的普適性。
雖然準備攻擊的對象的模型和參數(shù)不知道，但是我們可以找一個已知的模型，比如說VGG，或者ResNet（殘差網(wǎng)絡），來做一個對抗樣本。
我們的核心假設是如果這個對抗樣本能哄騙已知的模型，也就能哄騙云端（黑盒）的分類器， 2016年有人做過一個的工作，用不同的神經(jīng)網(wǎng)絡架構(gòu)產(chǎn)生相應的對抗樣本，去哄騙其他的結(jié)構(gòu)。實驗的結(jié)果證明了，這個假設是合理的。
怎樣加強這種對抗樣本的普適性？
首先是在訓練替代模型時，對數(shù)據(jù)進行增廣，其次是利用集成方法，如果它能成功的攻擊多個已知的白盒的模型的集成，那么攻擊一個黑盒的API，成功率就會高一些。
黑盒攻擊的第二個方向，是基于查詢的逆向猜測，目前有一些云服務，返回時顯示的不僅僅是一個標簽，還包括了某一個類別的概率的分布的向量。
這個分布向量包含了關于模型本身非常多的知識。我們可以讓這個模型標注足夠多的樣本，然后訓練一個本地模型，模擬云端模型的行為。由于本地模型是白盒的，利用現(xiàn)有白盒攻擊算法，針對本地模型產(chǎn)生對抗樣本，再由于普適性，該樣本對云端黑盒模型往往同樣有效。
這件事情的關鍵，是訓練一個本地的模型，該模型能夠模仿黑盒模型的行為。有點像吸星大法。學術界Hinton等人提出的知識蒸餾，以及更早的周志華教授提出的二次學習，本質(zhì)都是在干這件事情。
我們也可以用遺傳算法，改變輸入樣本的像素的值，每次改變一點點，就訪問一下云端的API。用這種方式，我們就能慢慢地收到一個可以哄騙云端的對抗樣本。
訓練階段攻擊
剛剛講的，是測試階段攻擊。下面講，訓練階段攻擊。
訓練階段攻擊，發(fā)生在模型產(chǎn)生之前。比如說經(jīng)典的訓練階段攻擊是數(shù)據(jù)下毒，目標是改動盡可能少的訓練數(shù)據(jù)，使得訓練后的模型，在干凈測試集上表現(xiàn)盡可能差。
最近我們和南大周志華教授合作，提出了一個新的范式，我們叫毒化訓練（參見Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder，In NeurIPS 19）要求對每個樣本盡可能小的擾動（注意數(shù)據(jù)下毒是盡可能少的樣本進行編輯），使得訓練后的模型，在干凈測試集上表現(xiàn)盡可能差。
毒化訓練，從流程來看就是這樣，針對一個訓練集，需要用一個函數(shù)在訓練集上做某種程度上的擾動。
然后任意一個模型，在毒化后的訓練集上做完訓練后，它在面臨一個干凈的測試樣本的時候，每次的預測都是錯誤。
那么這里的關鍵就是如何得到下毒的函數(shù)g，在Deep Confuse這篇文章中，我們用了一類特殊自編碼器。自編碼器是非常經(jīng)典的，從輸入到同輸入空間中的映射。去噪自編碼器，能做到噪音樣本經(jīng)過編碼和解碼這兩個步驟，把原始有噪音的樣本去噪。
這個算法把去噪自編碼器逆向使用，讓自編碼器學習出如何增加毒化噪聲（而不是降噪）。
這里就涉及到了算法的第二個核心思想：
我們需要同時訓練一個假想的分類器和一個我們想要的加噪自編碼器。通過記錄假想分類器在訓練過程中更新的軌跡，反向的更新毒化噪聲器的參數(shù)。
舉例來說，我們觀察一個人學習的過程，然后根據(jù)這個人學習書本的軌跡，修改書本的知識。我最終希望他學完這本書后，每學一步都是錯的，每一步我們都稍微修改了一點點。通過劫持一個正常分類器的學習軌跡，我們教會了加噪自編碼器如何下毒。
效果是明顯的，如上圖所示，abc中的三張圖，第一行都是原圖，第二行都是毒化后的圖片，從視覺上看，我們很難看出不同。
但是對于分類器來說，在毒化后的數(shù)據(jù)集上訓練的分類器，面臨干凈樣本的時候，正確率降低到了完全不可用，正常圖像數(shù)據(jù)基本都不能正確的被識別。
毒化樣本也存在普適性，我們針對于不同的網(wǎng)絡架構(gòu)（VGG、ResNet、Dense）做了一些實驗。
這三個不同的網(wǎng)絡架構(gòu)，在相同的毒化訓練集上，預測準確度都會有一個非常明顯的下降。
當然，毒化訓練，不是只能干壞事，它也能做好事。
毒化訓練，可以用來保護公司的知識產(chǎn)權。比如醫(yī)院，如果想去發(fā)布一些訓練集，但又擔心第三方用發(fā)布后的數(shù)據(jù)進行商業(yè)活動。作為數(shù)據(jù)的發(fā)布方，可以將想要發(fā)布的訓練集毒化，讓第三方不能隨意對這些數(shù)據(jù)進行商業(yè)運作。
下面講聯(lián)邦學習。
聯(lián)邦學習，我的理解是，他本質(zhì)上是下一代分布式機器學習系統(tǒng)。它本質(zhì)上是一個分布式的架構(gòu)，在這種分布式的架構(gòu)下，它具備傳統(tǒng)分布式平臺不具備的隱私保護的功能。
聯(lián)邦學習有三個顯著特點。
第一個特點是剛才提到的隱私保護。由于訓練數(shù)據(jù)不會出本地，聯(lián)邦學習滿足歐盟的GDPR法案（通用數(shù)據(jù)保護條例）等各類隱私。
第二個特點是端部定制。
聯(lián)邦學習在邊緣計算中前景巨大。
根據(jù)聯(lián)邦學習算法的特點，我們?nèi)绻谶吘売嬎愕倪^程中，比如說我們在可穿戴的醫(yī)療設備中，這個模型不僅保護了本地數(shù)據(jù)，跟云端的大模型相比，它還自適應的去滿足基于本地數(shù)據(jù)的個性化需求。每個人對醫(yī)療設備的需求是不一樣的，我們可以根據(jù)不同數(shù)據(jù)的輸入分布，做一個端部的定制化。這非常具有商業(yè)價值。
第三個特點是大家熟悉的協(xié)同合作，在不同機構(gòu)之間，比如一家電商網(wǎng)站和一家銀行之間的合作。在聯(lián)盟學習沒有推出之前，這件事情可能在技術上不可行，而在聯(lián)邦學習推出之后，這件事情可以做到。
聯(lián)邦學習的應用可分成四大類。
第一，是基于政府的聯(lián)邦學習應用。這類應用主要是因為法律法規(guī)或者政策性的要求，催生的AI服務。
第二類，是基于企業(yè)的聯(lián)邦學習應用。部分大型機構(gòu)內(nèi)部之間的數(shù)據(jù)不能進行直接的交換。
第三類，消費端的聯(lián)邦學習應用，更多的是針對于邊緣計算或者定制化。
2C端，更多和邊跟邊緣計算有關；而2B端，更強調(diào)聯(lián)邦學習的協(xié)同能力。
當然也可以做把2B、2C混合著做，統(tǒng)稱混合型聯(lián)邦學習應用。
在聯(lián)邦學習的分布式場景下，安全的問題更加需要研究，因為攻擊者攻擊的可能更多。
比如攻擊者所了解的先驗知識會更多，要么是知道某一方的數(shù)據(jù)，要么知道某一方的模型。不需要知道所有方的數(shù)據(jù)和模型，攻擊者就能做出攻擊。
攻擊者的目的也更為多樣，他可能只針對于某一方進行攻擊，也可能把整個聯(lián)邦后的結(jié)果都進行攻擊。不管如何，被攻擊者所面臨的場景矩陣都會更加復雜。
針對聯(lián)邦學習的攻擊的方式可以分為三類。
第一類是黑/白盒攻擊，攻擊者獲得模型參數(shù)（白盒），或者通過API進行訪問（黑盒）。黑/白盒攻擊具有普適性，和聯(lián)邦學習關系較小。剛才提到的各類黑盒白盒攻擊，在聯(lián)邦學習場景下依舊適用。
第二類是信道攻擊。
如果攻擊者侵入了訓練過程中的通信系統(tǒng)，他只能夠監(jiān)聽到本地的小模型跟中央的Server之間的梯度更新的信號，我們能不能做一些事情？
上圖基于對抗生成網(wǎng)絡，如果你有相應的梯度更新的方向，這篇工作告訴我們，目前技術上能夠高保真的還原出對應的樣本。怎么防御呢？
目前，我們已經(jīng)有了的防御方案，比如對梯度參數(shù)信息進行同態(tài)加密，能夠以非常高的概率防御這一類的信道攻擊。
最后一類是數(shù)據(jù)攻擊，也就是剛才提到的毒化訓練，數(shù)據(jù)下毒。
聯(lián)邦學習場景下，毒化訓練的核心問題是，僅僅毒化個別數(shù)據(jù)庫（而不是所有數(shù)據(jù)），是否可以依舊破壞模型的準確度？
例如如果我們只得到了30%的數(shù)據(jù)，毒化訓練的算法有沒有效，需要實驗驗證。
在多方聯(lián)邦學習場景下，我們用CIFAR10的數(shù)據(jù)來分別毒化不同比例的本地數(shù)據(jù)庫，觀測毒化的效果。
如上圖顯示，不管是兩方學習、三方學習還是四方學習，不管我們攻擊了一方、兩方、三方還是把所有數(shù)據(jù)都攻擊，性能都會降低。
當然你攻擊的聯(lián)邦學習的參與方越多，攻擊的成功率和攻擊的顯著性就會越高。
安全防御，是一件非常困難的事情。
做一個壞人很容易，做好人卻很難。壞人，只需要攻擊一個點，攻擊成功了，攻擊的算法就有效。如果做防御，你需要對所有潛在的攻擊都做保護。
我簡單介紹三類不同的防御思路。
第一類就是剛才提到的，基于信道的攻擊。用同態(tài)加密或者多方安全計算，能夠解決信道攻擊。
第二種思路，即魯棒性機器學習。其實在深度學習之前，學術界就有非常大量的魯棒性機器學習研究。
第三種思路是對抗訓練和聯(lián)邦對抗訓練。
對抗訓練是魯棒性機器學習的一個分支。對于每一個樣本點，在圍繞這個樣本點的附近，都能夠有一個非常好的性能。通過這種方式來避開在高維空間決策邊界中樣本的一些擾動。在聯(lián)盟學習場景下，我們?nèi)匀恍枰_發(fā)一些新的、可以規(guī)?；膶褂柧毸惴ā?/p>
目前對抗訓練是一個非常好的技術，但是它在面臨海量訓練集的任務的時候，很難形成規(guī)模化。這是我們從算法上設計更好實現(xiàn)安全防御的三種對策。
時間有限，今天就和大家介紹這么多，謝謝。
互動問答精選
Q1: 為什么說毒化后的樣本，可以防止成為不好的用途？
馮霽：當你把要發(fā)布的數(shù)據(jù)進行某種程度上的毒化，第三方因為不知道你如何毒化的，所以他就沒有辦法拿你的數(shù)據(jù)做你不想讓他去做的一些場景和商業(yè)落地行為。
Q2: 為什么四方學習的原始數(shù)據(jù)，準確度比兩方的低很多。
馮霽：下毒的訓練集越少，沒有毒的訓練集越多，下毒的能力就越少。
最極端的例子是，如果你有100萬個樣本，你只改了一個樣本，訓練之后，你對模型的操控的能力跟操控的幅度就會更小。
Q3: 最近有銀行和醫(yī)療公司泄露數(shù)據(jù)的情況發(fā)生，聯(lián)邦學習現(xiàn)在的成熟度，足夠應對這些情況嗎？
馮霽：泄露數(shù)據(jù)的原因比較多，聯(lián)邦學習是能夠從算法上和技術上防止數(shù)據(jù)的泄漏。
如果因為業(yè)務方本身或者其他原因?qū)е碌臄?shù)據(jù)泄露，那么這就不是一個技術問題，也就不是聯(lián)邦學習所能夠解決的領域和范疇了。
Q4：原始數(shù)據(jù)是指毒化前的數(shù)，如何應對非iid場景下的毒化攻擊。
馮霽：在iid場景下進行毒化攻擊，都很難。毒化攻擊這件事情本身和這個樣本是不是iid沒有多大關系。
只能說，如果樣本是iid的話，對于一些分類任務它是能更好毒化的。
Q5: 聯(lián)邦學習和區(qū)塊鏈有什么不一樣？
馮霽：不太一樣。
聯(lián)邦學習更多的是一個分布式的機器學習平臺，而區(qū)塊鏈更多的是在做一個去中心化的、可靠且不受干擾的信任機制。
Q6: 無人車怎樣防范錯誤的識別圖像？
馮霽：有人專門做過實驗，檢驗目前商用的無人車是否能識別毒化后的數(shù)據(jù)或者圖片。
當我們把路牌的進行處理會發(fā)現(xiàn)，目前現(xiàn)有的、比較成熟的無人車視覺系統(tǒng)都會做出相應的誤判。
無人車公司需要在這一類高風險模型的訓練過程中利用到對抗訓練，增強模型的魯棒性。
Q7: 聯(lián)邦學習會導致隱私泄露嗎？
馮霽：聯(lián)邦學習是一個保護隱私的、分布式的機器學習平臺。在這個框架下，我們可泄露的東西非常少。
當參數(shù)被加過密，信道在通信的過程中，也是監(jiān)聽無效的。我覺得唯一需要注意的是剛才提到的毒化訓練。
聯(lián)邦學習的數(shù)據(jù)不僅僅要不能出獄，同時在不出獄的同時，你還要保證別人也不能看到。
如果你的數(shù)據(jù)在不出獄的前提下，能夠被第三方進行某種程度的修改，那么這也能給這個系統(tǒng)帶來隱患。
Q8: 如何平衡聯(lián)邦學習的效率和安全？
馮霽：這其實是一個商業(yè)問題。
我們希望在未來，能夠在可異性和隱私保護之間尋求一個平衡點。
這個平衡點，我們認為跟產(chǎn)品本身有關。
有的產(chǎn)品是受到法律強制性約束的，它基本上是是沒有可平衡余地的。
對于不受法律嚴格約束的應用場景，我們認為應該把這個選擇的權利交給用戶。
用戶想要一個更強的隱私保護，效益就會差一些；用戶希望效率更高，那么隱私的保護可能就會弱一些。這個選擇的權利不應該只讓產(chǎn)品經(jīng)理決定，而更應該交給用戶。（雷鋒網(wǎng)）
雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
