Facebook聯合NYU探討GANs原理，斬獲一致好評的論文長啥樣？ | ICLR 2017

雷鋒網AI科技評論按：ICLR 2017 將于4月24-26日在法國土倫舉行，屆時雷鋒網AI科技評論的編輯們也將前往法國帶來一線報道。在這個深度學習會議舉辦之前，雷鋒網也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。

今天雷鋒網要介紹的 ICLR2017的oral paper ，紐約大學和Facebook的聯合文章《Towards Principled Methods for Training Generative Adversarial Networks（訓練生成對抗網絡的基本方法）》，作者為一作Martin Arjovsky和Leon Bottou。這篇論文并不是要介紹某個單一的算法或者公式，而是對生成對抗網絡的訓練過程進行理論分析，從而使讀者更好的進行理解。為了論述最終的結論，文中描述了幾個有針對性的實驗，從而進行驗證假設，說明要求和量化現象。這篇論文主要分為三個部分。第一個部分介紹了目前在深度學習上遇到的問題；第二個部分則特別嚴謹深入的分析和介紹了在訓練生成對抗網絡的時候遇到的不穩定和飽和的問題；第三部分提供了解決問題的理論結合實踐的新方法。 

自2014年生成對抗網絡（GANs）由蒙特利爾大學 Ian Goodfellow等學者提出以來，其在生成“看起來”真實的圖片上的能力得到了業內的普遍認可。其實GANs還可以利用于解決很多其他的問題，比如半監督學習，3D建模和語音合成和檢測時的段落學習。然而，GANs真正使用于訓練的時候并沒有那么容易。近期很多論文都在啟發性的設計基于GANs比較穩定的模型。但是，目前基本還沒有哪篇論文詳細的從理論分析GANs訓練不穩定的真正原因，從根源上解決這種不穩定的方法也還沒有出現。

《訓練生成對抗網絡的基本方法》這篇論文則介紹了其原理性不穩定的真正原因。論文介紹了幾個例子，從公式和推斷層面對GANs訓練的不穩定性進行了論證。基于GANs的基本引理和定理，將鑒別器訓練越接近最優，噪聲便越急劇增長。從圖中的噪聲曲線也可以看出，隨著訓練的進行，噪聲的多樣性也在提高，從而最終導致了鑒別器和生成器歸一的速度變慢，GANs網絡的穩定性也在降低。

為了解決GANs網絡的穩定性問題，論文提出了打破原理定律的方法——通過在鑒別器輸入端增加連續的擾動噪聲來平滑訓練產生的噪聲曲線。

ICLR評論：

ICLR委員會最終決定

這篇論文對訓練GAN網絡時遇到的不穩定的問題進行了細致的理論分析，并解釋了擾動噪聲GANs穩定性提高的原理。基于目前GAN網絡使用的廣泛性，這篇論文應該可以獲得很好的影響力。

決定：通過（oral）

高質量論文

評價：通過這篇論文，我更好了理解了GANs在很多模型中失敗的原因，并且通過閱讀這篇論文，我知道了訓練GANs更好的方法。根據文中提到的方法，我在GANs網絡中增加了一些噪聲，結果通過比老方法更少的G迭代，我得到了看起來非常不錯的圖片。并且，實驗也同時應證了新訓練的網絡對超參數的敏感度降低的優勢。非常感謝你發表這篇論文。

非常好的論文

評價：我認為這篇論文很好的介紹和解釋了GANs，盡管一些實驗之前就被提起過，但對GANs出現的問題都僅僅停留在“直覺”分析和非正式的說辭上，在這篇論文之前，還沒有哪篇文章從理論進行解釋。這篇論文很清晰的向學者了講解了問題的來源和目前提出的方案可行的真正原因。論文直指了GANs之前被過譽的部分，我相信這對設計更大規模的GANs具有很重要的意義。

很好的文章

打分：8分，Top 50%，明確接受

評價：這篇文章對認識訓練生成對抗網絡的過程非常有幫助。通過分析動態GANs網絡的訓練過程，作者解釋了GANs不穩定的原因。更重要的是，文章還提出了引入擾動噪聲來解決問題的新方法。我相信這篇論文將會使更多對這個領域感興趣的人加入對GANs的研究中。

非常有趣的文章

打分：10分，Top 5%，研討會類型的文章

評價：這是一篇關于神經網絡非常有意義并非常重要的文章。作者介紹的GANs工作的原理和其不穩定性都十分的重要。在我看來，這是關于GANs最好的一篇論文。因為它直接解決了GANs出現的第一版中的不穩定的問題。要知道，在GANs問世的初期，它的實踐性幾乎為零。

原文鏈接：https://openreview.net/forum?id=Hk4_qw5xe&noteId=Hk4_qw5xe 

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。