0
雷鋒網(wǎng) AI 科技評(píng)論按：自從深度學(xué)習(xí)在各項(xiàng)任務(wù)中頻頻取得佳績(jī)、人工智能的研究員也越來越受追捧以來，許多人都加入了相關(guān)領(lǐng)域開始工作或者學(xué)習(xí)。不過，除了元老級(jí)的教授和研究人員之外，恐怕多數(shù)后來者都不是特別清楚神經(jīng)網(wǎng)絡(luò)的干柴是如何被點(diǎn)燃成熊熊烈火的。
近日 Ian Goodfellow、Fran?ois Chollet、Yann LeCun 等人就在推特上簡(jiǎn)單討論了「深度學(xué)習(xí)是怎么火起來的？應(yīng)該歸功給誰？」雷鋒網(wǎng) AI 科技評(píng)論把他們的討論內(nèi)容整理如下。
「GANs 之父」、谷歌大腦高級(jí)研究員 Ian Goodfellow 首先發(fā)推說道：
「看到很多人把深度學(xué)習(xí)看作是通過反向傳播完成的監(jiān)督學(xué)習(xí)，這事真的很奇怪，要知道 2006 年的深度學(xué)習(xí)革命最初就是基于反向傳播和監(jiān)督學(xué)習(xí)兩件事都不是很奏效的觀點(diǎn)的。」
在這條推文下面與網(wǎng)友的討論中，Ian Goodfellow 也繼續(xù)補(bǔ)充說明了自己的觀點(diǎn)：
監(jiān)督學(xué)習(xí)和基于梯度的優(yōu)化方法，兩者的實(shí)際表現(xiàn)都比人們開始想象的要好，所以做深度學(xué)習(xí)的人才開始用它們了。
（回復(fù)網(wǎng)友「Hinton 的無監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)并沒能給深度學(xué)習(xí)帶來什么突破。6 年后使用了監(jiān)督學(xué)習(xí)和反向傳播的 AlexNet 才是突破（當(dāng)然了還有 GPU、卷積層、ReLU、dropout）」）無監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)是另一件 2006 開始的更大的變革的一部分。Yoshua 的實(shí)驗(yàn)室在去噪和壓縮自動(dòng)編碼器的堆疊上做了很多工作，Yann 的實(shí)驗(yàn)室在預(yù)測(cè)性稀疏分解等模型的堆疊上做了很多工作。
Keras作者、谷歌大腦高級(jí)研究員 Fran?ois Chollet 幾個(gè)小時(shí)后也發(fā)出推文：
「我看到很多人都言之鑿鑿地說深度學(xué)習(xí)的大爆發(fā)開始于 Krizhevsky 等人 2012 年的成果。但是我很少看到有人記得 Ciresan 等人也有功勞，他們 2011 年的時(shí)候就用 CUDA 實(shí)現(xiàn)深度卷積網(wǎng)絡(luò)、在 NVIDIA GPU 上訓(xùn)練，并贏得了圖像分類比賽冠軍?！埂肝抑傅氖?IJCNN 2011 上的德國(guó)交通信號(hào)燈識(shí)別比賽，以及 ICDAR 2011 中文手寫字符識(shí)別比賽?！?/p>
然后（話很多的） Fran?ois Chollet 也在下面評(píng)論區(qū)繼續(xù)著討論，「CNN之父」、Facebook 人工智能實(shí)驗(yàn)室總監(jiān) Yann LeCun 也參與了進(jìn)來：
Fran?ois：我還記得自己在 2014 年的時(shí)候問過 Dan Ciresan 怎么看 Torch7，那時(shí)候我還是 Torch 用戶。他給我的回答簡(jiǎn)單總結(jié)一下是說，他覺得里面的 bug 一串接著一串沒法用，他還是更喜歡用自己寫的 CUDA 代碼。那時(shí)候我不太贊同他的立場(chǎng)（現(xiàn)在也不）。
Ian：這篇論文里的卷積網(wǎng)絡(luò)在CUDA出現(xiàn)之前就用了GPU https://hal.inria.fr/inria-00112631/document
Yann：回復(fù) Ian ：沒錯(cuò)。那個(gè)時(shí)候（2005 年）微軟研究院的 Patrice Simard 還需要向 NIVIDA 要一些專用文件。把多重卷積操作轉(zhuǎn)換成矩陣乘積比較快的這件事是他的團(tuán)隊(duì)首先發(fā)現(xiàn)的。
Fran?ois：回復(fù) Ian ：你覺得哪個(gè)是更大的突破？是卷積網(wǎng)絡(luò)在 GPU 上運(yùn)行得更快了，還是卷積網(wǎng)絡(luò)可以贏下參與者眾多的圖像分類比賽？
Ian：回復(fù) Fran?ois ：2011 年的時(shí)候我也用 GPU 上跑的卷積網(wǎng)絡(luò)贏過機(jī)器學(xué)習(xí)比賽（NIPS 的遷移學(xué)習(xí)比賽），不過我沒覺得這是深度學(xué)習(xí)大爆發(fā)的開始
Yann：回復(fù) Fran?ois ：后者更重要。其實(shí)在用上 GPU 、拿下交通信號(hào)燈比賽冠軍之前，卷積網(wǎng)絡(luò)就在一系列 benchmark 中取得了最佳成績(jī)。只是那時(shí)候整個(gè)社區(qū)還不相信卷積網(wǎng)絡(luò)，或者是覺得這之間沒什么聯(lián)系。ImageNet 比賽改變了這一切。
Fran?ois：回復(fù) Ian ：我覺得沒人會(huì)低估 AlexNet 一舉掀起深度學(xué)習(xí)熱潮的重要意義（明擺著的）。不過同時(shí)也很難否認(rèn)這就是當(dāng)時(shí)的浪潮的一部分。討論歸功給誰很復(fù)雜，我們這個(gè)社區(qū)在這件事情上并沒有一直做得很好。
Fran?ois：回復(fù) Ian ：再說明白一點(diǎn)：討論做出的貢獻(xiàn)的時(shí)候，人們往往會(huì)掉進(jìn)「贏者通吃」的觀念里，把創(chuàng)新的想法看作是逐漸的積累過程，而其實(shí)宏觀的趨勢(shì)可能要比單個(gè)人的貢獻(xiàn)更重要。
討論最后總結(jié)一下，三個(gè)人表達(dá)的意思分別是：
Ian Goodfellow：神經(jīng)網(wǎng)絡(luò)發(fā)生革命的原因并不是反向傳播和監(jiān)督學(xué)習(xí)，它們只是如虎添翼。GPU 的使用也并不是革命性因素。
Fran?ois Chollet：當(dāng)時(shí)的趨勢(shì)就是很多人都在用 GPU 運(yùn)行神經(jīng)網(wǎng)絡(luò)，我們事后不應(yīng)該只歸功給 AlexNet。
Yann LeCun：在 AlexNet 之前，運(yùn)行在 GPU 上的卷積神經(jīng)網(wǎng)絡(luò)就已經(jīng)成績(jī)斐然，但正是 AlexNet 在 ImageNet 比賽上的亮眼表現(xiàn)成功贏得了整個(gè)領(lǐng)域的關(guān)注。
過去的事情畢竟已經(jīng)過去了，不過這簡(jiǎn)單的回顧也提醒了我們，一方面不要把反向傳播和有監(jiān)督學(xué)習(xí)看作是深度學(xué)習(xí)的理所當(dāng)然，另外也要正確認(rèn)識(shí)技術(shù)趨勢(shì)和其中涌現(xiàn)出的典型成果之間的關(guān)系。
via Twitter，雷鋒網(wǎng) AI 科技評(píng)論整理編譯
相關(guān)文章：
Yann LeCun爆驚人言論：深度學(xué)習(xí)已死？
Yann LeCun 怒噴 Sophia：這就是徹頭徹尾的騙局
“深度學(xué)習(xí)才不是煉金術(shù)”，Yann LeCun為這個(gè)和NIPS獲獎(jiǎng)?wù)撐淖髡咂饋砹?/a>
奇點(diǎn)后人工智能會(huì)大爆發(fā)嗎？Keras作者Fran?ois Chollet：你們想多了，不會(huì)的
Ian Goodfellow叒來探討安全問題了，noisy SGD和PATE能滿足傳統(tǒng)計(jì)算機(jī)安全原則嗎？
MIT TR 35揭曉：阿里巴巴王剛、吳翰清等六位華人當(dāng)選，Ian Goodfellow上榜
吳恩達(dá)親自采訪百度林元慶和谷歌 Ian Goodfellow，他們對(duì)剛?cè)腴T者有何忠告？
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
