0
| 本文作者： 楊曉凡 | 2017-08-11 16:26 |
雷鋒網 AI 科技評論按：隨著吳恩達公開 Deeplearning.ai 系列深度學習課程，他也出人意料地放出了一系列主題為“The Heros in Deep Learning”的采訪視頻。吳恩達親自上陣采訪了“深度學習教父” Geoffery Hinton、“GANs之父” Ian Goodfellow、“深度學習三駕馬車”中另一位 Yoshua Bengio 、UC伯克利教授 Pieter Abbeel 、百度研究院院長林元慶 、“深度學習網紅”Andrej Karpathy、蘋果機器學習總監 Ruslan Salakhutdinov 這7位深度學習界重要人物。
吳恩達此舉的目的之一當然是宣傳推廣 Deeplearning.ai ，但他也希望大家從課程中了解深度學習的技術思維之后，也能夠認識幾位深度學習界的重要人物，他們在這個領域的創立和發揚光大中發揮了很大的作用。而且他還請這些重要人物們給新入門的人提一提職業建議，應該如何進行研究，或者如何找到工作。
林元慶是現任百度深度學習實驗室（IDL）主任，擁有清華大學光學工程碩士學位和賓夕法尼亞大學電氣工程博士學位。林元慶在機器學習和計算機視覺等研究領域擁有多年的研究經驗和顯著的成果，曾擔任NIPS大會領域主席、大規模視覺識別和檢索國際研討會聯合主席等。在加入百度前，曾帶領NEC的研究團隊在深度學習、計算機視覺和無人駕駛等領域取得世界領先水平。
另一方面，今年2月，國家發改委正式批復由百度牽頭籌建深度學習技術及應用國家工程實驗室，實驗室將由百度深度學習實驗室主任林元慶、百度深度學習實驗室科學家徐偉、清華大學張鈸院士和北京航空航天大學李未院士組成團隊。除了牽頭方百度外，實驗室共建單位還有清華大學、北京航空航天大學、中國信息通信研究院、中國電子技術標準化研究院等單位。
吳恩達：謝謝元慶，很榮幸可以邀請您參加這次采訪！那么，現在您擔任著百度研究院的院長，中國政府想要建立一個全國性的深度學習研究院（雷鋒網 AI 科技評論注：深度學習技術及應用國家工程實驗室）的時候也選擇了您來負責牽頭，那在我看來，您就是全中國最重量級的深度學習專家。關于您的研究我有很多問題想問，不過在此之前，我想先請您講講您自己的故事，您是如何一步步來到今天的位置的？
林元慶：好的。其實在我讀博之前，我的專業是光學，更接近做物理的，我也就有很不錯的數學背景。后來當我來到美國，我也在考慮博士應該讀什么專業，是繼續讀光學還是讀別的。那時是2000年前后，微電子技術非常熱門，但是我想要選一個更刺激的。那時剛好有個好機會去賓夕法尼亞大學聽了幾節 Daniel D. Lee 的課，后來他也就是我的博士生導師。當時聽完課以后的感覺是，機器學習是一件很有意思的事情，我覺得很激動，就換了專業，在賓大讀了機器學習的博士學位。我在那里待了5年，始終都讓我覺得很帶勁，有很多事情都是從零學起的，很多算法、甚至PCA，我在那之前都不知道，每天都有新東西學，對我來說是一段非常有意思的經歷。
吳恩達：那時候有很多著名的學者做出了很多研究，但是都沒有得到足夠的重視。
林元慶：對的。NEC也是一個有趣的地方，我在那里一開始是研究員，在那里也是學到了很多新東西。我也就是在NEC的時候開始研究計算機視覺的，其實開始的挺遲的，相對比較遲。我在那里做的第一件大事就是參加了 ImageNet 比賽，還是比賽的第一屆，我帶了一個團隊在研究。我覺得特別幸運，我們團隊很強，最后真的拿下了比賽第一名。
吳恩達：世界上第一個贏得 ImageNet 比賽的人
林元慶：沒錯，而且我也是在 workshop 上做演講的那個人，這段經歷很美妙。這也是讓我走向超大規模機器視覺方向的一件事，從那以后我研究的都是很大規模的計算機視覺問題。到后來 AlexNet 之類的網絡出現的時候我覺得很震驚，我心里說“深度學習真的很厲害”。我也就是做了很多這方面的研究。
吳恩達：那么作為深度學習國家級實驗室的負責人，您肯定在里面領導著很多有趣的研究吧？其中有可以講給全球的觀眾們聽聽的嗎？
林元慶：這個國家級實驗室的目標是建立超大規模的深度學習平臺，甚至建立全球最大的平臺，起碼中國最大吧。在這樣的平臺上，我們可以給研究者提供深度學習框架，比如PaddlePaddle，還有計算技能和資源，以及超大規模的數據。如果有人能夠借助平臺做研究、開發出新技術，我們也會給他們提供應用的機會，比如把新技術對接到百度中，新技術就可以迭代、升級。所以我們就是把這些資源整合到一起，從而成為一個強大的平臺，而且還可以，比如有人發布了一項研究成果，別人想要重復他的結果的話，就需要找地方下載代碼到自己的電腦里，要找到他用的數據集，還要能夠正確地配置代碼才能讓模型跑起來，都會花不少的功夫。在國家級實驗室的平臺上，這些事情都會變得輕松很多，如果研究是在平臺上進行的，平臺上就會有這些代碼，代碼的計算環境也是設置好的，數據集也是現成的，要重復結果的話，輸一行指令就好了。這樣就基本解決了計算機科學方面的重復性問題，幾乎是幾秒鐘時間就可以開始運行在別人論文中看到的成果。這樣的事情就很厲害，這也就是我們在國家級實驗室做的事情之一，來保證我們給機器學習的研究和工業界提供了非常強大的平臺。
吳恩達：這個很棒啊，能大大加速深度學習的研究進程。能不能介紹一下為了建立這個國家級實驗室，中國政府都提供了多少資源呢？
林元慶：中國政府提供了許多資金構建這個國家級工程實驗室的基礎設施，但是我覺得更重要的是這件事會成為國內的一件標志性的事件，引發更多的人進行深度學習研究，比如國家級項目、政策支持等等。這樣就會形成強大的力量。對百度來說，這個實驗室也是一件大事。
吳恩達：您是中國深度學習界的核心人物之一，不過全球研究者的了解還不多。您有哪些關于中國深度學習的事情是想告訴中國之外的人的嗎？
林元慶：我覺得在過去幾年中，深度學習驅動的產品在爆發式增長，從搜索引擎、詞語識別，到安防、電子商務，有非常多的應用，它們也都在深度學習方面做出了很多努力，真的借助這些技術把自己的產品變得非常強大。總的來說這樣的環境對 AI 技術的研究也有很大意義，不僅是我，很多人都覺得形成一個“正向循環”是非常重要的。比如當我們考慮用技術構建應用的時候，我們有一些初始數據，有一些初始算法，發布一個初始的產品；然后就可以從用戶獲得數據，獲得更多的數據就可以構建更好的算法，更多數據和更好的算法就可以帶來更好的技術、更好的產品，那么就可以吸引更多的用戶，就又有了更多的數據。這就是一個正向循環，而且也是人工智能相關的技術特有的現象。傳統的技術就不是這樣，比如激光，我學過激光嘛，那么傳統技術的發展就比較線性，而人工智能技術因為有這樣的正向循環，就很容易想象在某個點上一定會出現技術的飛速增長。我們在研發開發中也會很看重這樣的過程，我們研究這個規律，來讓自己更快地達到這個飛速增長的點。如果我們商業模式沒辦法形成這樣的正向循環，我們可能就不會沿那個方向走下去，因為別人可能會有很強的商業模式、很強的循環、更快地達到高技術水平。這就是我們公司里在挑選做哪些方向的時候的重要邏輯。
吳恩達：現在美國、在全球有很多人想要參與到深度學習和人工智能中來，您對想要加入的人有什么建議嗎？
林元慶：現在的人有很多開源框架可以作為入門的選擇，對初學者來說這些框架功能很強大。當我剛開始學習深度學習的時候，沒什么開源資源。現在在人工智能方面，尤其是深度學習，有很多的開源資源，是非常好的研究社區，有很多個很好的深度學習框架，比如TensorFlow、Caffe，現在都已經是Caffe2了，在中國還有PaddlePaddle也很不錯。大多數框架都能找到許多線上課程教你如何使用，公開的benchmark也有很多，人們可以去圍觀那些厲害的、有經驗的研究者，看看他們的表現如何。所以想要了解深度學習的話，這些方面都很方便起步。
吳恩達：您對深度學習的深入了解是如何形成的？
林元慶：我其實跟剛才說的剛好相反，我先接觸的都是 PCA、LDA 等等數學方法，然后才開始做深度學習。不過我覺得這個方式也不錯，構建了很多基礎、學了圖模型。現在深度學習當然是主流，不過有這些知識的話，就對深度學習的運行方式有了更好的直覺。深度學習和這些基礎框架之間本來也有各種聯系，這些知識也會讓這種聯系更緊密，也讓做深度學習的方式更加豐富。所以我覺得從那些強大的開源框架開始學習很好，同時我也建議學習一些機器學習的基礎知識。
吳恩達：謝謝！您講的非常精彩！我認識您這么久，但是都沒有聽到過您考慮問題時候的這么多細節。謝謝！
林元慶：感謝邀請！
Ian Goodfellow目前是谷歌大腦的研究員，也是機器學習界的大名人。他是 Yoshua Bengio 的弟子，最近 Ian Goodfellow、Yoshua Bengio、Aaron Courville三人合著的“花書”「Deep Learning」中文版「深度學習」也上市了，是領域內最優秀的教材之一。 讓 Ian Goodfellow 名聲鵲起的是他提出的 GANs 生成式對抗性網絡，為解決生成式問題提供了革命性的思路，從提出以后一直是熱門的研究課題。
吳恩達：Ian 你是全世界最出名的深度學習研究員之一，給我們講講你的故事吧，你是如何開始做現在的工作的？
Ian Goodfellow：嗯好的。其實我認識你的時候才接觸機器學習沒多久，我以前學的是神經科學，我在斯坦福讀本科時候的導師鼓勵我看看你的“AI入門”課程。
吳恩達：這樣啊，我還是第一次聽說
Ian Goodfellow：對。那時候我覺得人工智能聽起來挺美的，但是實際看到它們的時候都是游戲里的那種 AI，人們提前給游戲里的NPC編好固定的規則，他們就可以根據那些腳本在不同的時間地點說不同的話。然后這樣我就看了你的“AI入門”課程，你在課里講了線性回歸、線性回歸誤差的偏置-方差分解，我就開始意識到這是一門真正的科學，可以把 AI 作為科學事業去做，不再做神經科學了。
吳恩達：不錯~ 然后呢？
Ian Goodfellow：后來我就來旁聽你的課，其中有個很大的轉折點是，這門課的學生里有個人是我的朋友 Ethan，他掉進 Geoff Hinton 的深度信念網絡論文里出不來了（雷鋒網 AI 科技評論注：Ian 的原話是“got arrested in Geoff Hinton's deep belief net paper”，這個用詞好精彩），后來為了運行玻爾茲曼機，我們倆人就用課后時間造了一臺基于CUDA GPU的計算機，是斯坦福最早的之一。那個時候我就建立起了這樣的信念，未來應當是屬于深度學習的。我也研究過其它的算法，比如支持向量機在很多時候感覺還是不理想，面對更多數據它會更慢，或者是對于一樣的訓練數據，沒有什么別的參數可以調整來優化它的表現。這時候開始我就盡可能多地學習深度學習。
吳恩達：我還記得有篇很老的GPU論文，認可了很多你做的早期工作
Ian Goodfellow：對的，那些都是在我們早期的機器上完成的。第一臺機器是我和Ethan兩個人自己出錢在Ethan家造出來的，后來的第二臺第三臺就是用實驗室的錢造給斯坦福實驗室用的。
吳恩達：厲害啊，我還真不知道是這樣的。那么到現在，讓深度學習突飛猛進的重要事情之一就是你發明的GANs，你是怎么想出來的？
Ian Goodfellow：我研究生成式模型研究了好久，GANs就是一種建立生成式模型的方法，你手里有很多訓練數據，然后想要創造更多類似的數據，不過是要創造全新的、從來沒有以那種形式出現過的數據。在我想到GANs之前，構建生成式模型有好多熱門方法，我讀博士的時候對它們都做了仔細的研究，就對它們的優點缺點都非常清楚，比如玻爾茲曼機、稀疏編碼等等當時幾年內都很熱門的方法，我就想找一個能夠避開所有這些方法的缺點的新方法。后來當我和朋友在酒吧里爭論的時候，終于有個靈感劃過，我就說要做如何如何就行，那個朋友不相信。那時候我其實應該是正在寫「深度學習」課本的，但是我特別相信這個想法肯定能行，所以我當晚就編程把它寫出來，然后也真的成功了。
吳恩達：就花了一晚上就實現了GANs的第一個版本
Ian Goodfellow：我從朋友的送別聚會出來回到家的時候大概半夜，然后花了一晚上寫出來。事后想起來的時候覺得特別幸運，第一個版本就成了，不用調超參數什么的。
吳恩達：我從別的地方聽到一個傳聞說，你有一次接近死亡的經歷，而且它讓你對 AI 的投入更堅定了，能給我講講嗎？
Ian Goodfellow：嗯，其實不是真的快要死掉，但是覺得自己很可能會死，那時候頭特別疼，有幾位醫生說我可能有腦出血。所以就做了MRI來確定到底有沒有腦出血，在等MRI結果的時候我就意識到，那時候我大多數的念頭都是想讓別的人能夠試試我的研究想法，其實很多想法都挺傻的，不過那時候我意識到，我生命中最大的財富之一其實就來自于自己進行更多的研究。
吳恩達：啊，所以當你覺得你快要死去的時候，你心里想的是要把研究做完。這種決心真的讓人覺得震撼。然后，現在你仍然參與很多GANs的研究，那么你覺得GANs的未來如何？
Ian Goodfellow：現在GANs可以用來做很多不同的事情，比如在監督學習中，給其它的模型生成訓練數據，甚至模擬科學實驗。根本上來說，這些事情都可以用其他的生成式模型完成，所以我覺得GANs現在在一個重要的交叉路口面前，目前的GANs有時候效果很好，但是真的要發揮出GANs的厲害之處就靠的不都是科學，更像是一種藝術。這就跟十年前人們對深度學習的總體感覺一樣，那時候我們用的是基于玻爾茲曼機的深度信念網絡，它們特別特別難處理。后來我們逐漸換成了ReLU、Batch Normalization之后，深度學習就變得可靠多了。如果我們能夠讓GANs變得像深度學習這樣可靠的話，那我覺得現在使用GANs的場景，以后也還會繼續用GANs，而且能夠達到更好的效果。但是如果我們解決不了GANs的穩定性的問題的話，它在歷史上留下的貢獻就只是多展示了一種構建生成式模型的方法，然后最終還是會被其它形式的生成式模型取代。所以我現在的所有時間里大概有40%都是用在研究如何讓GANs更穩定上的。
吳恩達：不錯。有很多人加入深度學習界已經10年了，比如你就是，而且現在還是先行者之一。也許現在加入GANs的研究的人假如能夠搞定它的話，也會是未來的先行者。
Ian Goodfellow：對，很多人已經是GANs的早期先行者，當我們梳理歷史上對GANs的發展做出貢獻的人的時候，也不能漏了別的研究小組，比如Facebook、伯克利等等，他們也做出了很多貢獻。
吳恩達：除了你自己的研究之外，你也是「Deep Learning」這本書的作者之一，跟我講講吧。
Ian Goodfellow：這本書是我和Yoshua Bengio、Aaron Courville合著的，Aaron是我的博士生導師。這是關于現代深度學習的第一本教科書，英文版和中文版都很受歡迎，兩種語言的加起來應該已經賣出7萬本了。我也收到了很多學生的反饋，說看書以后有很大的收獲。我們的書和其它的書有一點不一樣，我們在開頭專門有一章講深度學習里需要用到的數學知識。我從你在斯坦福教授的課程里學感受到線性代數和概率論是非常重要的，就是，人們對機器學習算法很感興趣，但是如果想做一個優秀的實踐者的話，就需要先掌握算法背后的基礎數學原理才行。所以我們就在一開始集中介紹所需的數學知識，這樣就不用學會全部的線性代數知識，但是可以很快學會深度學習最常用的那些線性代數知識。
吳恩達：所以對數學感到頭痛的、有段時間沒看過數學的人，就可以從數的開頭學到這些背景知識，然后進入深度學習的部分
Ian Goodfellow：里面有所有有必要知道的知識和公理，然后還是要很花一些功夫練習，才能把它們用好。對于真的不喜歡數學的人，應該還是會比較痛苦的。但是對于愿意學習、有信心掌握的人，所有需要用到的數學工具都在這里了。
吳恩達：作為深度學習領域的長期研究者，你覺得這些年里人工智能和深度學習的發展趨勢如何？
Ian Goodfellow：10年前的時候，整個研究大家庭里最大的問題是如何運用深度學習的方法解決人工智能相關的問題。那時候我們用厲害的工具解決簡單的問題，比如如何從手工提取的特征中識別模式，人類設計師要做其中的很多工作，創建那些特征然后輸入到電腦里。這樣的方法對預測廣告點擊、各種基本科學分析之類的任務很好使，但是花了非常多的精力才能讓它處理上百萬像素的圖像、音頻波形之類的，因為這樣的系統是完全從零開發出來的，差不多解決這些問題也就是5年前的事。現在我們遇到的問題是，面前的方法太多了，對于一個想要進入 AI 領域的人來說，最大的問題是選擇到底從事哪個方向，是想要把強化學習提升到監督學習的水平還是想要把無監督學習提升到監督學習的水平，是想要保證機器學習算法能夠保證公平、不要表現出人類想要避免的偏見，還是想要解決 AI 帶來的社會問題來保證 AI 能夠讓每個人都受益而不是造成剝削和失業。現在真的是一個很精彩的時刻，有很多不同的事情可以做，我們既需要避開 AI 帶來的問題，也要盡可能發揮 AI 的長處。
吳恩達：現在有很多人想要加入到人工智能的潮流中來，你有什么建議給他們嗎？
Ian Goodfellow：很多想要研究 AI 的人都覺得一個博士學位或者類似的證書是必需品，但是我覺得這已經不再是硬性要求了。我覺得寫代碼然后把它們放在github上面就是一種很好的吸引注意力的方式。如果你有一個有意思的項目，解決的問題剛好是和頂級研究者一樣的問題，那么一旦他們看到了你的github項目，他們就會主動來找你，邀請你去工作。我去年在OpenAI招的、今年在谷歌招的人里面，很多都是因為我先在github上面看到了他們的開源項目，跟他們合作覺得很愉快，然后就把他們招進來了。在arXiv上面發論文也不錯。很多時候你的想法可能還推敲得不夠深入，沒法形成能夠被科學界接納的新的學術成果，但是只是形成一個軟件項目就會容易得多、快得多。
吳恩達：所以就是從你的書中學習，再在編程中訓練，最后發布在github甚至arXiv上
Ian Goodfellow：我覺得如果是以看書的方式學習的話，同步開發一個項目真的很重要，找個自己感興趣的地方試試學到的算法，假設你是一個想學深度學習的戶外生物學家，你就可以自己開發一套識別鳥類的系統；或者如果你不知道如何在自己的生活中運用深度學習的話，你也可以做一個街景照片門牌號分類器，數據集都是現成的，非常好上手。這樣就可以看書或者看視頻課程的技術解析的過程中對所有的基礎技能加以練習。
吳恩達：在過去的兩三年時間里，我也看到你做了很多對抗性樣本方面的研究，也跟我們講講吧。
Ian Goodfellow：對抗性樣本其實開創了一個新的研究領域，我把它稱作“機器學習安全”領域。以前我們已經見識過了計算機安全問題，攻擊者可以欺騙計算機，讓它運行別的代碼，這是應用層安全；也有的攻擊是讓計算機錯誤地識別網絡信息的發送者，他們就可以偽裝成別的人，這就是網絡層安全。現在我們已經表明也可以讓機器學習算法出現不正常的表現，即便運行算法的計算機執行的代碼是正確的、而且也知道網絡信息的發送者到底是誰。我覺得在新技術剛剛出現時就把安全作為它的一部分是很重要的，我們發現已經有一個完整的功能性系統以后再提高它的安全性特別困難。所以我特別支持現在就要重視和提高機器學習安全性的觀點，這樣才能確保這些算法一開始就是安全的，而不是幾年以后再補丁摞補丁。
吳恩達：非常感謝！雖然認識你這么多年了，你講的這些事情聽起來還是那么精彩，我都沒想到。謝謝！
Ian Goodfellow：謝謝邀請我參加采訪，我也聊得很開心！
已經有朋友把7集采訪視頻搬運到了國內，點擊下方鏈接即可觀看。
via Deeplearning.ai，文中采訪內容雷鋒網 AI 科技評論聽譯
相關文章：
科技圈自媒體達人吳恩達又雙叒叕刷屏了 這次是因為Deeplearning.ai
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
