大神Yann LeCun親授：如何自學深度學習技術并少走彎路

編者按：深度學習領域泰斗級人物 Yann LeCun 是 Quora上非常踴躍的答者，他樂于分享自己的心得體會。例如，有人問“你最喜歡的機器學習算法是什么？”，Yann LeCun 的回答是“Backdrop”。深度學習是新興領域，很多人想要學習，也不知如何入手，所以 Quora上有很多關于“如何學習深度學習技術”的問題，Yann LeCun 在一些問題下面給出了一些自己的見解，雷鋒網據此整理編輯成本文，供讀者參考。

問：自學機器學習技術，你有哪些建議？

在網上有很多關于Machine Learning 的材料、教程和視頻課程，包括 Coursera 上的一些大學課程。這里我主要講講深度學習領域。

你可以在網上聽一些指導性課程和演講，對深度學習有一個大致的了解。里面我比較推薦的有：

• 2015年5月《自然》上刊登的一篇概述性論文《深度學習》（Deep learning），由我自己、Yoshua Bengio 、Geoff Hinton共同撰寫。（網址：http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html）

• 系統性的課本方面，我推薦由 Goodfellow、Bengio 和 Courville共同撰寫的《深度學習》（Deep learning）（這個在網上有HTML版本，本書旨在幫助學生和從業人員入門機器學習，尤其是深度學習領域。HTML版本已經編輯完成，并且永久免費。網址：http://www.deeplearningbook.org/）

• 我曾在巴黎法蘭西公學院開課，其中有8堂課是關于深度學習，當時是用法語講課，現在加上了英文版本。

法語版網址：Accueil 

英語版網址：Home

• Coursera 上面有 Geoff Hinton 關于神經網絡的視頻課程（不過從現在的角度看，內容稍微有點過時了）

• 2012 年 IPAM 上針對研究生的“深度學習和特征學習夏季課程”（這個夏季課程的授課老師包括 Geoff Hinton 、Yann LeCun、吳恩達、Yoshua Bengio等眾多深度學習專家，歷時半個多月時間，網上有完整視頻錄像，網址：http://www.ipam.ucla.edu/programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule）

• 2015 年我在紐約大學開了一門“深度學習”的課程，當時錄成視頻放到了網上，但是由于愚蠢的法律原因，視頻現在已經不在了，但 PPT 還在。2017 年春天我會重新在紐約大學教這門課。網址：http://cilvr.nyu.edu/doku.php?id=deeplearning2015%3Aschedule）

• 2015年在加拿大蒙特利爾市舉行了“深度學習夏季課程”（該課程的對象為：已經具備的機器學習基本知識的研究生、業界工程師和研究人員，授課量十分豐富。網址：http://videolectures.net/deeplearning2015_montreal/）

• 另外，我還推薦一些關于特定平臺的使用教程，比如Torch、TensorFlow 和 Theano。

問：如果一名本科生想要成為深度學習領域的研究型科學家，你有什么建議？

首先，盡你所能，把所有具有連續性的數學和物理課都上一遍。如果必須要在“iOS 編程”和“量子力學”之間選一門，一定要選后者。在任何情況下，都要上微積分（I）、 微積分（II）, 微積分（III）、線性代數、概率論和統計學，另外盡可能多的去聽物理學的課程。同時，還是要確保學習編程。

為什么物理學這么重要？因為物理學發明了很多數學方法，來給真實世界建模。比如，貝葉斯推理（BayesIan inference）在本質上與統計力學（Statistical Mechanics）是相同的，反向傳播算法（ Backpropagation）可以看作是經典力學里拉格朗日算符（Lagrangian）的一種簡單應用。圖模型里的前向算法（ Forward Algorithm）是一種廣泛應用于量子力學的路徑積分（Path Integral）。物理，能夠教你如何使用傅里葉變換（“海森伯不確定原理”的基石）、最大熵原理、配分函數、蒙特卡洛法、熱處理、波爾茲曼分布、動力系統、混沌等等。

1. 選一個你感興趣的與 AI 有關的問題。

2. 然后獨立對這個問題進行思考。

3. 一旦你形成了自己的想法，就開始閱讀圍繞這個問題的相關文獻。

4. 你將會發現（a）你之前的想法有點幼稚，但是（b）你對該問題的看法開始有點不一樣了。

5. 在你就讀的學校里，找到一個教授，他可以幫你把想法具體化。這或許有點困難，因為教授們都很忙，沒有多少時間來指導本科生。有很多空余時間的教授往往很年輕，而那些年紀比較大的教授，又往往不再活躍在研究圈子里。

6. 如果你找到一個合適的教授，但他沒有空余時間指導你，那么你可以轉而去“勾搭”他/她實驗室里的博士后或博士生。

7. 問問這個教授，是否可以讓你去參加他/她實驗室里的會議和研討，或者只是在他們開會的時候旁聽也行。

8. 在你本科畢業之前，嘗試著寫一篇關于你研究工作的論文，或者在網上公布一些開源代碼。

9. 現在，你可以去申請  PhD 項目了。不要去管所謂的學校“排名”，一定要找你感興趣領域里有聲譽的教授，他論文你很喜歡或欽佩。

10. 你可以同時申請幾個學校的 PhD 項目，當然選擇的時候參考上條標準。在申請信里，你要提到你很希望跟這個教授一起工作，但是也愿意與其他教授一起。

11. 問一問你的本科教授，請他幫你寫一封推薦信。如果你的本科教授與你所申請的 PhD 項目教授認識，那么將是非常有利的。

12. 如果你沒有錄取到自己心儀的 PhD 項目，可以到Facebook或谷歌工作，并且嘗試去FAIR 或Google Brain 實驗室做一個工程師，來協助實驗室里科學家的工作。

13. 發表與公司實驗室里課題有關的論文，然后重新申請 PhD 項目，并且讓 FAIR 或 Google Brain 實驗室里的科學家幫你寫推薦信。

問：在未來5-10年內，AI 將可能朝哪些方向發展？

有很多人在致力于不同的領域，并取得了非常好的進展：

1. 深度學習與推理和規劃相結合。

2. 基于模型的深度強化學習（涉及到無監管預測型學習）。

3. 經由可辨的記憶模塊鞏固加強的遞歸神經網絡（例如，記憶網絡）：

   a. 記憶網絡(FAIR)（網址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AumqufdRvDiIC）
   b. 堆棧增強的RNN(FAIR)（網址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=oBu8kMMAAAAJ&sortby=pubdate&citation_for_view=oBu8kMMAAAAJ%3AgKiMpY-AVTkC）
   c. 神經圖錄機(DeepMind)（網址：https://arxiv.org/abs/1410.5401）
   d. 端對端型MemNN (FAIR/NYU)（網址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AKbBQZpvPDL4C）
   

4. 經過對抗性訓練得到的生成型（預測）模型。

5. “微程序設計”：其核心思想----將程序（或電路）看作可通過Backdrop進行訓練的微模塊。這一思想表明深度學習不僅可以學會識別模型（如前饋神經網），而且可以生成算法（如循環算法，遞歸算法，子程序算法等）。從DeepMind、FAIR及其他資源中可獲得一些相關方面的文章，但是，這些僅僅是初級階段的成果。

6. 分層規劃與分層強化學習：這是學習將一個復雜的任務拆分成一些簡單的子任務的問題所在，是所有智能系統要滿足的要求。

7. 對外界事物的無監管學習預測模型（例如，視頻預測）。

如果未來幾年 AI 能在這些方向取得重大發展，那么將會涌現大量更為智慧的AI 智能體，應用于對話系統、問答、適應性的機器人控制與規劃等領域 。

構建出無監督學習方法，這是一大挑戰。但這將允許大型神經網絡在沒有直接人工注釋數據的情況下，通過看視頻、閱讀書本便能夠“學習現實世界是如何運轉的”。

這將最終衍生出對現實世界有足夠了解的機器，它們開始具有人類的“常識”。要實現這一目標，可能會花費5年、10年、20年，甚至更久的時間，我們尚不能確定具體的期限。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。