1
| 本文作者： 亞萌 | 2016-11-29 11:59 |
編者按：深度學(xué)習(xí)領(lǐng)域泰斗級人物 Yann LeCun 是 Quora上非常踴躍的答者，他樂于分享自己的心得體會。例如，有人問“你最喜歡的機(jī)器學(xué)習(xí)算法是什么？”，Yann LeCun 的回答是“Backdrop”。深度學(xué)習(xí)是新興領(lǐng)域，很多人想要學(xué)習(xí)，也不知如何入手，所以 Quora上有很多關(guān)于“如何學(xué)習(xí)深度學(xué)習(xí)技術(shù)”的問題，Yann LeCun 在一些問題下面給出了一些自己的見解，雷鋒網(wǎng)據(jù)此整理編輯成本文，供讀者參考。
在網(wǎng)上有很多關(guān)于Machine Learning 的材料、教程和視頻課程，包括 Coursera 上的一些大學(xué)課程。這里我主要講講深度學(xué)習(xí)領(lǐng)域。
你可以在網(wǎng)上聽一些指導(dǎo)性課程和演講，對深度學(xué)習(xí)有一個大致的了解。里面我比較推薦的有：
2015年5月《自然》上刊登的一篇概述性論文《深度學(xué)習(xí)》（Deep learning），由我自己、Yoshua Bengio 、Geoff Hinton共同撰寫。（網(wǎng)址：http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html）
系統(tǒng)性的課本方面，我推薦由 Goodfellow、Bengio 和 Courville共同撰寫的《深度學(xué)習(xí)》（Deep learning）（這個在網(wǎng)上有HTML版本，本書旨在幫助學(xué)生和從業(yè)人員入門機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)領(lǐng)域。HTML版本已經(jīng)編輯完成，并且永久免費(fèi)。網(wǎng)址：http://www.deeplearningbook.org/）
我曾在巴黎法蘭西公學(xué)院開課，其中有8堂課是關(guān)于深度學(xué)習(xí)，當(dāng)時是用法語講課，現(xiàn)在加上了英文版本。
法語版網(wǎng)址：Accueil
英語版網(wǎng)址：Home
Coursera 上面有 Geoff Hinton 關(guān)于神經(jīng)網(wǎng)絡(luò)的視頻課程（不過從現(xiàn)在的角度看，內(nèi)容稍微有點(diǎn)過時了）
2012 年 IPAM 上針對研究生的“深度學(xué)習(xí)和特征學(xué)習(xí)夏季課程”（這個夏季課程的授課老師包括 Geoff Hinton 、Yann LeCun、吳恩達(dá)、Yoshua Bengio等眾多深度學(xué)習(xí)專家，歷時半個多月時間，網(wǎng)上有完整視頻錄像，網(wǎng)址：http://www.ipam.ucla.edu/programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule）
2015 年我在紐約大學(xué)開了一門“深度學(xué)習(xí)”的課程，當(dāng)時錄成視頻放到了網(wǎng)上，但是由于愚蠢的法律原因，視頻現(xiàn)在已經(jīng)不在了，但 PPT 還在。2017 年春天我會重新在紐約大學(xué)教這門課。網(wǎng)址：http://cilvr.nyu.edu/doku.php?id=deeplearning2015%3Aschedule）
2015年在加拿大蒙特利爾市舉行了“深度學(xué)習(xí)夏季課程”（該課程的對象為：已經(jīng)具備的機(jī)器學(xué)習(xí)基本知識的研究生、業(yè)界工程師和研究人員，授課量十分豐富。網(wǎng)址：http://videolectures.net/deeplearning2015_montreal/）
另外，我還推薦一些關(guān)于特定平臺的使用教程，比如Torch、TensorFlow 和 Theano。
首先，盡你所能，把所有具有連續(xù)性的數(shù)學(xué)和物理課都上一遍。如果必須要在“iOS 編程”和“量子力學(xué)”之間選一門，一定要選后者。在任何情況下，都要上微積分（I）、 微積分（II）, 微積分（III）、線性代數(shù)、概率論和統(tǒng)計學(xué)，另外盡可能多的去聽物理學(xué)的課程。同時，還是要確保學(xué)習(xí)編程。
為什么物理學(xué)這么重要？因為物理學(xué)發(fā)明了很多數(shù)學(xué)方法，來給真實(shí)世界建模。比如，貝葉斯推理（BayesIan inference）在本質(zhì)上與統(tǒng)計力學(xué)（Statistical Mechanics）是相同的，反向傳播算法（ Backpropagation）可以看作是經(jīng)典力學(xué)里拉格朗日算符（Lagrangian）的一種簡單應(yīng)用。圖模型里的前向算法（ Forward Algorithm）是一種廣泛應(yīng)用于量子力學(xué)的路徑積分（Path Integral）。物理，能夠教你如何使用傅里葉變換（“海森伯不確定原理”的基石）、最大熵原理、配分函數(shù)、蒙特卡洛法、熱處理、波爾茲曼分布、動力系統(tǒng)、混沌等等。
選一個你感興趣的與 AI 有關(guān)的問題。
然后獨(dú)立對這個問題進(jìn)行思考。
一旦你形成了自己的想法，就開始閱讀圍繞這個問題的相關(guān)文獻(xiàn)。
你將會發(fā)現(xiàn)（a）你之前的想法有點(diǎn)幼稚，但是（b）你對該問題的看法開始有點(diǎn)不一樣了。
在你就讀的學(xué)校里，找到一個教授，他可以幫你把想法具體化。這或許有點(diǎn)困難，因為教授們都很忙，沒有多少時間來指導(dǎo)本科生。有很多空余時間的教授往往很年輕，而那些年紀(jì)比較大的教授，又往往不再活躍在研究圈子里。
如果你找到一個合適的教授，但他沒有空余時間指導(dǎo)你，那么你可以轉(zhuǎn)而去“勾搭”他/她實(shí)驗室里的博士后或博士生。
問問這個教授，是否可以讓你去參加他/她實(shí)驗室里的會議和研討，或者只是在他們開會的時候旁聽也行。
在你本科畢業(yè)之前，嘗試著寫一篇關(guān)于你研究工作的論文，或者在網(wǎng)上公布一些開源代碼。
現(xiàn)在，你可以去申請 PhD 項目了。不要去管所謂的學(xué)?！芭琶?，一定要找你感興趣領(lǐng)域里有聲譽(yù)的教授，他論文你很喜歡或欽佩。
你可以同時申請幾個學(xué)校的 PhD 項目，當(dāng)然選擇的時候參考上條標(biāo)準(zhǔn)。在申請信里，你要提到你很希望跟這個教授一起工作，但是也愿意與其他教授一起。
問一問你的本科教授，請他幫你寫一封推薦信。如果你的本科教授與你所申請的 PhD 項目教授認(rèn)識，那么將是非常有利的。
如果你沒有錄取到自己心儀的 PhD 項目，可以到Facebook或谷歌工作，并且嘗試去FAIR 或Google Brain 實(shí)驗室做一個工程師，來協(xié)助實(shí)驗室里科學(xué)家的工作。
發(fā)表與公司實(shí)驗室里課題有關(guān)的論文，然后重新申請 PhD 項目，并且讓 FAIR 或 Google Brain 實(shí)驗室里的科學(xué)家?guī)湍銓懲扑]信。
有很多人在致力于不同的領(lǐng)域，并取得了非常好的進(jìn)展：
深度學(xué)習(xí)與推理和規(guī)劃相結(jié)合。
基于模型的深度強(qiáng)化學(xué)習(xí)（涉及到無監(jiān)管預(yù)測型學(xué)習(xí)）。
經(jīng)由可辨的記憶模塊鞏固加強(qiáng)的遞歸神經(jīng)網(wǎng)絡(luò)（例如，記憶網(wǎng)絡(luò)）：
a. 記憶網(wǎng)絡(luò)(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AumqufdRvDiIC）
b. 堆棧增強(qiáng)的RNN(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=oBu8kMMAAAAJ&sortby=pubdate&citation_for_view=oBu8kMMAAAAJ%3AgKiMpY-AVTkC）
c. 神經(jīng)圖錄機(jī)(DeepMind)（網(wǎng)址：https://arxiv.org/abs/1410.5401）
d. 端對端型MemNN (FAIR/NYU)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AKbBQZpvPDL4C）
經(jīng)過對抗性訓(xùn)練得到的生成型（預(yù)測）模型。
“微程序設(shè)計”：其核心思想----將程序（或電路）看作可通過Backdrop進(jìn)行訓(xùn)練的微模塊。這一思想表明深度學(xué)習(xí)不僅可以學(xué)會識別模型（如前饋神經(jīng)網(wǎng)），而且可以生成算法（如循環(huán)算法，遞歸算法，子程序算法等）。從DeepMind、FAIR及其他資源中可獲得一些相關(guān)方面的文章，但是，這些僅僅是初級階段的成果。
分層規(guī)劃與分層強(qiáng)化學(xué)習(xí)：這是學(xué)習(xí)將一個復(fù)雜的任務(wù)拆分成一些簡單的子任務(wù)的問題所在，是所有智能系統(tǒng)要滿足的要求。
對外界事物的無監(jiān)管學(xué)習(xí)預(yù)測模型（例如，視頻預(yù)測）。
如果未來幾年 AI 能在這些方向取得重大發(fā)展，那么將會涌現(xiàn)大量更為智慧的AI 智能體，應(yīng)用于對話系統(tǒng)、問答、適應(yīng)性的機(jī)器人控制與規(guī)劃等領(lǐng)域 。
構(gòu)建出無監(jiān)督學(xué)習(xí)方法，這是一大挑戰(zhàn)。但這將允許大型神經(jīng)網(wǎng)絡(luò)在沒有直接人工注釋數(shù)據(jù)的情況下，通過看視頻、閱讀書本便能夠“學(xué)習(xí)現(xiàn)實(shí)世界是如何運(yùn)轉(zhuǎn)的”。
這將最終衍生出對現(xiàn)實(shí)世界有足夠了解的機(jī)器，它們開始具有人類的“常識”。要實(shí)現(xiàn)這一目標(biāo)，可能會花費(fèi)5年、10年、20年，甚至更久的時間，我們尚不能確定具體的期限。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
