Yoshua Bengio大神為什么要留在學(xué)術(shù)界？

近日雷鋒網(wǎng)對(duì)深度學(xué)習(xí)三巨頭Hinton、LeCun、Bengio中的前兩位做了生平開(kāi)扒，就差最后一個(gè)Bengio了。作為僅存的幾個(gè)仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一，他在網(wǎng)上能刮到的生平介紹自然比前兩位少得多，但雷鋒網(wǎng)還是盡自己開(kāi)扒小能手的義務(wù)，為大家找到了所有我們能找到的資料，讓他不再活在傳說(shuō)中。

1. 根據(jù)Bengio的博文自述，在20世紀(jì)80年代Bengio還是一個(gè)學(xué)生的時(shí)候，（深度學(xué)習(xí)只）是一個(gè)神經(jīng)網(wǎng)絡(luò)里的概念，也可以說(shuō)是深度學(xué)習(xí)的前身，他對(duì)這個(gè)概念非常著迷并決定要在計(jì)算機(jī)科學(xué)領(lǐng)域開(kāi)啟他的學(xué)術(shù)生涯。

2. 根據(jù)網(wǎng)傳的一張關(guān)系圖，Bengio曾是吳恩達(dá)恩師Jordan的博士后（在他那里讀的博士后）。

3. 1992-1993年時(shí)，Bengio與另一位深度學(xué)習(xí)大神Yann LeCun在AT&T 貝爾實(shí)驗(yàn)室是同事。

4. Bengio 的 A neural probabilistic language model" 這篇論文開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)做 language model 的先河。里面的思路影響、啟發(fā)了之后的很多基于神經(jīng)網(wǎng)絡(luò)做 NLP（自然語(yǔ)音處理） 的文章。  

5. Bengio博士后的導(dǎo)師Jordan也曾提到：“到目前為止，在更高級(jí)的自然語(yǔ)言處理任務(wù)中，深度學(xué)習(xí)并未像在語(yǔ)音識(shí)別、物體識(shí)別（圖像識(shí)別）等任務(wù)上做到的那樣，顯著降低錯(cuò)誤率。”

所以在Hinton提出深度學(xué)習(xí)概念激活了整個(gè)領(lǐng)域、LeCun發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)（CNN）這樣的階段性突破成果的前提下，Bengio對(duì)自然語(yǔ)音處理難題的貢獻(xiàn)是非常有意義的，說(shuō)不定幾年后自然語(yǔ)音處理難題攻克后，他會(huì)更加名聲大噪。

6. 他能跟Hinton、LeCun合稱為3巨頭，除了對(duì)RNN的一系列推動(dòng)（neural language model，gradient vanishing 的細(xì)致討論，word2vec的雛形）還有一個(gè)很重要的原因，他在神經(jīng)網(wǎng)絡(luò)不景氣的時(shí)候還堅(jiān)持神經(jīng)網(wǎng)絡(luò)研究，具備了一種超越普通學(xué)術(shù)熱愛(ài)的品質(zhì)。

7. 2013年一些業(yè)界大牛響應(yīng)業(yè)界召喚去科技公司，Yoshua Bengio當(dāng)時(shí)估計(jì)，全世界僅有約 50 名深度學(xué)習(xí)領(lǐng)域?qū)＜遥渲性S多還仍是研究生。

8. 2015年4月，吳恩達(dá)Reddit答粉絲問(wèn)時(shí)提到他的時(shí)候，表示“Yoshua Bengio的許多理論研究對(duì)我有很大啟發(fā)”。

9. 關(guān)于Bengio為什么不像其它兩位大牛加入Google或者Facebook來(lái)讓自己更加名聲大噪，或許我們可以從Hinton的說(shuō)辭中一窺一二。

10. Bengio在最近的博文中稱，這個(gè)領(lǐng)域所需要做的事光靠幾個(gè)“媒體明星”是遠(yuǎn)遠(yuǎn)不夠的。為了達(dá)成更大的進(jìn)步并實(shí)現(xiàn)更多的應(yīng)用，人工智能領(lǐng)域無(wú)論在學(xué)術(shù)界還是工業(yè)界都需要成千上萬(wàn)個(gè)科學(xué)家和工程師們。

對(duì)于大公司的人才搶奪策略，Hinton曾說(shuō)，“有些危險(xiǎn)的是，如果足夠多的大公司雇了足夠多的研究人員，那么，大學(xué)就沒(méi)有足夠多的人來(lái)培養(yǎng)學(xué)生、進(jìn)行純粹的基礎(chǔ)研究了。”但是，他又認(rèn)為，技術(shù)公司已經(jīng)意識(shí)到這些問(wèn)題了，比如，谷歌希望Bengio繼續(xù)自己的基礎(chǔ)研究。所以，Bengio全身心投入在學(xué)術(shù)界，并不是因?yàn)樗卸嗝磁懦鈽I(yè)界，而是他要留在學(xué)生界做更重要的事——帶頭培養(yǎng)成千上萬(wàn)個(gè)科學(xué)家和工程師們。

而另一方面，我們知道最近深度學(xué)習(xí)在各個(gè)領(lǐng)域應(yīng)用之所以這么成功，主要得益于現(xiàn)在更為強(qiáng)大的計(jì)算機(jī)、可用的海量豐富數(shù)據(jù)集以及先進(jìn)的算法，深度學(xué)習(xí)本身的理論進(jìn)展卻很小。自2006年Hinton、Yoshua Bengio、Yann Lecun等人提出、發(fā)表相關(guān)工作以來(lái)，在理論上我們并未獲得大的進(jìn)展，或許，這也是Bengio要繼續(xù)留在學(xué)術(shù)界的另一個(gè)原因。

相關(guān)：

人類群星閃耀時(shí) | 深度學(xué)習(xí)鼻祖杰夫·辛頓：沒(méi)有他就沒(méi)有今天的人工智能

人類群星閃耀時(shí) | Facebook人工智能負(fù)責(zé)人Yann LeCun：讓深度學(xué)習(xí)擺脫束縛

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。