0
| 本文作者： 楊曉凡 | 2018-12-09 19:47 | 專題：NeurIPS 2018 |
雷鋒網(wǎng) AI 科技評論按：NeurIPS 2018 于 12 月 3 日至 12 月 8 日在加拿大蒙特利爾會展中心舉辦。大會第一天下午頒布了各項論文獎，其中包括時間檢驗獎（Test of Time Award），獲獎?wù)撐氖恰?a target="_blank" rel=nofollow>The Trade-Offs of Large Scale Learning》。
這篇論文是機(jī)器學(xué)習(xí)界、尤其是深度學(xué)習(xí)發(fā)展道路上的一篇重要論文，也可以說是推動研究人員們不斷建立并使用更大的數(shù)據(jù)集的理念來源之一。谷歌 AI 蘇黎世研究院項目經(jīng)理、丹麥科技大學(xué)教授 Anna Ukhanova 撰文解析了這篇論文的內(nèi)容以及它對整個機(jī)器學(xué)習(xí)界的后續(xù)影響。雷鋒網(wǎng) AI 科技評論編譯如下。
機(jī)器學(xué)習(xí)界的學(xué)術(shù)研究進(jìn)展飛快，仿佛任何一種新點(diǎn)子、新想法只要一兩年就顯得過時了，或者是被別的東西取代了。不過，即便是許多研究者們后來已經(jīng)不再關(guān)注的區(qū)域里，也有一些老想法持續(xù)地體現(xiàn)出自己的重要性。這種狀況之所以會發(fā)生是因為不同的語境：在某個研究方向里看起來死路一條的想法在另一個研究方向里則可能會變得非常成功。而對于深度學(xué)習(xí)這個具體的例子來說，可獲得的數(shù)據(jù)以及可利用的計算資源的大幅增長不斷為這個領(lǐng)域注入了新鮮的活力和注意力，也對研究方向的選擇產(chǎn)生了顯著影響。
當(dāng)年發(fā)表在 NIPS 2007 會議的論文《The Trade-Offs of Large Scale Learning》就是這種現(xiàn)象的見證者。這篇來自 Léon Bottou （當(dāng)時在 NEC 實(shí)驗室，現(xiàn)在在 Facebook 人工智能研究院 FAIR）和 Olivier Bousquet（谷歌 AI 蘇黎世研究院）的論文獲得了今年 NeurIPS 的時間檢驗獎，論文內(nèi)容是研究機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)數(shù)據(jù)和計算能力之間是如何相互作用的；他們的結(jié)果表明，在計算能力有限、但可以使用一個大規(guī)模數(shù)據(jù)集的情況下，面對「A，使用盡量多的訓(xùn)練樣本，但每個樣本只進(jìn)行較少的計算」，和「B，取一小部分?jǐn)?shù)據(jù)進(jìn)行高強(qiáng)度的計算」兩種選擇，前一種做法的效率更高。他們的研究對象是一種較老的算法，隨機(jī)梯度下降（SGD），而它如今幾乎也和所有的深度學(xué)習(xí)應(yīng)用形影不離。
許多機(jī)器學(xué)習(xí)算法都可以看作兩種因子的組合：
一個模型，它可以由許多種不同的函數(shù)組合而成，可以用來擬合數(shù)據(jù)
一個優(yōu)化算法，它可以具體描述出如何選擇出效果最佳的那個函數(shù)
1990 年代的時候，機(jī)器學(xué)習(xí)研究者們使用的數(shù)據(jù)集要比現(xiàn)在的小多了，而且當(dāng)時他們也認(rèn)為人工神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練，即便當(dāng)時它們已經(jīng)展現(xiàn)出了一些成果。到了 21 世紀(jì)初，隨著核方法（kernel machines），尤其是支持向量機(jī)（SVM）的出現(xiàn)，人們對神經(jīng)網(wǎng)絡(luò)的熱情迅速消失殆盡。與此同時，本來研究優(yōu)化算法的研究者們也把注意力從研究神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法（隨機(jī)梯度下降）轉(zhuǎn)移到了研究核方法的優(yōu)化算法上（二次規(guī)劃法，quadratic programming）。這兩種優(yōu)化方法之間的區(qū)別在于，對于隨機(jī)梯度下降，每次計算只使用一個訓(xùn)練樣本用來計算梯度步驟（稱之為「隨機(jī)」）；而對于核方法的優(yōu)化算法，每一次迭代中都需要使用所有的訓(xùn)練樣本（稱之為「批量」）。
但隨著訓(xùn)練數(shù)據(jù)集的大小變得越來越大，優(yōu)化算法處理大規(guī)模數(shù)據(jù)的效率就成為了瓶頸。比如對于二次規(guī)劃法，算法的運(yùn)行時間最少也要和訓(xùn)練樣本的數(shù)量的平方成正比，也就是說，如果你的訓(xùn)練數(shù)據(jù)變成了原來的 2 倍，那么訓(xùn)練時間至少也會變成原來的 4 倍。所以研究人員們也花了很多精力嘗試如何讓這些算法更好地拓展到大規(guī)模數(shù)據(jù)集上。
曾經(jīng)訓(xùn)練過人工神經(jīng)網(wǎng)絡(luò)的研究人員們則深深知道把隨機(jī)梯度下降拓展到大規(guī)模數(shù)據(jù)集上會容易很多，只不過它的問題在于它的收斂很慢（想要達(dá)到和批量算法相同的準(zhǔn)確率，隨機(jī)方法需要的迭代次數(shù)要多很多），所以那時候大家也并不能清晰地判斷出它是否會是解決數(shù)據(jù)規(guī)模問題的那個黃金方案。
在機(jī)器學(xué)習(xí)領(lǐng)域里，優(yōu)化損失函數(shù)所需的迭代次數(shù)其實(shí)并不是最讓人頭疼的那個問題，畢竟一直調(diào)節(jié)模型、調(diào)節(jié)得到完美的損失函數(shù)，其實(shí)是過擬合到了訓(xùn)練數(shù)據(jù)上。所以為什么不省下調(diào)節(jié)模型花費(fèi)的計算能力，而用這些計算能力處理更多的數(shù)據(jù)呢？
Léon Bottou 和 Olivier Bousquet 就對這種現(xiàn)象做了一次正式的研究。他們設(shè)置的實(shí)驗條件是，可以使用大規(guī)模數(shù)據(jù)集，同時計算能力是一個限制條件。他們的研究表明，對每一個訓(xùn)練樣本進(jìn)行盡量少的運(yùn)算（同時也就可以用到更多的訓(xùn)練樣本）可以取得更好的效果，而在較少的數(shù)據(jù)上進(jìn)行大量運(yùn)算的做法效果并不好。
他們也研究了許多種不同的優(yōu)化算法，結(jié)果表明隨機(jī)梯度下降是最好的。他們的結(jié)果得到了許多別的研究者的實(shí)驗支持，同時也引領(lǐng)了在線優(yōu)化算法的新研究興趣。如今，在線優(yōu)化算法也在機(jī)器學(xué)習(xí)領(lǐng)域有著許多的應(yīng)用。
在隨后的幾年中，研究人員們開發(fā)了隨機(jī)梯度下降的許多變種，包括對于凸函數(shù)和非凸函數(shù)的（非凸函數(shù)的優(yōu)化方法對深度學(xué)習(xí)非常重要）。最常見的一種變種被大家稱作“mini-batch SGD”，它在每次迭代中計算一小批（大約數(shù)十到數(shù)百量級）訓(xùn)練樣本，對整個訓(xùn)練數(shù)據(jù)集操作若干次，同時也配合使用一些其它的大規(guī)模梯度計算技巧。許多機(jī)器學(xué)習(xí)庫中都直接包含這樣的算法的實(shí)現(xiàn)，它也是公認(rèn)的深度學(xué)習(xí)的重要支柱之一。
雖然這篇論文的分析為理解隨機(jī)梯度下降的性質(zhì)提供了充實(shí)的論據(jù)，但深度學(xué)習(xí)高速的、令人驚喜、甚至令人驚訝的發(fā)展繼續(xù)為科研界帶來了更多的問題。比如，這種算法對深度神經(jīng)網(wǎng)絡(luò)的泛化性的影響被大家反復(fù)提及，但我們?nèi)匀粵]有什么深入的了解。這也意味著，我們目前面對著許許多多有趣的研究課題，一旦做出了突破，我們不僅可以對現(xiàn)在正在使用的算法有更好的了解，也可以引導(dǎo)我們未來開發(fā)出更高效的算法。
Léon Bottou 和 Olivier Bousquet 十年前合作提出的觀點(diǎn)大大加速了優(yōu)化算法的發(fā)展，到如今已經(jīng)是給我們帶來更多生活便利的機(jī)器學(xué)習(xí)算法中重要的驅(qū)動力。谷歌 AI 團(tuán)隊全體人員認(rèn)為他們獲得這個獎項實(shí)至名歸，也向他們致以誠摯的祝賀。
via ai.googleblog.com，雷鋒網(wǎng) AI 科技評論編譯。NIPS 開幕式完整回顧請閱讀 近九千人齊聚 NeurIPS 2018，四篇最佳論文，十大研究領(lǐng)域，1010 篇論文被接收
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
