0
| 本文作者： 岑大師 | 2017-11-28 04:09 |
雷鋒網(wǎng)按：在圍棋和Atari游戲、圖像識別與語言翻譯等領(lǐng)域，神經(jīng)網(wǎng)絡(luò)都取得了巨大的成功。但經(jīng)常被忽視的一點是，神經(jīng)網(wǎng)絡(luò)在這些特定應(yīng)用中的成功往往取決于研究開始時做出的一系列選擇，包括：使用何種類型的網(wǎng)絡(luò)、用于訓(xùn)練的數(shù)據(jù)和方法等。目前，這些選擇（又稱為超參數(shù)）是通過經(jīng)驗，隨機搜索或計算密集型搜索過程來選擇的。如何選擇參數(shù)和調(diào)參往往成為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題。
雷鋒網(wǎng)發(fā)現(xiàn)，在Deepmind最近一篇名為《Population Based Training of Neural Network》的論文中，Deepmind提出了一種名為PBT（Population Based Training）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的新方法，使得實驗者能夠快速地選擇最佳的超參數(shù)集和模型。這一技術(shù)可同時訓(xùn)練和優(yōu)化一系列網(wǎng)絡(luò)，從而可以快速找到最佳的設(shè)置。更重要的是，這不會增加額外的計算開銷，可以像傳統(tǒng)技術(shù)一樣快速地完成，并且易于集成到現(xiàn)有的機器學(xué)習(xí)管道中。
該技術(shù)是超參數(shù)優(yōu)化最常用的兩種方法隨機搜索和手動調(diào)試的結(jié)合。隨機搜索中會并行訓(xùn)練神經(jīng)網(wǎng)絡(luò)的群體，并在訓(xùn)練結(jié)束時選擇最高性能的模型。通常情況下，這意味著只有一小部分群體會獲得良好的超參數(shù)訓(xùn)練，但更多的群體培訓(xùn)效果欠佳，浪費計算機資源。
隨機搜索超參數(shù)意味著同時并行獨立訓(xùn)練多個超參數(shù)，某些超參數(shù)會讓模型表現(xiàn)良好，但大多數(shù)不會
如果我們使用手動調(diào)整超參數(shù)，研究人員必須猜測最好的超參數(shù)，使用它們訓(xùn)練模型和評估性能，這樣的過程將持續(xù)重復(fù)，直到研究人員對網(wǎng)絡(luò)的性能感到滿意為止。雖然手動調(diào)參可以帶來更好的性能，但是缺點是這需要很長時間，有時需要數(shù)周甚至數(shù)月才能找到完美的設(shè)置。雖然有諸如貝葉斯優(yōu)化等一些自動化方法，但是仍然需要很長的時間，并且需要很多持續(xù)的訓(xùn)練來找到最好的超參數(shù)。
手動調(diào)參及貝葉斯優(yōu)化等方法通過一次觀察多個訓(xùn)練過程來改變超參數(shù)，這通常較為緩慢
如同隨機搜索一樣，PBT首先也會并行訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)與隨機超參，但是每一個網(wǎng)絡(luò)不是獨立訓(xùn)練的，而是使用來自其他群體的信息來完善超參數(shù)，并將計算資源引導(dǎo)到更有優(yōu)秀的模型。這以算法靈感來自于于遺傳算法，每個群體成員都被稱為“工人”，并可以利用其余群體成員的信息，如從另一個性能較好的“工人”中復(fù)制模型參數(shù)，此外，它還可以通過隨機更改當(dāng)前值來探索新的超參數(shù)。
隨著對神經(jīng)網(wǎng)絡(luò)群體訓(xùn)練的不斷深入，這一開發(fā)和探索的過程會定期進行，以確保所有群體中的“工人”都有一個良好的基礎(chǔ)性能水平，并且在此基礎(chǔ)上在探索新的超參數(shù)。這意味著PBT可以快速利用好的超參數(shù)，可以為更有效的模型提供更多的訓(xùn)練時間，而且可以在整個訓(xùn)練過程中調(diào)整超參數(shù)值，從而自動學(xué)習(xí)最佳配置。
PBT從隨機搜索開始，但允許相互利用更有效的結(jié)果，并隨著訓(xùn)練的進行探索新的超參數(shù)
實驗表明，PBT在整個任務(wù)和領(lǐng)域都非常有效。Deepmind在DeepMind Lab，Atari和StarCraft II上使用最先進的方法嚴(yán)格測試了一套具有挑戰(zhàn)性的強化學(xué)習(xí)問題，在所有情況下，PBT穩(wěn)定的訓(xùn)練方式均能很快就找到了好的超參數(shù)，并得到了超出最新基線的結(jié)果。
此外，PBT對訓(xùn)練生成對抗網(wǎng)絡(luò)（GAN）同樣有著一定的提升。在Deepmind使用PBT框架來最大化Inception Score（雷鋒網(wǎng)注：Inception Score是衡量視覺保真度的指標(biāo)之一）的測試中，結(jié)果從6.45顯著提升到了6.9。
Deepmind也將PBT應(yīng)用于Google最先進的機器翻譯神經(jīng)網(wǎng)絡(luò)之一。這些神經(jīng)網(wǎng)絡(luò)通常經(jīng)過精心設(shè)計的超參數(shù)時間表進行培訓(xùn)，這往往需要數(shù)月時間才能有改善。使用PBT可以自動找到超參數(shù)的時間表，這些時間表可以匹配甚至超過現(xiàn)有的表現(xiàn)，但不需要任何調(diào)整，同時通常只需要一次訓(xùn)練。
圖為在CPSAR-10和封閉網(wǎng)絡(luò)（FuN）用GANs對“吃豆小姐”（Ms Pacman）游戲訓(xùn)練過程中群體的演化過程。粉紅色的點代表最初的智能體，藍色為最終的智能體。
Deepmind認(rèn)為，這項技術(shù)仍然存在很大的擴展空間。PBT對訓(xùn)練引入新超參數(shù)的新算法和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)尤其有效，隨著不斷細化這個過程，PBT有望更好地應(yīng)用于尋找和開發(fā)更復(fù)雜和更強大的神經(jīng)網(wǎng)絡(luò)模型。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
