聚焦遷移學(xué)習(xí)反向傳播缺陷，百度資深工程師帶來(lái)全新 ICML 工作分享

CV 在前，NLP 在后，遷移學(xué)習(xí)技術(shù)的應(yīng)用為這兩個(gè)領(lǐng)域所帶來(lái)的進(jìn)展和突破，不可謂不矚目。

其中，預(yù)訓(xùn)練模型作為當(dāng)下遷移學(xué)習(xí)的一種主流方法，讓“從零開始訓(xùn)練一個(gè)新模型”的時(shí)代一去不復(fù)返。這類在大型數(shù)據(jù)集上訓(xùn)練好的模型進(jìn)行微調(diào)后，便能夠較好地適配類似的新目標(biāo)任務(wù)，可以極大地節(jié)約時(shí)間和成本。

不過(guò)，天下沒有免費(fèi)的午餐，這種方法看似“一勞永逸”，也需要付出一定的代價(jià)，其中的一大問(wèn)題便是，由于反向傳播帶給深層卷積層的更新較小，微調(diào)得到的模型往往被“吸引”在預(yù)訓(xùn)練模型附近，無(wú)法得到充分更新。

對(duì)此，百度的一篇 ICML 2020工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一種簡(jiǎn)單有效的策略RIFLE，通過(guò)周期性的重新初始化全連接層，給深層的特征提取網(wǎng)絡(luò)帶來(lái)有意義的更新，提升低層次特征的學(xué)習(xí)，從而顯著提升遷移學(xué)習(xí)的效果。      

論文地址：https://proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf

開源地址：https://github.com/haozhe-an/RIFLE-Paddle-Implementation

基于PaddlePaddle的實(shí)現(xiàn)：https://github.com/haozhe-an/RIFLE-Paddle-Implementation

據(jù)悉，該方法已超過(guò)已有同類方法如 Dropout、Dropconnect、Stochastic Depth、 Disturb Label以及Cyclic Learning Rate 等，在多個(gè)數(shù)據(jù)集上的效果提升0.5%-2%。

為了深度解析這項(xiàng)工作背后的算法原理以及應(yīng)用效果，AI 科技評(píng)論特別邀請(qǐng)到了論文一作、百度大數(shù)據(jù)實(shí)驗(yàn)室資深工程師李興建，來(lái)做論文直播分享！

時(shí)間就定在7月24日 20:00整，各位同學(xué)記得準(zhǔn)時(shí)收看~

分享主題：RIFLE算法：通過(guò)重新初始化全連接層加深遷移學(xué)習(xí)中的梯度反向傳播

分享嘉賓：李興建，百度大數(shù)據(jù)實(shí)驗(yàn)室資深工程師，多年自然語(yǔ)言處理、深度學(xué)習(xí)、遷移學(xué)習(xí)等領(lǐng)域工作經(jīng)驗(yàn)

分享時(shí)間：7月24日（周五晚） 20:00整

分享背景：

基于一個(gè)預(yù)訓(xùn)練的深度學(xué)習(xí)模型進(jìn)行微調(diào)，成為一種主流的遷移學(xué)習(xí)方式。該方法雖然簡(jiǎn)單有效，但微調(diào)得到的模型經(jīng)常被『吸引』在預(yù)訓(xùn)練模型附近，無(wú)法得到充分更新。我們的工作提出一種簡(jiǎn)單有效的策略RIFLE，通過(guò)周期性的重新初始化全連接層，給深層的特征提取網(wǎng)絡(luò)帶來(lái)有意義的更新，提升低層次特征的學(xué)習(xí)。

分享提綱：

1.  深度遷移學(xué)習(xí)簡(jiǎn)介和RIFLE算法提出的動(dòng)機(jī)

2. 算法流程

3. 算法效果及討論

4. 二層網(wǎng)絡(luò)模擬實(shí)驗(yàn)

如何加入？

掃碼關(guān)注[ AI研習(xí)社頂會(huì)小助手] 微信號(hào)，發(fā)送關(guān)鍵字“ICML 2020+直播”，即可進(jìn)群觀看直播和獲取課程資料。       

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。