0
雷鋒網AI科技評論編者按：本文拓展自NAACL 2019教程“NLP領域的遷移學習”，這個教程是由Matthew Peters、Swabha Swayamdipta、Thomas Wolf和我組織策劃的。在這篇文章中，我強調了一些在這個領域中的見解和收獲，并根據最近的工作進展更新了一部分資料。整篇文章的結構如下圖。
圖1
我們在這篇文章中的對遷移學習的主要定義如圖所示，遷移學習是一種從源設置中提取信息并將其應用于不同設定目標的方法。 
圖2：遷移學習過程的說明
在過去一年多的時間里，以預訓練的語言模型形式進行的遷移學習已經在NLP領域中普及，為許多不同的任務帶來了新的最好成績。然而，遷移學習在自然語言處理中并不是最近才出現的。雷鋒網舉個簡單的例子，命名實體識別(NER)任務的進展情況，如下所示。
圖3：隨時間推移在CoNLL-2003上的命名實體識別(NER)性能
縱觀其歷史, 在這項任務中大多數的進步已經是由不同形式的遷移學習推動的:從早期s帶有輔助任務的自監督學習(Ando和Zhang,2005)和短語和單詞集群(Lin和Wu,2009)語言模型嵌入(Peters等人, 2017)和預訓練語言模型(Peters， Akbik， Baevski等人)。
在當前的自然語言處理領域中，普遍存在著不同類型的遷移學習。它們可以按照三個維度進行分類：1、源設定和目標設定是否處理相同的任務;2、源域和目標域的性質;3、學習任務的順序。這樣就可以把各種遷移學習分為圖中的幾類。
圖4：NLP中遷移學習的分類(Ruder, 2019)
序列遷移學習是其中進步最大的那一類。通常的做法是，使用你選擇的方法在一個大型文本語料庫中的未標記數據上進行表征預訓練，然后通過標注數據把學到的表征適配到一個有監督任務上。如下圖。
圖5： 序列遷移學習的一般過程
在應用這種范式的過程中，我們可以觀察到以下幾個主要的研究課題
隨著時間推移、技術發展，單詞表征也更多地聯系上下文的語義。像word2vec這樣的早期方法 (Mikolov 等人， 2013)為每個單詞學習了單獨的表征，但與上下文沒有聯系。后來的方法就開始將這些表征的尺度拓展到了句子和文本級別(Le和Mikolov, 2014;Conneau等人，2017)。當前的方法能夠基于單詞的上下文不同而學到不同的表征(McCann等人，2017; Peters等人，2018)。
許多成功的預訓練方法都是基于語言建模（LM）的變體。 LM的優點是它不需要任何人工注釋，并且許多語言都有足夠的文本資料學出一個不錯的模型d。此外，LM是多用途的，可以通過各種目標函數，學習句子和單詞的表征。
在過去的幾年里，NLP領域中最先進的模型變得越來越深入。僅僅兩年前，大多數任務上表現最佳的模型都還是2-3層的深度BiLSTM，只有機器翻譯領域表現最好的模型是與眾不同的16層(Wu 等人， 2016)。相比之下，目前的模型如BERT-Large和GPT-2由24個Transformer模塊組成，而最新的模型甚至會更深。
預訓練和目標任務的選擇密切相關。例如，句子的表達對于單詞級別的預測并沒有用，而基于詞組的預訓練對于詞組級的預測是重要的。總的來說，為了獲得最佳的目標性能，而選擇類似的預訓練任務是有益的。
預訓練語言模型的取得了驚人的成功。語言建模成功的一個原因可能是，它是一項非常困難的工作，即使對于人類來說也不例外。為了有機會解決這個難題，模型需要學習語法，語義以及某些世界常識。給定足夠的數據，大量參數和足夠的計算能力，模型就可以有不錯的學習成果。根據過往的實驗來看，語言建模比翻譯或自動編碼等其它預訓練工作更有效(Zhang ，Wang等人)。
最近對人類語言的預測率失真(PRD)的分析(Hahn and Futrell, 2019)研究表明，人類語言和語言建模都具有無窮高的統計復雜性，但語言建模可以在較低層次上模仿逼近人類語言。這一觀察結果有兩個啟示:1)我們可以用相對較小的模型以獲得較為精準的結果;2) 我們的模型有很大的拓展潛力。對于這兩種啟示，我們都有充足證據，我們可以在下一節中看到。
預訓練的一個主要好處就是它減少了對有標注數據的需求。 在實際使用中，與非預訓練模型相比，遷移學習模型通常只需要十分之一甚至更少的樣本數量就達到類似的表現，如下圖所示(Howard 和Ruder, 2018)。
圖6:從零開始訓練的模型（藍色）與分別對標記目標數據(橙色)和未標記目標數據(綠色)進行微調的兩個預訓練模型(紅色)的性能(Howard和Ruder, 2018)。
通常可以通過同時增加模型參數和預訓練數據量的方式來改善預訓練表征。但隨著預訓練數據量的增長，回報率開始下降。然而，如下圖所示的當前的性能曲線并不表示我們已達到了穩定狀態。因此，我們期待可以在更多數據基礎上訓練出更大的模型。
圖7：平均GLUE數據與預訓練的爬行數據量對比（Baevski等，2019）。
最近的例子是ERNIE 2.0，XLNet，GPT-2 8B和RoBERTa。 尤其是后者發現，簡單地對BERT進行更長時間和更多數據的訓練就可以得到更好的結果，而對GPT-2 8B進行更長時間和更多數據的訓練則可以減少語言建模數據集上的困惑度(盡管幅度很小)。
預訓練的一個主要作用是它可以幫助我們跨越數字語言間鴻溝，使我們能夠為全世界超過6000種語言都學習到NLP模型。（其中大多數語言是缺乏資料的，這既是為每種語言都學習語言模型的難點，也是跨語言預訓練有用的地方）跨語言學習的工作大多集中在訓練不同語言中的單詞嵌入，并學習如何使它們之間匹配度更高(Ruder 等人， 2019)；同樣地，我們也可以對上下文表征做同樣的事情（Schuster 等人，2019）。另一種常見方法是共享子單詞詞匯表并在多種語言上訓練一個模型（Devlin，Artetxe， Schwenk， Mulcaire， Lample和Conneau等人，2019）。
雖然這很容易實現，并且是一個很強大的跨語言基線，但它導致資源配置較低的語言代表性不足（Heinzerling和Strube，2019）。特別是多語言BERT已成為備受關注的話題（Pires ，Wu和Dredze等人，2019），雖然它有很好的零樣本學習表現，但專門的單語模型仍然是具有極大競爭力的，同時也更有效率(Eisenschlos 等人， 2019).
預訓練很費錢。我們在教程中使用的Transformer-XL樣式模型的預訓練在8個V100 gpu上花費了5-20小時(如果是1個V100那么就要花費幾天的時間)才能達到一個好的效果。因此，共享預訓練的模型非常重要。除了需要為transformer的學習速率預熱外，預訓練對超參數的選擇并不怎么挑剔。一般來說，如果數據集足夠大，模型就不應該有足夠的容量來進行過度擬合。掩蔽語言建模(如BERT中所述)的訓練速度通常比標準LM慢2-4倍，因為掩蔽一小部分單詞對應著只有一小部分的訓練指導信號。
我們已經證明，表征可以用來預測某些語言現象，如翻譯或句法層次的匹配。使用語法進行預訓練，能夠取得較好的效果;即使沒有明顯地對語法進行編碼，表征仍然可以學習到一些語法概念(Williams等人，2018)。
最近的工作進一步表明，當前最先進的模型可以有效地蒸餾出語法知識(Kuncoro等人.， 2019)。網絡架構通常決定了表征的內容。例如，已經觀察到了BERT能夠捕捉語法(Tenney等人)。對于捕捉到的信息，不同的模型架構會表現出不同的層間變化趨勢。
圖8：探究工作一般用于設置研究語境詞表示中的語言知識(Liu 等人， 2019)
模型捕獲的信息還取決于你如何看待它:可視化激活或是注意力權重能提供模型知識的總體情況，但只能針對幾個樣本進行分析;如果在學習到的表征基礎上訓練一個分類器作為探針，用它來預測某些屬性，這種方法可以發現語料庫級別的一些具體特點，但也可能引入探針本身帶來的偏倚;最后，網絡對照試驗對于改進模型非常有用，但得到的結論可能會僅限于當前的任務。
為了使預訓練模型適應目標任務，我們可以做出若干不同方向上的決策：架構修改，優化方案以及是否要獲得更多的學習信號。
對于架構修改，我們有兩個選項：
a)保持預訓練的模型內部不變
簡單的做法可以是在預訓練的模型之上添加一個或多個線性層，通常是在Bert基礎上增加。或者我們也可以使用模型輸出作為另一個模型的輸入。當目標任務需要預訓練的嵌入有一些交互作用但目前的預訓練模型執行不了時，這通常是有幫助的，例如以BERT為預訓練模型但需要詞匯表征或建立跨句子關系模型。
b)修改預先訓練的模型內部架構
我們希望這樣做的原因之一可能是為了適應結構不同的設定目標，例如一個具有多個輸入序列的任務。在這種情況下，我們可以使用預訓練的模型盡可能初始化結構不同的設定模型。我們還可以應用于特定項目的修改，例如添加、跳過或殘余連接或警示。最后，修改目標任務的參數可以通過在預訓練的模型層之間添加瓶頸模塊(“適配器”)來減少需要精細調整的參數數量(Houlsby，Stickland和Murray等人，2019)。 
圖9：變壓器(左)中使用的適配器層(右)(Houlsby等人，2019年)
六、優化方案
在優化模型方面，我們需要選擇要更新哪些權重，以及何時、如何更新它們
對于權重更新，我們可以選擇微調或者不微調（預訓練權重）
a)不要改變預訓練的權重(特征提取)
在實際應用中，很多人會在預訓練表征的基礎上訓練一個線性分類器。如果想要獲得最好的性能，通常就不僅使用頂層的表征，而要學習層表征的線性組合 (Peters等人， 2018, Ruder 等人， 2019)。另一個做法是，預訓練的表征可以作為下游模型中的特性。當添加適配器時，只訓練適配器層。
圖10：在單獨的下游模型中使用預:訓練的模型作為特征
b)改變預訓練過程中的權重（微調）
采用預訓練的權值作為下游模型參數的初始化值。然后，在適應階段對整個預訓練架構進行訓練。
選擇順序和如何更新權重的主要目的是要避免覆蓋有用的預訓練的信息并最大化正遷移。與此相關的是災難性遺忘的概念(McCloskey&Cohen，1989；French，1999)，是指一個模型忘記了它最初訓練的任務。在大多數設置中，我們只關心目標任務的性能，但這可能因應用場合的不同而有所不同。
更新我們模型的參數的一個指導原則是，在時間上、強度上或與預訓練的模型相比，自上而下地逐步更新：
a)時間上的逐步更新（凍結法）
對不同分布和不同任務的數據同時進行所有層的訓練可能會導致性能不穩定，產生的解決方案較差。相反，我們單獨訓練網絡中不同的層，讓它們有時間適應新的任務和數據。這可以追溯到早期深層神經網絡的分層訓練(Hinton等人，2006；Bengio等人，2007)。最近的方法(Felbo等人，2017；Howard和Ruder，2018年；Chronopoulou等，2019年) 的變化主要在于共同訓練的層的選擇不同。 尚未對transformer模型的解凍進行詳細的研究。
b)強度上的逐步更新(降低的學習率)
我們希望通過降低學習率，以避免覆蓋有用的信息。較低的學習率在較低層次(因為它們會捕捉到很多的普遍信息)、訓練早期(因為模型仍然需要適應目標分布)和訓練后期(當模型接近結尾時)尤為重要。為此，我們可以使用判別性微調(Howard和Ruder，2018)，它降低了每一層的學習速度，如下所示。為了在早期的訓練中保持較低的學習率，可以使用三角學習速率計劃，也就是transformer的學習率預熱。（Liu等人，2019)最近指出，在訓練的早期階段，預熱可以減少差異
圖11：歧視性微調(Howard和Ruder，2018年)
c)逐步更新vs預訓練模型（正則化）
最大限度地減少災難性遺忘的一種方法是鼓勵目標模型參數使用正則化項，減小與預訓練模型的參數的差異性(Wiese等人，CoNLL 2017，Kirkpatrick等人，PNAS 2017)。
一般來說，需要從頭開始訓練的參數越多訓練速度就越慢。特征提取需要添加比微調更多的參數(peters等人，2019)，因此訓練速度通常較慢。然而，當一個模型需要適應很多的任務時，特征提取更節省空間，因為它只需要在內存中存儲一個預先訓練過的模型的副本。適配器通過為每個任務添加少量的附加參數來達到平衡。
就性能而言，沒有一種適配器方法能在所有設置中都帶來帶來最好的表現。如果源和目標任務不一致，特征提取似乎更可取(Peters等人，2019)。否則，特征提取和微調通常執行類似的操作，這取決于用于超參數調整的預算(微調通常需要對超參數進行更廣泛的搜索和嘗試)。據說，transformer比lstms更容易微調(對超參數不那么敏感)，并且可以通過微調實現更好的性能。
然而，大型的預訓練模型(如Bert-Large)在對小訓練集的任務進行精細調整時，往往會導致性能退化。通常顯示為“ON-off”：如下圖所示，模型要么運行良好，要么根本不起作用。想要了解這種行為的條件和原因，目前來說還是一個等待解決的研究問題。 
圖12：BERT（紅色）和BERT的20個隨機重啟的任務分數分布，在MNLI（綠色）上進行微調，每次任務的微調不超過5k（Phang等，2018）。
目標任務通常都缺少資源.我們通常可以通過組合多種不同的學習信號來提高遷移學習的性能
如果存在相關的任務，我們可以先在相關任務上使用更多數據對模型進行微調，然后再對目標任務進行微調。這尤其有助于數據有限的情況和執行類似任務 (Phunet 等人，2018)，并提高了目標任務的樣本效率(Yogatama等人，2019)。
或者，我們也可以根據相關任務和目標任務的要求對模型進行共同微調。這個相關的任務也可以是一個無監督的輔助任務。語言建模是一個很好的選擇，并且已經證明即使沒有預訓練也能起到幫助(Rei等人，2017年)。任務比率可以進行選擇，逐漸減小輔助任務的比例，在訓練結束時輔助任務的比例可以減小到0(Chronopoulou等人，NAACL，2019年)。語言模型微調也已經作為一個單獨步驟使用在了ULMFiT中 (Howard和Ruder，2018)。最近，即便有很多個目標任務，多任務微調也可以帶來收益 (Liu等人，2019；Wang等人，2019)。
我們可以使用只在數據的某個子集上訓練的輔助任務，而不對輔助任務微調。為此，我們首先要分析模型的誤差，采用啟發式方法自動識別訓練數據中的突出子集，然后與目標任務聯合訓練輔助任務。
我們還可以使用半監督學習方法，通過擾亂未標記的數據來使我們的模型預測更加準確。 干擾方式可以是噪聲，掩蔽（Clark等人，2018）也可以是數據增強，（Xie 等人，2019）。
為了提高性能，可以把不同超參數訓練的模型、不同預訓練模型精細調節得到的模型、乃至不同任務，不同數據集的子集上訓練的模型集成起來
最后，大型模型或模型組合可能被提煉成小型單一模型。該模型也可以更加簡單化 (Tang等人，2019年)，也可以產生不同的歸納偏差(Kuncoro等人，2019年)。多任務微調也可以與提煉相結合(Clark等人，2019)。
九、下游應用
預訓練大型模型在計算和環境影響方面的成本很高(Strubell等人，2019年)。只要有可能，最好使用開源模型。如果您需要訓練自己的模型，請與社區分享您的預訓練模型。
為了共享和使用經過訓練的模型，可以有不同的選擇：
Hubs是中央存儲庫，并能提供訪問預訓練模型的通用API 。最常見的兩個Hub是TensorFlow Hub和PyTorch Hub。Hub通常使用起來很簡單；但是，由于模型的源代碼難以訪問，所以它們更像一個黑匣子。此外，修改預訓練模型架構的內部結構可能會很困難。
檢查點文件通常包含了預訓練模型的所有權重。與Hub相比，仍然需要創建模型圖，需要單獨加載模型權重。因此，檢查點文件比Hub模塊更難使用，但它可以讓你完全控制模型內部。
像是 AllenNLP, fast.ai和 pytorch-transformers這類的第三方函數庫，可以輕松訪問預訓練模型。 此類庫通常可實現快速實驗，并涵蓋了許多經典的示例以進行遷移學習。
預訓練的語言模型仍然不擅長細粒度的語言任務(Liu等人，2019)、層次句法推理(Kuncoro等人，2019)和常識（Zellers等人，2019)。在自然語言生成方面仍然有所欠缺，特別是在長期的維系、關系和連貫性方面。微調的時候它們更傾向于過于過度擬合表面形式信息，目前仍然被視為是“效率極高的表面學習者”。
正如我們前面所指出的，特別是對少量數據進行微調的大型模型很難進行優化，而且存在高度的差異性。目前經過預訓練的語言模型非常龐大。蒸餾和剪枝是處理這一問題的兩種方法。
雖然語言建模目標經過試驗正名是有效的，但它也有缺陷。最近，我們看到雙向語境和詞序列的建模尤為重要。也許最重要的是，語言建模鼓勵人們關注語法和詞的共現，并且只提供了用于理解語義和維系上下文弱信號。我們可以從其他形式的自我監督中汲取靈感。此外，我們還可以設計專門的預訓練任務，學習某些關系(Joshi等人，2019年；Sun等人，2019年)。
雷鋒網小結，很難能從原始文本中學習某種類型的信息。最新的方法就是將結構化知識(Zhang等人，2019；Logan IV等人，2019年)或多模態(Sun等人，2019；Lu等人，2019)引入，作為緩解這一問題的兩種潛在方式。
原文鏈接：http://ruder.io/state-of-transfer-learning-in-nlp/
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
