0
雷鋒網AI科技評論按：隨著強化學習在機器人和游戲 AI 等領域的成功，該方法也引起了越來越多的關注。在近期雷鋒網GAIR大講堂上，來自清華大學計算機系的博士生馮珺，為大家介紹了如何利用強化學習技術，更好地解決自然語言處理中的兩個經典任務：關系抽取和文本分類。 本文根據視頻直播分享整理而成，內容若有疏漏，以原視頻嘉賓所講為準。
視頻回放地址：http://www.mooc.ai/open/course/318
嘉賓所分享的兩個研究成果分別是：在關系抽取任務中，嘗試利用強化學習，解決了遠程監督方法自動生成的訓練數據中的噪音問題；在文本分類任務中，利用強化學習得到更好的句子的結構化表示，并利用該表示得到了更好的文本分類效果。本次分享的兩個工作均發表于 AAAI2018。
馮珺，清華大學計算機系博士五年級，師從朱小燕和黃民烈教授，主要研究方向為知識圖譜，強化學習。目前已在 AAAI，COLING，WSDM 等國際會議上發表多篇文章。
分享內容：
大家好，我是來自清華大學的馮珺，分享的主題是當強化學習遇見自然語言處理，分享內容主要是以下三方面：
強化學習基本概念簡要介紹
基于強化學習的關系抽取方法，解決遠程監督方法自動生成的訓練數據中的噪音問題
基于強化學習的句子結構化表示學習方法
強化學習的基本概念
狀態，是agent從環境中得到的動作；agent，是基于它得到的當前狀態后做出相應的動作。reward ，是環境給agent 的一個反饋，收到這個reward就知道做的這個動作是好還是不好。agent 的目標就是選動作，將全部reward最大化。
agent會和環境做很多的交互，環境每次做的動作可能會有一個長期的影響，而不僅僅是影響當前的reward。reward 也有可能延遲。在這里簡單介紹一下policy的概念。policy是決定一個agent的動作的一個函數。
如果讀者對上述概念還不清楚可以觀看視頻中的迷宮例子：http://www.mooc.ai/open/course/318
我們組做的兩個工作是關系抽取和文本分類。
首先是第一個工作：利用增強學習從噪聲數據中進行關系抽取 （Reinforcement Learning for Relation Classification from Noisy Data）
任務背景
關系分類任務需要做的是，判斷實體之間是什么關系，句子中包含的實體對兒是已知的。關系分類任務是強監督學習，需要人工對每一句話都做標注，因此之前的數據集比較小。
之前也有人提出Distant Supervision 方法，希望能利用已有資源對句子自動打上標簽，使得得到更大的數據集。但這種方法是基于已有知識圖譜中的實體關系來對一句話的實體關系進行預測，它的標注未必正確。
這篇文章就是用強化學習來解決這個問題。之前也有一些方法是基于multi-instance learning 的方法來做的。
這樣做的局現性是不能很好處理句級預測。
基于以上不足，我們設定了新模型。包括兩個部分: Instance Selector 和 Relation Calssifier。
這個模型有兩個挑戰，第一是不知道每句話的標注是否正確‘；第二個挑戰是怎么將兩個部分合到一塊 ，讓它們互相影響。
Instance Selector 和 Relation Calssifier 的結構圖
在Instance Selector中的“狀態”就表示為，當前的句子是哪一句，之前選了哪些句子，以及當前句子包含的實體對兒。
Relation Classifier 是直接用了一個CNN的結構得到句子的表示。
模型訓練步驟
實驗部分關于數據集和baseline來源
總結
我們提到一個新的模型，在有噪聲的情況下也能句子級別的關系分類，而不僅僅是bags級別的關系預測。
第二個任務
任務背景
如果做一個句子分類，首先要給句子做一個表示 ，經過sentence representation得到句子表示，把“表示”輸入分類器中，最終就會得到這個句子屬于哪一類。
傳統的sentence representation 有以下幾個經典模型：
bag-of-words
CNN
RNN
加入注意力機制的方法
以上幾種方法有一個共同的不足之處，完全沒有考慮句子的結構信息。所有就有第五種 tree-structured LSTM。
不過這種方法也有一定的不足，雖然用到了結構信息，但是用到的是需要預處理才能得到的語法樹結構。并且在不同的任務中可能都是同樣的結構，因為語法都是一樣的。
所以我們希望能夠學到和任務相關的結構，并且基于學到的結構給句子做表示，從而希望能得到更好的分類結構。但面臨的挑戰是我們并不知道什么樣的結構對于這個任務是好的，我們并沒有一個結構標注能夠指導我們去學這個結構。但我們可以根據新的結構做出的分類結果好不好從而判斷這個結構好不好。
這個任務同樣可以建模為強化學習問題，用強化學習的思想來解。同樣的，在這個任務中的reward也是有延遲的，因為需要把整個結構都學到后，才能得到句子的表示，才能用句子的表示做分類，中間的過程是不知道這個結構是好的還是不好的。
實驗部分的數據集來源
實驗的分類結果；最后兩行是我們的方法。
總結
在這個工作中，我們學習了跟任務相關的句子結構，基于句子機構得到了不同的句子表示，并且得到個更好的文本分類方法。我們提出兩種不同的表示方法，ID-LSTM和HS-LSTM。這兩個表示也得到了很好的分類結果，得到了非常有意思的和任務相關的表示 。
雷鋒網提供視頻直播回放，如果對文中有不清楚的地方，可點擊觀看視頻 ：http://www.mooc.ai/open/course/318。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
