2
| 本文作者： 李尊 | 2016-07-14 09:49 |
微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學習、深度神經網絡應用于不同場景的情況，之前第一部分提到了其應用于語義理解上的一些經驗和收獲，本文為第二部分。
聯合編譯：Blake、章敏、陳圳
統計機器翻譯（SMT）包括：
l 統計結果
l 來源渠道模型
l 翻譯模型
l 語言模型
l 對數線性模型
l 評價指標：BLEU分數（越高越好）
基于短語的統計機器翻譯（SMT）將中文翻譯成英文
核心問題：針對什么建模？
l 針對詞匯可能性
語言模型
LM/w 來源
l 基于短語的機器翻譯 翻譯/錄制可能性
翻譯
錄制
l 基于二元的機器翻譯
l ITG模型
神經網絡在基于短語的SMT中的示例
l 神經網絡作為線性模型中的組成部分
翻譯模型
預壓模型 卷曲神經網絡的使用
聯合模型 FFLM與原始詞匯
l 神經機器翻譯（NMT）
建立一個單一、大型的神經網絡用來讀取句子并輸出翻譯
RNN 編碼-解碼
長短時期記憶
聯合學習順序、翻譯
NMT在WMT任務上超過了最好的結果
短語翻譯模型雖然簡單，但是解決了數據稀少的問題。
深度語義相似模型（DSSM）
l 計算語義相似性btw文本
l 針對自然語義處理任務的DSSM
DSSM 針對短語翻譯模型
l 兩個神經網絡（一個是來源方向，一個是導向方向）
輸入
輸出
l 短語翻譯分數=矢量點積
分數
為了緩解數據稀疏性，允許復雜的分數函數
N-gram語言模型
l 詞語n-gram模型（如n=3）
l 使用長歷史的問題
稀少的事件：不可靠的可能性預估
RNN LMs需要返回到句子剛開始的時段，這也使得動態規劃更加困難。為了給新詞匯評分每一個解碼器的狀態都需要維持在h，通過傳統的n-gram語境和最好的h來合并假設，進行重新組合。
模擬S需要3個條件：1.整個源句子或者均衡的源詞匯 2.S作為詞匯序列，詞匯包，或者矢量代表 3.如何學習S的矢量代表？神經網絡聯合模型基于遞歸神經網絡語言模型和前饋神經語言模型。
前饋神經語言模型
擴展前饋LM，使它包含周圍有均衡源詞匯的窗口。如果要對齊多個源詞匯，選擇正中間的位置；如果無需對齊，則繼承最近目標詞匯的隊列。同時用隊列在文本中進行訓練；優化目標的可能性。
神經機器翻譯，建立一個單獨的，大型的NN，閱讀句子并輸入翻譯。不像基于短語的系統需要很多零件模型組成。編碼器-解碼器基礎方法是：一個編碼器RNN進行閱讀和將一個源句子編碼到固定長度的矢量中，一個解碼器RNN從編碼器矢量中輸出可變長度的翻譯，最后編碼器-解碼器RNNs聯合學習文本，優化目標可能性。
[Sutskever+2014]編碼器-解碼器模型
將MT當成普遍的序列到序列的翻譯，閱讀源頭；累積隱狀態；生成目標。其中<EOS>是停止遞歸進程的符號。在練習中，反向閱讀源句子會導致更好的MT結果。在文本中進行訓練，并使用SGD優化目標可能性。
潛能和困難
在理論上，RNN可以將所有過去輸入的信息“儲存”在h中，但在現實中標準的RNN無法捕獲長距離的依賴。解決反向傳播中梯度消失和爆炸和不穩定噪音問題的方法是：長的短期記憶。
長短期記憶細胞
RNN中一個LSTM單元的信息流的圖解和數學公式。W`s是權重矩陣，雖然沒有顯示但可以從圖中輕松的推理出來。
兩個門的記憶細胞
圖2：提出的隱激活函數。更新門z決定隱藏狀態是否更新了新的隱藏狀態h。復位門r決定先前的隱藏狀態是否被忽略。
排列和翻譯的聯合學習
SMT編碼器-譯碼器模型存在一個問題問題：壓縮源信息到一個固定長度矢量中，使得RNN很難復雜長句子。注意力模型就是：編碼輸入句子到矢量隊列，并在解碼時選擇矢量的子集
它類似的想法于[Devlin+14]。
[ Bahdanan+15]的注意力模型
編碼器：雙向RNN編碼每一個單詞和文本
解碼器：尋找一系列與預測的目標詞匯最相關的源詞匯，并基于源詞匯和所有先前生成詞匯相關的文本矢量預測目標詞匯。這樣翻譯長句子的表現接近最佳性能。
MSR`s神經對話引擎
總結：
這一部分主要介紹了深度神經網絡對于問題進行分類的實例，以及在統計機器翻譯和對話中深度學習的應用，對于語義表達學習和自然語言的理解也有所提及。
PS : 本文由雷鋒網獨家編譯，未經許可拒絕轉載！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
