0
雷鋒網 AI 科技評論按：1 月 6 日，由中國中文信息學會青年工作委員會（簡稱「青工委」）主辦，哈爾濱工業大學社會計算與信息檢索研究中心（HIT-SCIR）承辦的『AAAI 2018 預講會』在哈爾濱工業大學成功舉辦。本次會議由華為和云孚科技提供贊助，雷鋒網作為獨家合作媒體，提供了在線直播，并對本次預講會做全程報道。
AAAI 2018 是人工智能領域的頂級國際會議，每年舉辦一次。今年 AAAI 會議將于 2 月 2 日至 2 月 7 日在美國新奧爾良舉行。鑒于國內學者在各大國際頂會中發表的文章越來越多，青工委希望能在頂會之前將國內學者匯聚一堂，共同探討最新研究進展，所以從 2013 年開始就舉辦了許多次頂會預講會。
本次 AAAI 2018 預講會邀請了來自全國各地 15 所高校和研究單位的老師和同學分享他們在 AAAI 2018 中接收的 25 篇論文，內容覆蓋有聊天機器人、語義依存圖、文本摘要、機器翻譯、信息抽取、表示學習等多個領域的最新研究成果。會議吸引了 200 多名老師和學生來此參會并進行交流。
預講會伊始，首先由中國中文信息學會青年工作委員會主任劉洋副教授、副主任車萬翔副教授分別代表主辦方和承辦方致歡迎辭。云孚科技 CEO 張文斌先生代表贊助方致辭。開幕式由東道主哈爾濱工業大學社會計算與信息檢索研究中心劉銘副教授主持。
青工委主任劉洋副教授致歡迎辭，哈工大李家琦博士提供
青工委副主任車萬翔副教授致歡迎辭，哈工大李家琦博士提供
會議議程整體分為四個 Session，每個 Session 包含 6-7 個報告，每個報告限時 10 分鐘；在每個 Session 之間有 80-90 分鐘的休息和 poster 環節。會議現場節奏可謂有松有緊，節奏感極為鮮明。講者們除了在報告中深入講解他們的研究工作外，在 poster 環節還有大量的時間與現場的參會者進行互動和討論，與會人員可謂獲益頗多。
現場活動，哈工大李家琦博士提供
下面 AI 科技評論根據現場報告為你詳細解讀 25 篇 AAAI 2018 接收論文。
（由于內容較多，我們將分為上、下兩篇介紹）
論文速覽列表：
上 篇
Session 1
[1] Adversarial Learning for Chinese NER from Crowd Annotations
作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民
單位：蘇州大學人類語言技術研究所
[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets
作者：張奇，傅金蘭，劉曉雨，黃萱菁
單位：復旦大學
[3] Large Scaled Relation Extraction with Reinforcement Learning
作者：曾祥榮，何世柱，劉康，趙軍
單位：中科院自動化所
[4] Event Detection via Gated Multilingual Attention Mechanism
作者：劉健，陳玉博，劉康，趙軍
單位：中國科學院自動化研究所
[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation
作者：張奇，劉曉雨，傅金蘭
單位：復旦大學
[6] Learning Multimodal Word Representation via Dynamic Fusion Methods
作者：王少楠， 張家俊， 宗成慶
單位：自動化所
Session 2
[7] Inferring Emotion from Conversational Voice Data: A Semi-supervisedMulti-path Generative Neural Network Approach
作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華
單位：清華大學
[8] Long Text Generation via Adversarial Training with Leaked Information
作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇
單位：上海交通大學
[9] Style Transfer in Text: Exploration and Evaluation
作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴睿
單位：北京大學計算機科學技術研究所
[10] Meta Multi-Task Learning for Sequence Modeling
作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁
單位：復旦大學
[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-DomainDialog Systems
作者：陶重陽，牟力立，趙東巖，嚴睿
單位：北京大學計算機科學技術研究所
[12] Exploring Implicit Feedback for Open Domain Conversation Generation
作者：張偉男，李凌志，曹東巖，劉挺
單位：哈爾濱工業大學
下 篇
《AAAI 2018預講會在哈工大成功舉辦，25篇頂會文章講了什么（下）》
Session 3
[13] Neural Character Dependency Parsing for Chinese
作者：李浩楠，張智松，琚毓琪，趙海
單位：上海交通大學
[14] A Neural Transition-Based Approach for Semantic Dependency Graph Parsing
作者：王宇軒，車萬翔，郭江，劉挺
單位：哈爾濱工業大學
[15] Asynchronous Bidirectional Decoding for Neural Machine Translation
作者：張祥文，蘇勁松，秦悅，劉洋，紀榮嶸，王鴻吉
單位：廈門大學
[16] Knowledge Graph Embedding with Iterative Guidance from Soft Rules
作者：郭舒，王泉，王麗宏，王斌，郭莉
單位：中國科學院信息工程研究所
[17] Embedding of Hierarchically Typed Knowledge Bases
作者：張日崇，孔繁爽，王晨玥，茆永軼
單位：北京航空航天大學
[18] Faithful to the Original: Fact Aware Neural Abstractive Summarization
作者：曹自強，韋福如，李文婕，李素建
單位：香港理工大學
[19] Twitter Summarization based on Social Network and Sparse Reconstruction
作者：賀瑞芳，段興義
單位：天津大學
Session 4
[20] Improving Review Representations with User Attention and ProductAttention for Sentiment Classification
作者：吳震 ，戴新宇，尹存燕，黃書劍，陳家駿
單位：南京大學
[21] Chinese LIWC Lexicon Expansion via Hierarchical Classification of WordEmbeddings with Sememe Attention
作者：曾祥楷，楊成，涂存超，劉知遠，孫茂松
單位：清華大學
[22] Learning Structured Representation for Text Classification withReinforcement Learning
作者：張天揚，黃民烈，趙立
單位：清華大學
[23] Assertion-based QA with Question-Aware Open Information Extraction
作者：閆昭，唐都鈺，段楠，劉樹杰，王文迪，姜大昕，周明，李舟軍
單位：微軟亞洲研究院
[24] End-to-End Quantum-like Language Models with Application to QuestionAnswering
作者：張鵬，牛嘉斌，蘇展，王本友，馬力群，宋大為
單位：天津大學
[25] EMD Metric Learning
作者：張子昭，張宇博，趙曦濱，高躍
單位：清華大學
主持人：劉銘副教授，哈爾濱工業大學
[1] Adversarial Learning for Chinese NER from Crowd Annotations
作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民
單位：蘇州大學人類語言技術研究所
首先是由來自黑龍江大學的張梅山副教授做了首場報告。
在訓練命名實體識別系統時，往往需要大量的人工標注語料。為了保證質量，通常需要雇傭專家來進行標注，但這樣會造成代價成本高且規模難于擴大。另一種方式是采用眾包標注方法，雇傭普通人員來快速低成本完成標注任務，但這樣獲取的數據含有很多噪音。
張梅山在報告中提出了一種利用眾包標注數據學習對抗網絡模型的方法，來構建中文實體識別系統。受對抗網絡學習的啟發，他們在模型中使用了兩個雙向 LSTM 模塊，來分別學習標注員的公有信息和屬于不同標注員的私有信息。對抗學習的思想體現在公有塊的學習過程中，以不同標注員作為分類目標進行對抗學習。從而達到優化公有模塊的學習質量，使之收斂于真實數據 (專家標注數據)。算法框架如下：
1-1，ALCrowd 框架
最終構建的中文實體識別系統 (Crowd-NER) 在真實數據上的性能比傳統 CRF 模型高 7.2%(F1)：
1-2，實驗結果
[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets
作者：張奇，傅金蘭，劉曉雨，黃萱菁
單位：復旦大學
隨后由來自復旦大學的傅金蘭介紹了他們在命名實體識別任務中的工作。
在 tweet 命名實體識別中，傳統的方法往往只使用了文本內容。但是許多推文還包含圖像等內容。這種視覺信息在實體識別任務中是極有價值的。例如下面的例子，
2-1，缺乏圖像信息
2-2，結合圖像信息
在只使用文本信息時可能會把「Rocky」識別為人名；但是結合 tweet 圖片，我們知道「Rocky」其實是一條狗。
為了充分利用文本和視覺信息，傅金蘭等人在論文中提出了一種處理 tweet 中包含多種信息的方法。具體來說，他們利用了條件隨機場和 Adaptive Co-attention Network 擴展了一個雙向 LSTM 網絡。
2-3，集合視覺和文本信息的雙向 LSTM 網絡
為了評估這種方法，他們構建了包含多模態推文的大規模標記數據集。實驗結果表明，這種方法在大多數情況下可以比以前的方法獲得更好的效果。
（感謝傅金蘭指正?。?/em>
[3] Large Scaled Relation Extraction with Reinforcement Learning
作者：曾祥榮，何世柱，劉康，趙軍
單位：中科院自動化所
隨后來自中科院自動化所的陳玉博助理研究員代表同組的何世柱助理研究員做了關于使用增強學習進行大規模關系抽取的報告。
從文本中進行關系抽取在 NLP 領域是一個重要的任務。目前主要有兩種方法：句子級的關系抽取和基于知識庫的 bag 級關系抽取。
3-1，關系抽取任務的例子。該任務致力于提取實體對之間的關系。
3-2，將知識圖譜中的關系事實與自由文本對齊，自動生成大型縮放數據集。然而句子沒有直接標注，其中一些（圖中的第三句）不能代表實體對的關系。
前者需要有人工標注，難以大規模應用；后者雖然能夠大規模進行關系抽取，但是它只有 bag 的 label，而沒有具體句子的 label。作者使用增強學習的方法，將包中的句子看成增強學習的 state，將關系看成 action，將關系抽取分類器看成 agent，從而構建了一個能夠依據大規模自動回標的包數據訓練出一個高質量的句子級的關系抽取的分類器。
3-3，強化學習的過程。關系提取器是強化學習 agent，r 是生成的獎勵。
基于這種方法構建的兩個模型在公開發布的數據集上進行實驗，結果證明所提方法與基線模型相比有 13.36% 的顯著提升。
（感謝陳玉博助理研究員指正！）
[4] Event Detection via Gated Multilingual Attention Mechanism
作者：劉健，陳玉博，劉康，趙軍
單位：中國科學院自動化研究所
隨后陳玉博助理研究員又做了關于通過門控多語言注意機制進行事件檢測的報告。
在 NLP 應用（例如信息提取系統）中，如何從文本中識別出事件非常重要。但目前這項任務的大多數現存方法只關于單一語言的特定語言線索，卻忽略了其他語言提供的大量信息。這些方法會受困于單語歧義性以及數據稀缺的影響。
4-1，在 ACE 2005 的統計中 70% 的事件事例少于 100 個
4-2，多語信息可以有助于消除單語歧義性
本文提出了一種新穎的多語言方法（稱之為門控多語言注意（GMLATT）框架）來同時處理前面兩種問題。具體來說，作者通過上下文關注機制，利用多語言數據的一致性信息緩解了數據稀缺的問題；同時他們提出了跨語言的門控注意，利用多語言數據傳遞的補充信息來解決單語歧義問題。
4-3，GMLATT 框架
他們在實驗部分選擇了 ACE 2005 基準進行了廣泛的實驗。結果表明這種方法顯著優于當前最先進的方法。
（感謝陳玉博助理研究員指正?。?/em>
[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation
作者：張奇，劉曉雨，傅金蘭
單位：復旦大學
第五個報告由來自復旦大學的劉曉雨介紹了他們在中文分詞中深度神經網絡方面的工作。
近年來深度神經網絡在中文分詞領域取得了很大的成功，但目前這種類型的方法大部分是端到端的訓練系統，它們可以有效地處理和學習大規模標記的數據集，但在處理低頻詞匯和領域專有名詞時的表現并不是很好。
 |  |
| 低頻詞匯 | 領域專有名詞 |
另一方面，統計方法在中文分詞領域的成功表明，人類的知識在上面兩種情況下能夠提供極有價值的信息。所以作者提出詞典（人類知識）結合神經網絡的方法，利用人類知識來提升神經網絡在分詞任務中的表現。
5-1，廣義 Bi-LSTM –CRF 模型
具體來說，作者提出了兩種擴展 Bi-LSTM-CRF 模型的方法來引入詞典信息，如下：
5-2，Model-I 框架。ex 和 t 表示字符嵌入和通過詞典構造的特征向量；兩個并行的 Bi-LSTM 被用來提取上下文信息和潛在的字邊界信息
5-3，Model-II 框架。使用 HyperLSTM 為 MainLSTM 動態地生成權重。HyperLSTM 將特征向量 t 作為輸入，而 MainLSTM 將嵌入向量作為輸入
實驗結果表明，這種方法在大多數情況下表現得比其他state-of-the-art方法更好。特別在跨領域文本分詞中任務中，該方法相對state-of-the-art方法有顯著提升。此外，當要把訓練好的模型應用到特定領域的分詞任務時，我們只需要添加額外的領域詞典即可，模型的參數保持不變，不需要再重新訓練。
（感謝劉曉雨指正?。?/em>
[6] Learning Multimodal Word Representation via Dynamic Fusion Methods
作者：王少楠， 張家俊， 宗成慶
單位：自動化所
Session 1 的最后一個報告由來自中科院自動化所的王少楠所做，她介紹了他們組在基于動態融合方法的多模態詞匯表示模型上的研究工作。
6-1，dog+圖+音+情感
在學習語義詞匯表示任務中，多模態模型要比單純的基于文本的模型表現要好，例如下圖從融合文本、圖像、聲音、情感的信息中學習詞匯表示明顯要優于單純的從文本中學習詞匯表示。
6-2，多模態模型
之前的多模態詞匯表示模型會將各種模態信息平等對待。但很明顯，來自不同模態（例如圖像和文本）的信息對不同類型的詞匯有不同的貢獻，理應有不同的權重。比如對于抽象詞如「快樂」，文本模態對詞義的貢獻要大于感知覺模態的貢獻；而對于具象詞如「桌子」，文本和感知覺模態都會極大地影響詞匯的含義。
基于這種考慮，作者建立了可以根據不同類型的詞匯對不同模態的信息加以區分的多模態詞匯表示模型，模型中有三種動態融合機制，可以分別針對模態、詞類和詞匯對不同模態賦予不同的權重。其中，作者間接利用相關或相似詞對作為弱監督信號來自動學習不同模態的權重。
6-3，其中四個數字對應方法的四個步驟；Lw1 和 Lw2 是一個單詞關聯對的表示；Pw1 和 Pw2 是從文本到視覺映射 f 的輸出的預測視覺表示；一個單詞的多模式表示是其語言向量與其預測向量的加權連接，其中權重是可學習的參數。
實驗的結果表明，這種動態融合方法可以極大地提高詞匯表示的質量。定性的結果分析表示，該模型可以針對不同類型的詞匯賦予不同的權重。這一結果也符合認知科學的研究結論，即抽象詞更依賴文本模態，而具象詞的詞義學習依賴文本和感知覺模態。這個研究表明，利用計算模型對數據的規律進行挖掘可以幫助認知科學的相關研究。
（感謝王少楠的指正?。?/em>
主持人：靳婷副教授，海南大學
[7] Inferring Emotion from Conversational Voice Data: A Semi-supervised Multi-path Generative Neural Network Approach
作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華
單位：清華大學
經過一個多小時的茶歇和 poster 后，來自清華大學的周素平開啟了第二個環節的首場報告。報告中她介紹了他們組在語音對話應用程序（VDA）中推斷情感方面提出的半監督多路徑生成神經網絡方法的工作。
為了在語音對話應用（VDAs）中給出更人性化的回應，從用戶查詢中推斷用戶的情緒狀態是一個重要的任務。在 VDAs 問題中有兩大挑戰：1）多模態信息所帶來的特征向量維數很大；2）大量的用戶和巨大的未標記數據（有限的標記數據）。
針對這些問題，在這篇論文中作者提出了一種半監督的多路徑生成神經網絡，框架流程如下：
圖 7-1，框架流程圖
為了避免高維輸入，他們將原始特征分別輸入到局部分類器中進行訓練，然后再將每個局部分類器的高級特征作為全局分類器的輸入。這兩種分類器通過一個單一的目標函數同時進行訓練，以達到更有效、更有區別的情感推理。
為了進一步解決標記數據稀缺的問題，作者在上面的多路徑深度神經網絡上擴展了一個基于半監督變分自動編碼器（semi-VAE）的生成模型，這個模型能夠同時訓練標記和未標記的數據。
基于從搜狗 Voice Assistant1（SVAD13）和基準數據集 IEMOCAP 收集到的 24,000 個真實世界的數據集進行的實驗表明，該方法明顯優于現有的最新結果；更為關鍵的是，該方法可以直接應用在真實數據中。
[8] Long Text Generation via Adversarial Training with Leaked Information
作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇
單位：上海交通大學
隨后，來自上海交通大學的郭家賢分享了他們在長文本生成方面的研究工作。
在長文本生成中，現有的模型（GAN 方法）的標量引導信號只有在文本完整生成后才可以使用，并且在生成過程中缺少關于文本結構的中間信息，這些因素會限制長文本生成的效果。
8-1，LeakGAN 框架
本文提出了一種名為 LeakGAN 的框架，也即在生成的過程中 Discriminator 會將提取到的高級特征「泄露」給 Generator，以進一步指導下一步的生成。在 Generator 中，通過一個額外的 Manager 模塊將這些信息整合到所有生成步驟中，并將當前生成的字的提取特征輸出為一個潛在的向量，用來指導 Worker 模塊進行下一代詞的生成。
這個模型來源于一種想法，即人在說一句較長的話時，不是一下子把所有的詞都想完整了后再說，而是在說的過程中不斷根據前面內容生成接下來要說的話。
其實驗證明，LeakGAN 在長文本生成中非常有效，并且在短文本生成場景中也提高了性能。
[9] Style Transfer in Text: Exploration and Evaluation
作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴睿
單位：北京大學計算機科學技術研究所
接下來，來自北京大學計算科學與技術研究所的本科生付振新做了一項文本風格轉換方面探索性的報告。
在風格轉換方面，文本風格轉換的研究要落后與其他領域（如計算機視覺），其主要原因是由于缺乏并行數據和可靠的評估指標。
針對缺乏平行數據的挑戰，作者提出兩種模型來實現無平行語料數據集的風格轉換方法。模型背后關鍵的思想為使用對抗網絡來分別學習內容表示和風格表示。
9-1，兩個模型：多解碼器（左）和風格向量（右）。Content c 代表編碼器的輸出。多層感知器（MLP）和 Softmax 構成分類器。
針對缺乏可靠的評估指標的問題，作者提出了「轉換強度」和「內容保持（content preservation）」兩項評估指標。
他們選擇了兩種風格轉換任務來進行試驗，分別為：論文-新聞標題的風格轉換和正負面評論的風格轉換。
9-2，論文-新聞標題風格轉換（左）和正負面評論風格轉換（右）
結果顯示，且通過對自動編碼器的對比等，發現所提模型既能遷移風格，又能保留內容。
（感謝付振新指正！）
[10] Meta Multi-Task Learning for Sequence Modeling
作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁
單位：復旦大學
隨后來自復旦大學的陳俊坤做了關于序列建模的元多任務學習的報告。
語義組合函數（Semantic composition functions）在文本序列的神經表示學習中起著舉足輕重的作用。在這個任務中已經有許多模型，盡管它們取得了很大成功，但是也都存在 underfitting 的問題：它們在序列中的所有位置上使用相同的共享組合函數，因此會由于無法捕捉到合成的豐富性而缺乏表達能力；另外，不同任務的組合函數也是獨立的，每次都需要從頭開始學習。
在這篇文章中，作者提出了一個跨多個任務組合函數的共享方案。具體來說，作者使用一個共享的元網絡來捕獲語義組合的元知識，并生成任務特定的語義組合模型的參數。
作者對兩個任務（文本分類和序列標簽）進行了實驗。實驗結果表明，這個模型學到的共享元知識可以被看做是現成的知識，也很容易遷移到新的任務上。
（感謝陳俊坤指正?。?/em>
陳俊坤：
原先的多任務學習可視為學習出更好的表示特征，即 feature-level 的共享模式，如果一個 layer 的作用可以視為$layer =\sigma(W*x)$的話，那么之前的多任務學習旨在得到更好的 x，而我們的模型則保持 x 與單任務時相同，利用一個共享的小網絡控制 W，我們稱為 function-level 的共享模式。
[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems
作者：陶重陽，牟力立，趙東巖，嚴睿
單位：北京大學計算機科學技術研究所
來自北大計算科學與技術研究所的助理教授嚴睿做了關于開放域對話系統無監督自動評估的報告。
開放域對話系統目前還不存在標準的自動評估指標。研究者通常會使用人工標注進行模型評估，但這種方法費時費力。在這篇文章中，作者提出了一種 referenced 度量和 unreferenced 度量混合評估的 RUBER，它通過同時考慮一個 ground truth 答復和一個查詢（先前用戶發出的話語）來評估一個答案。這種指標是可以學習的，它的訓練并不需要人類滿意的標簽。所以 RUBER 比較靈活，可以擴展到不同的數據集和語言上。
在對檢索和生成對話系統的實驗表明，RUBER 與人類標注有很高的相關性。
[12] Exploring Implicit Feedback for Open Domain Conversation Generation
作者：張偉男，李凌志，曹東巖，劉挺
單位：哈爾濱工業大學
Session 2 的最后一個報告由來自哈工大 SCIR 的張偉男副教授分享了 SCIR 在開放域對話生成隱式反饋探索方面的工作。
在人機對話過程中，人們通常會表現出某種立場、情緒以及尷尬等狀態，我們稱之為用戶在人機對話過程中的隱式反饋。
相比于任務型人機對話在對話結束后通過問卷的形式顯式地獲取用戶的反饋，隱式反饋更加自然且不需要用戶作出對話之外的反饋操作。在開放域人機對話中，用戶的隱式反饋普遍存在。
這篇文章探尋了人機對話過程中的用戶隱式反饋對于開放域對話生成的作用，在強化學習的框架下，將隱式反饋建模到對話獎勵函數中，獲得比 baseline 更好的對話生成效果。
（感謝張偉男副教授指正?。?/em>
來張講者合照鎮樓！
其中有教授、博士、研究生、本科生，覆蓋了學術研究的各個年齡層。
（照片由哈工大李家琦博士提供）
?。?！NOTE?。?！
預講會已經結束，頂會將要開始。屆時雷鋒網 AI 科技評論也將到現場進行一線報道。如果你也有論文被 AAAI 錄用 ，歡迎在后臺留下你的聯系方式，我們將與您聯系，并進行更多交流！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
