頂會見聞系列：ICML 2018（下），能量、GAN、監督學習、神經網絡

雷鋒網 AI 科技評論按：本篇屬于「頂會見聞系列」。每年這么多精彩的人工智能/機器學習會議，沒去現場的自然可惜，在現場的也容易看花眼。那么事后看看別的研究員的見聞總結，也許會有新的收獲呢。

曾在中科院自動化研究所模式識別國家重點實驗室實習的 Gautier Marti 現在是 NLP 量化分析研究員。機器學習+金融的研究人員對理論性較強的 ICML 有何感悟呢？雷鋒網 AI 科技評論把他的個人博客文章全文編譯如下。本篇為下篇，共兩篇。上篇見 這里。

ICML 正會第二天 - 能量，GANs，排序，課程學習，以及我們的論文

ICML 2018 的正會第二天由阿姆斯特丹大學機器學習研究主席 Max Welling 的以「每千瓦能量的智能」為標題的會議報告開頭。他討論了物理和 AI 之間的聯系（比如能源，熵，信息，比特，最小可描述長度原理等），包括模型方面和能源成本方面。當前的模型（如深度神經網絡）需要大量的能量。從物理能量（建模）思想出發推導出深度學習的一個貝葉斯形式，能帶來（現實中）更能源高效的模型。最終這些事情都能一一連接起來。這里有一個他關于該主題的另一個報告，與 ICML 的這個報告相比有較大不同。

我參加了會議的以下 session，其中一些論文讓我印象很深刻：

生成模型（session 1）

Geometry Score: A Method For Comparing Generative Adversarial Networks（幾何分數：一種比較生成對抗網絡的方法）

作者通過比較原始數據的流型和生成數據的流形的幾何性質，構建了一種新的 GAN（生成對抗網絡）的性能評價方法，為評估提供了定性和定量的手段。具體的說，為了研究數據流形，作者使用了拓撲數據分析（Topological Data Analysis），如一組在離散點云上進行拓撲分析的方法形式（參見 Gunnar Carlsson 的這篇文章，深度介紹了 TDA；以及 GUDHI（Geometry Understaning in Higher Dimensions)  github code）

排名與偏好學習（session 2A）

加速光譜排名（Accelerated Spectral Ranking) 

問題：給定 n 項之間的成對或多項比較，目標為要學習每項的分數。這些分數可以進一步用于這些項目的排名。例如，在推薦系統中，目標可能是通過觀察用戶在面對這些項目的不同子集時所做的選擇，來學習這些項目全部放在一起時的排名。在多路比較的情況下，有一種稱為 Luce 光譜排名的方法（LSR， Luce spectral ranking）， 它通過在 n 個項目的比較圖上構建隨機游走（random walk，等效于一個馬爾科夫鏈）來解決問題。如果兩項之間存在成對或者多向比較的話，則該兩項之間有一條邊。構造該隨機游走的目的是使得其靜止分布對應于 MNL、BTL 模型的權重。作者提出了一種更快的算法來做到這一點。

該 session 的其他論文似乎也很有意思，但是我目前對這個領域并不是很熟悉，就不多加評論了。我可能會在最近嘗試一下這些方法。這里是 SQL-Rank: A Listwise Approach to Collaborative Ranking 的 github 地址。

監督學習（session 2B）

監督學習的 session 包含了很多機器學習的實踐者們非常關心的問題討論：在充滿噪聲的標簽上學習；提高模型的實證收斂速度。后者可以通過課程設置學習（curriculum learning）來實現，即先使用簡單的樣本學習，然后逐漸增加樣本的難度。本 session 的論文似乎都能夠在很短的時間內對工業界產生影響，論文的作者中有 Uber 的負責人 Raquel Urtasun 和 Google AI 的負責人李飛飛。

Curriculun Learning 的論文：

MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels.（MentorNet：在受損的標簽上為非常深的神經網絡學習數據驅動的課程學習）

Learning to Reweight Examples for Robust Deep Learning（學習重新為樣本設置權重，用于魯棒深度學習）， 非原作者 github

Dimensionality-Driven Learning with Noisy Labels（有噪聲的標簽上的維度驅動學習），github

深度學習（神經網絡架構）（session 3）

Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples（通過查詢與反例從 RNN 中抽取自動機），對于那些經過理論計算機科學和深度學習訓練的人來說，這篇論文應該是非常有趣的。

Autoregressive Convolutional Neural Networks for Asynchronous Time Series（用于異步時間序列的自回歸卷積神經網絡），github。這是我們的論文，是一個自回歸模型，其權重是非線性的，可以處理異步多變量時間序列。對于一個應用的例子，想象經銷商在場外交易市場中提供報價：這些報價到達的時間隨機（或多或少與經銷商有些關系），報價可能存在一些偏差和方差（bias and variance)，同時在轉給其他經銷商時可能有一些滯后。該模型旨在捕捉這些關系，并且主網絡的權重允許對這些經銷商之間的關系（超前-滯后）進行一些解釋和可視化。我們可以將這項工作推廣到其他計量經濟模型。

正會會場之外，JP Morgan 也在自己的展臺上展示了自己的深度對沖方法。

ICML 正會第三天 - 時間序列分析，NLP，更多仿人的學習機器

ICML 正會第三天開場的是 Ronan Collobert 與 Jason Weston 的 ICML 2008 論文《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》（一個自然語言處理的統一架構：多任務學習深度神經網絡）獲得「時間檢驗獎」的演講。在 這里 可以看到 10 年前作者們的一些討論以及當時是否被接受。我沒能現場聽到他們的演講，因為斯德哥爾摩的城際列車被停運了。

我參加了這幾個 session：

時間序列分析（session 1）

深度貝葉斯無參追蹤

遷移學習與多任務學習（session 2）

自然語言與語音處理（session 3）

一共有四個演講，三個是 Facebook 的研究員在講，還有一個是谷歌的人在講

（全文完。雷鋒網 AI 科技評論的 ICML 報道參見  ICML 2018 斯德哥爾摩開幕，公平性研究戴上光環，金句頻出，16位大神在ICML上展開了一場機器學習的Great Debates）

via Gautier Mari's Wander，雷鋒網 AI 科技評論編譯

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。