0
| 本文作者： AI科技評論 | 編輯：汪思穎 | 2018-12-04 11:03 | 專題：NeurIPS 2018 |
雷鋒網AI 科技評論消息：NeurIPS 2018 于 12 月 3 日—12 月 8 日在加拿大蒙特利爾會展中心（Palais des Congrès de Montréal）舉辦，今年共計有 9 場 Tutorial 、7 場主題 Talk 和 41 場 Workshop，相較去年來說，不管是主題活動，還是投稿論文，亦或是參會人數，都上了一層新的臺階。
在大會第一天的下午的開幕式環節，最佳論文獎、時間檢驗獎等諸多獎項一并揭曉，大會主席也向在場觀眾透露了今年論文的熱點分布，會議新的亮點以及一系列數據。
隨著會議的影響和規模越來越大，今年創造性地開設了展覽日，吸引了將近 32 家公司，設立了 15 場演講和圓桌，17 篇 demo 展示和 10 場 workshop。
今年共有 9 場 tutorial，其中有 5 場由組委會邀請。組委會共接收 36 個 tutorial 舉辦申請，最后通過 4 場。workshop 申請上，共收到 118 份報名，最終通過 39 份。競賽申請上，共收到 21 份申請，最終通過 8 個。
組委會今年特別提及了到四場 workshop，分別是 WiML，Black in AI，LatinX in AI，Queer in AI，宣揚反對歧視和偏見。
組委會表示，我們需要意識到人是復雜的動物，要能看到其他人的觀點，切身體會到被當做局外人的感受，要多聽、多做研究、多學習，不斷努力，表明自己的觀點和態度。
為了將會議辦好，組委會在今年也做出了很多努力，如設立 advisory board, inclusion survey ，邀請 D&I 講者，在 Twitter 上提供小貼士等。
會議上，也特別提到簽證問題，此次有超過一半的參會黑人簽證被拒。他們表示，接下來將會早一點發出邀請函，未來在會議主辦地的選擇上也會注意。
今年組委會共審閱 4854 篇論文，接收論文 1010 篇，接收率與去年一致，均為 21%。可以看到，從 2015 年開始，NeurIPS 的投稿論文迎來爆發式增長。
組委會今年統計出十大熱點領域，分別是：
Algorithms
Deep Learning
Applications
RL&Planning
Prob. Methods
Theory
Optimization
Neuro.&Cog.Sci.
Data, etc
Other
在論文分布上，共接收 30 篇 oral 論文，168 篇 spotlight 論文，812 篇 poster 論文。其中，有 44% 的接收論文提供了代碼或數據，有 56% 的論文已經在網上公布。
今年共有四篇最佳論文獎，一篇時間檢驗獎。
最佳論文獎
Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes
利用樣本壓縮方案學習高斯混合的近似緊樣本復雜度界
作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan
我們證明了 (k d^2/ε^2) 樣本對于學習 R^d 中 k 個高斯的混合，直至總變差距離中的誤差 ε 來說，是充分必要條件。這改善了已知的上界和下界這一問題。對于軸對準高斯混合，我們證明了 O(k d/ε^2) 樣本匹配一個已知的下界是足夠的。上限是基于樣本壓縮概念的分布學習新技術。任何允許這種樣本壓縮方案的分布類都可以用很少的樣本來學習。此外，如果一類分布具有這樣的壓縮方案，那么這些產品和混合物的類也是如此。我們主要結果的核心是證明了 R^d 中的高斯類能有效的進行樣本壓縮。
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
網絡中非光滑分布優化的優化算法
作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié
在本文中，我們考慮使用計算單元網絡的非光滑凸函數的分布式優化。我們在兩個正則性假設下研究這個問題：（1）全局目標函數的 Lipschitz 連續性，（2）局部個體函數的 Lipschitz 連續性。在局部正則性假設下，本文給出了稱為多步原對偶（MSPD）的一階最優分散算法及其相應的最優收斂速度。這個結果的一個顯著特點是，對于非光滑函數，當誤差的主要項在 O(1/t) 中時，通信網絡的結構僅影響 O(1/t) 中的二階項，其中 t 是時間。換言之，即使在非強凸目標函數的情況下，由于通信資源的限制而導致的誤差也以快速率減小。在全局正則性假設下，基于目標函數的局部平滑，給出了一種簡單而有效的分布式隨機平滑（DRS）算法，并證明了 DRS 在最優收斂速度的 d1/4 乘因子內，其中 d 為底層。
Neural Ordinary Differential Equations
神經常微分方程
作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud
我們引入了一種新的深度神經網絡模型。我們使用神經網絡參數化隱藏狀態的導數，來代替指定隱藏層的離散序列。網絡的輸出是使用黑箱微分方程求解器計算的。這些連續深度模型具有恒定的存儲器成本，使它們的評估策略適應于每個輸入，并且可以顯式地以數值精度換取速度。我們在連續深度殘差網絡和連續時間潛變量模型中證明了這些性質。我們還構造了連續歸一化流，這是一種生成模型，可以通過最大似然度進行訓練，而不需要對數據維度進行劃分或排序。對于訓練，我們將展示如何通過任何 ODE 求解器可擴展地反向傳播，而無需訪問其內部操作。這允許較大模型中的 ODES 進行端到端的訓練。
Non-delusional Q-learning and value-iteration
「Non-delusional」Q 學習和價值迭代
作者：Tyler Lu，Dale Schuurmans，Craig Boutilier
我們用函數逼近法確定了 Q-學習和其他形式的動態規劃中誤差的根本來源。當近似結構限制了可表達的貪婪策略的類別時，就會產生偏差。由于標準 Q-updates 對可表達的策略類做出了全局不協調的動作選擇，因此可能導致不一致甚至沖突的 Q 值估計，從而導致病態行為，例如過度/低估、不穩定甚至發散。為了解決這個問題，我們引入了策略一致性的新概念，并定義了一個本地備份流程，通過使用信息集，也就是記錄與備份 Q 值一致的策略約束集，來確保全局一致性。我們證明了使用這種備份的基于模型和無模型的算法都能消除妄想偏差，從而產生第一種已知算法，保證在一般條件下的最優結果。此外，這些算法只需要多項式的一些信息集（的潛在指數支持）。最后，我們建議使用其他實用的啟發式價值迭代和 Q 學習方法去嘗試減少妄想偏差。
時間檢驗獎
The Tradeoffs of Large Scale Learning
權衡大規模學習
作者：Léon Bottou，Olivier Bousquet
這篇文章建立了一個理論框架，在學習算法中考慮了近似優化的影響。分析表明，對于小規模和大規模學習問題來說，近似最優化算法的 tradeoff 是不相同的。小規模的學習問題服從于常規的近似估計。大規模學習系統還受限于底層優化算法的非平凡方式的計算復雜性。
會議重頭戲就此結束，接下來，將是一系列有意思的 workshop 和對所有論文的展示，雷鋒網 AI 科技評論也將為大家持續帶來相關報導。
特此感謝第四范式涂威威供圖。雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
