0
| 本文作者： 我在思考中 | 2022-04-24 10:47 | 專題：ICLR 2019 |
作者｜Ailleurs
今日，ICLR2022在官網上公布了杰出論文獎評選結果，共有7篇論文獲獎，國內上榜高校包括清華大學、中國人民大學、浙江大學、重慶大學，國外上榜高校和機構有谷歌研究院、安特衛普大學、斯坦福大學、康奈爾大學、多倫多大學、DeepMind等。
今年ICLR共有3391篇投稿，接收1095篇，接收率為32.3%，其中包括54篇論文被接收為Oral，176篇論文被接收為Spolight，7篇論文因其卓越的條理性、洞察力、創造力和潛在的持久影響力榮獲杰出論文獎。其中，華人一作論文共有3篇，張鈸院士、朱軍教授等人合作的論文獲得杰出論文獎。另有3篇論文獲得杰出論文榮譽提名。
張鈸院士、朱軍教授等人合作的獲獎論文為《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》。
論文地址：https://openreview.net/pdf?id=0xiJLKH-ufZ
這項工作的獲獎理由：
擴散概率模型（Defusion probabilistic model，DPM）是一類功能強大的生成模型，是機器學習領域中一個快速發展的研究課題。本文旨在解決 DPM 模型固有的局限性，即DPM 模型中最優反向方差的計算速度緩慢且成本昂貴。作者首先展示了一個令人驚訝的結果，即 DPM 的最優反向方差和相應的最優 KL 散度都有其得分函數的解析形式。然后，他們提出了新穎且優雅的無訓練推理框架：Analytic-DPM，使用蒙特卡羅方法和預訓練的基于得分模型來估計方差和 KL 散度的分析形式。
這篇論文在理論貢獻（表明 DPM 的最優反向方差和 KL 散度都具有解析形式）和實際益處（提出適用于各種 DPM 模型的免訓練推理）方面都具有重要意義，并且很可能影響未來的 DPM 研究。
圖注：張鈸
張鈸，清華大學計算機系教授，中國科學院院士，CCF 會士，2014 CCF 終身成就獎獲得者，中國人工智能領域奠基人之一。曾任校學位委員會副主任，現任微軟亞洲研究院技術顧問。
張鈸院士從事人工智能、人工神經網絡、機器學習等理論研究，以及這些理論應用于模式識別、知識工程與機器人等技術研究。在這些領域，他已發表 200多篇學術論文和5篇（或章節）專著（中英文版）。他的專著獲得國家教委高等學校出版社頒發的優秀學術專著特等獎。他的科研成果分別獲得 ICL歐洲人工智能獎、國家自然科學三等獎、國家科技進步三等獎、國家教委科技進步一、二等獎、電子工業部科技進步一等獎以及國防科工委科技進步一等獎獎勵。此外，他參與創建智能技術與系統國家重點實驗室，于1990‐1996年擔任該實驗室主任。1987‐1994年任國家"863"高技術計劃智能機器人主題專家組專家。
在過去30多年中，他提出問題求解的商空間理論，在商空間數學模型的基礎上，提出了多粒度空間之間相互轉換、綜合與推理的方法。提出問題分層求解的計算復雜性分析以及降低復雜性的方法。該理論與相應的新算法已經應用于不同領域，如統計啟發式搜索、路徑規劃的拓撲降維法、基于關系矩陣的時間規劃以及多粒度信息融合等，這些新算法均能顯著降低計算復雜性。該理論現已成為粒計算的的主要分支之一。在人工神經網絡上，他提出基于規劃和基于點集覆蓋的學習算法。這些自頂向下的結構學習方法比傳統的自底向上的搜索方法在許多方面具有顯著優越性。
張鈸院士在清華執教六十余年，已經是桃李滿天下，在其研究領域也成為了絕對的權威。雖已年過花甲，卻仍精神矍鑠，如今的他還在堅持以第一作者的身份寫作論文，令人敬佩。
圖注：朱軍
朱軍，清華大學計算機系教授，清華大學人工智能研究院基礎理論研究中心主任，北京智源人工智能研究院機器學習首席科學家 。獲騰訊科學探索獎，入選MIT TR35中國先鋒者 、亞洲第二位IEEE AI 10 to Watch學者、國家"萬人計劃"領軍人才，中國首位PAMI副主編，擔任IEEE TPAMI的副主編和編委。擔任ICML2014地區聯合主席, ICML、NIPS、IJCAI、AAAI等領域主席20余次。
朱軍教授的研究工作圍繞機器學習基礎理論、高效算法和應用展開，注重理論與實際問題結合。已連續多年在機器學習頂級國際會議和期刊ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等發表論文100余篇。研究工作得到國家973計劃、自然科學基金優青基金和重點基金等項目的支持，入選“清華大學221基礎研究人才支持計劃”。
另一項華人一作獲獎論文來自斯坦福大學 ：《Comparing Distributions by Measuring Differences that Affect Decision Making》。
論文地址：https://openreview.net/forum?id=KB5onONJIAU
這項工作的獲獎理由：本文提出了一類新的差異，可以比較基于最優損失的決策任務的兩種概率分布。作者證明，與各種基準上的競爭性基準相比，所提出的方法具有更好的測試能力。委員會認為 ，該方法不僅思維巧妙，具有特殊的經驗意義，它允許用戶通過決策損失來比較分布時直接指定他們的偏好，這意味著可解釋性水平將得到提高。
論文作者Shengjia Zhao是斯坦福大學計算機科學系的博士生，研究方向為預測模型和自治代理、概率深度學習、不確定性量化等。他與北大2016級圖靈班本科生許逸倫等人的合作論文曾被ICLR2020“滿分”接收。
圖注：Shengjia Zhao
其導師為Stefano Ermon，他曾獲IJCAI2018“計算機與思想獎”，在概率推理、機器學習和決策方面的研究具有重要影響。他的另一位天才學生宋飏的一作論文曾獲ICLR2021杰出論文獎，宋飏14歲保送清華大學，本科就讀于數學物理專業，曾跟隨朱軍等人做研究，后在2016年赴斯坦福大學讀博。
第三篇華人一作獲獎論文為《Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path》，作者Xiaoyan Han是康奈爾大學的博士生。
論文地址：https://arxiv.org/abs/2106.02073
這項工作的獲獎理由：
本文對當下深度網絡訓練范式中場景的“神經崩潰”現象提出了新的理論見解。本文演示了一種新的均方誤差(MSE)損失分解方法，以分析神經崩潰下損失的每個組成部分，而不是數學上更難分析的交叉熵損失。通過研究沿中心路徑的重整梯度流，作者推導出預測神經崩潰的精確動力學方法。本文為理解深度網絡的經驗訓練提供了新穎而富有啟發性的理論見解。
圖注：Xiaoyan Han
本次獲得杰出論文榮譽提名的論文之一《PiCO: Contrastive Label Disambiguation for Partial Label Learning》，一作是來自浙江大學計算機科學與技術學院的博士生Haobo Wang。
論文地址：https://arxiv.org/abs/2201.08984
這項工作的獲獎理由：
本文研究了部分標簽學習(PLL)，旨在通過在一個連貫的框架中解決PLL表示學習和標簽消歧的兩個關鍵挑戰，減少PLL和有監督的對等物之間的性能差距。作者提出了一個結合了對比學習和基于原型的標簽消歧的新框架PiCO。本文給出了有趣的理論解釋，以證明其框架從期望最大化(EM)的觀點。實證結果尤其令人印象深刻，因為PiCO在PLL中顯著優于目前最先進的技術，甚至達到了與完全監督學習相當的結果。
雷峰網(公眾號：雷峰網)
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
專題
