本周 Paper 推薦丨MetaHIN 模型、GPT-GNN、大規模強化學習算法等

本文作者： AI科技評論

2020-08-21 17:12

導語：歡迎感興趣的同學加入論文推薦團隊。

本周 Paper 推薦丨MetaHIN 模型、GPT-GNN、大規模強化學習算法等 .

緩解異質信息網絡中冷啟動問題 so easy？來看看 MetaHIN 模型

基于立體視覺深度估計的深度學習技術研究

論文名稱：A Survey on Deep Learning Techniques for Stereo-based Depth Estimation

作者：Laga Hamid /Jospin Laurent Valentin /Boussaid Farid /Bennamoun Mohammed

發表時間：2020/6/1

論文鏈接：https://arxiv.org/abs/2006.02535?context=cs.GR

推薦原因

這是第一篇關于基于深度學習的立體匹配任務的綜述文章，以往關于立體匹配的綜述文章多基于傳統方法，或者年代已久。這篇綜述文章主要總結了過去6年發表在主要會議和期刊上的150多篇深度立體匹配論文，可以稱得上方法最新，分類最全，概括最廣。

在論文中，作者首先介紹了深度立體匹配網絡的常用架構，然后討論了基于每種架構的所有方法之間的異同。其分析的角度包括訓練的數據集、網絡結構的設計、它們在重建性能、訓練策略和泛化能力上的效果。對于一些關鍵的方法，作者還使用了公開數據集和私有數據進行總結和比較，采用私有數據的目的是測試各類方法在全新場景下的泛化性能。

這篇論文能夠為研究深度立體匹配的研究人員提供詳細的參考資料，同時，作者在最后一節提到的7種未來發展方向對于研究深度立體匹配具有很好的思考價值，值得細細品讀。

P2Net：無監督的室內深度估計的塊匹配和平面正則化

論文名稱：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation

作者：Yu Zehao /Jin Lei /Gao Shenghua

發表時間：2020/7/15

論文鏈接：https://arxiv.org/abs/2007.07696

開源地址：https://github.com/svip-lab/Indoor-SfMLearner

推薦原因

這篇論文提出了一個新的無監督室內場景下的深度估計網絡P2Net，其創新點在于提出了兩種新式無監督損失函數，論文發表在ECCV2020上。

傳統的無監督損失函數是以像素點為單位的圖像重構損失，以及邊緣敏感的梯度平滑損失。作者發現只在每個像素點處計算圖像重構損失得到的特征表示并不夠魯棒，由此提出采用基于圖像塊表示的重構損失。具體地，采用已有的特征描述子算法DSO提取特征關鍵點，以關鍵點為中心構建局部窗口，計算整個窗口內的重構損失更具有魯棒性。另外，考慮到無監督訓練時的崩塌來源于室內場景下的無紋理區域，作者認為無紋理區域可以看做是一個平面，通過對圖像提取超像素點從而構造平面區域，在同一平面上的像素點的深度信息應當具有一致性，由此提出平面一致性損失。

作者提出的P2Net在NYU Depth V2和ScanNet兩個公開數據集上取得了SOTA的效果。

本周 Paper 推薦丨MetaHIN 模型、GPT-GNN、大規模強化學習算法等

緩解異質信息網絡中冷啟動問題 so easy？來看看 MetaHIN 模型

論文名稱：Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation

作者：Yuanfu Lu/Yuan Fang/Chuan Shi

發表時間：2020/7/6

論文鏈接：https://aminer.cn/pub/5f03f3b611dc830562232019?conf=kdd2020

開源代碼：https://github.com/rootlu/MetaHIN

推薦原因

推薦系統旨在預測用戶對物品的偏好，從而向用戶提供其感興趣的商品，為用戶解決信息過載問題。為了緩解推薦系統中異質信息網絡的“冷啟動”問題，作者提出MetaHIN模型。

MetaHIN在模型層面探索了元學習的能力，同時在數據層面研究了異質信息網絡的表達能力。在MetaHIN中，作者提出使用多方面的語義上下文來增強每個用戶的任務，因此設計了一種新穎的語義增強型任務構建器，用于在元學習場景中捕獲異質信息網絡中的語義信息。進一步地，我們構建了一個協同適應元學習器。

該學習器既具有語義層面的適應性，又具有任務層面的適應性。

該論文已經被KDD 2020收錄。

IMPALA：大規模強化學習算法

論文名稱：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures

作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu

發表時間：2018/6/28

論文鏈接：https://arxiv.org/abs/1802.01561

推薦原因

這是并行RL算法領域引用最為高的一篇文章。文章和以往做的工作不同，不僅僅有工程上實驗效果的大幅提升，還做了理論的分析解決了on-policy與off-policy的訓練差異問題，整體工作是相當solid的。

作者同時啟動了多個Actor和一個Learner，每個Actor都是包含整個policy參數的，負責和環境交互產生數據，Learner是負責訓練參數還有同步參數給Actor的。這就有個問題了，參數同步會有無法避免的延遲，那這個就違背了On-policy算法的更新原則，作者提出了一種很好的方式解決這個問題，對有延遲的數據進行修正使得on-policy的訓練方式可以繼續進行。