今日 Paper | 隨機微分方程；流式自動語音識別；圖像分類等

為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關于人工智能的前沿學術論文供你學習參考。以下是今日的精選內容——

論文名稱：Reinforcement Learning via Fenchel-Rockafellar Duality

作者：Nachum Ofir /Dai Bo

發表時間：2020/1/7

論文鏈接：https://paper.yanxishe.com/review/8517?from=leiphonecolumn_papereview0110

推薦理由：作者回顧凸對偶性的基本概念，重點是非常普遍且極為有用的Fenchel-Rockafellar對偶性。 

作者總結了如何將這種對偶性應用于各種強化學習（RL）設置，包括策略評估或優化，在線或離線學習以及打折或未打折的獎勵。 這些推導產生了許多有趣的結果，包括使用行為不可知的離線數據執行策略評估和基于策略的策略梯度的能力，以及通過最大似然優化來學習策略的方法。 盡管許多結果以前都以各種形式出現過，但是作者對這些結果提供了統一的處理方法和觀點，作者希望它們能夠使研究人員更好地使用和應用凸對偶工具，從而在RL中取得更大的進步。

論文名稱：Scalable Gradients for Stochastic Differential Equations

作者：Li Xuechen /Wong Ting-Kam Leonard /Chen Ricky T. Q. /Duvenaud David

發表時間：2020/1/5

論文鏈接：https://paper.yanxishe.com/review/8518?from=leiphonecolumn_papereview0110

推薦理由：伴隨靈敏度方法可縮放地計算常微分方程解的梯度。 作者將這種方法推廣到隨機微分方程，從而利用高階自適應求解器實現梯度的時效性和恒定內存計算。 具體來說，作者推導了一個隨機微分方程，其解為梯度，一種用于記憶噪聲的內存有效算法以及數值解收斂的條件。 此外，作者將其方法與基于梯度的隨機變分推斷相結合，以解決潛在的隨機微分方程。 作者使用這種方法來擬合由神經網絡定義的隨機動力學，從而在50維運動捕獲數據集上實現競爭性能。

論文名稱：Streaming automatic speech recognition with the transformer model

作者：Moritz Niko /Hori Takaaki /Roux Jonathan Le

發表時間：2020/1/8

論文鏈接：https://paper.yanxishe.com/review/8514?from=leiphonecolumn_papereview0110

推薦理由：基于編碼器-解碼器的序列到序列模型已經證明了端到端自動語音識別（ASR）的最新結果。最近，與基于遞歸神經網絡（RNN）的系統體系結構相比，使用自我注意力對時間上下文信息進行建模的轉換器體系結構已顯示出顯著更低的字錯誤率（WER）。盡管獲得了成功，但實際使用僅限于脫機ASR任務，因為編碼器/解碼器體系結構通常需要整個語音發音作為輸入。

在這項工作中，作者提出了一種基于變壓器的端到端ASR系統，用于流式傳輸ASR，在該系統中，每個口語單詞后必須立即生成輸出。為此，我們對編碼器應用了有時間限制的自注意力，并為編碼器-解碼器注意機制觸發了注意。對于LibriSpeech的“干凈”和“其他”測試數據，作者提出的流媒體轉換器體系結構實現了2.7％和7.0％的WER，據所知，這是針對此任務發布的最佳流媒體端到端ASR結果。

論文名稱：The importance of phase in complex compressive sensing

作者：Jacques Laurent /Feuillen Thomas

發表時間：2020/1/8

論文鏈接：https://paper.yanxishe.com/review/8513?from=leiphonecolumn_papereview0110

推薦理由：作者考慮從復雜隨機測量的相位（即在僅相位壓縮感測（PO-CS）場景中）估計實際的低復雜度信號（例如稀疏矢量或低秩矩陣）的問題。

作者表明，如果感測矩陣是一個復雜的高斯隨機矩陣，并且與信號空間的復雜度級別相比測量次數較大，則可以以高概率且高達全局未知信號幅度，來完美地恢復此類信號。 。此外，如果每個測量值都乘以未知符號，則仍可以恢復。作者的方法是通過將（非線性）PO-CS方案重鑄為根據信號歸一化約束和相位一致性約束（施加任何信號估計以匹配測量域中的觀測相位）構建的線性壓縮感測模型而進行的。實際上，可以從壓縮感測文獻的任何實例最優算法（例如，基本追蹤去噪）中獲得穩定且魯棒的信號方向估計。通過證明與該等效線性模型關聯的矩陣，可以在上述條件下以測量次數高概率滿足受限等軸測特性，從而確保這一點。作者最終通過實驗觀察到，穩健的信號方向恢復大約是壓縮感測中信號恢復所需的測量次數的兩倍。

論文名稱：Do As I Do: Transferring Human Motion and Appearance between Monocular Videos with Spatial and Temporal Constraints

作者：Gomes Thiago L. /Martins Renato /Ferreira Jo?o /Nascimento Erickson R.

發表時間：2020/1/8

論文鏈接：https://paper.yanxishe.com/review/8515?from=leiphonecolumn_papereview0110

推薦理由：

從真實演員的圖像創建合理的虛擬演員仍然是計算機視覺和計算機圖形學的主要挑戰之一。無標記的人類運動估計和來自野外圖像的形狀建模使這一挑戰脫穎而出。盡管最近在視圖合成和圖像到圖像的翻譯方面取得了進步，但是當前可用的配方僅限于僅轉移樣式，并且不考慮角色的運動和形狀，而角色的運動和形狀天生就混雜在一起以產生合理的人類形式。

在本文中，作者提出了一種統一的公式，用于從涉及所有這些方面的單眼視頻中轉移外觀并重新定向人類運動。作者的方法由四個主要部分組成，并在最初錄制他們的不同上下文中合成了新的人們視頻。與最近的外觀轉移方法不同，作者考慮了身體形狀，外觀和運動約束。評估是使用包含嚴酷條件的可公開獲得的真實視頻通過幾次實驗進行的。其方法能夠以超越最新技術的方式傳遞人類動作和外觀，同時保留必須保持的動作的特定特征（例如，腳觸摸地板，手觸摸特定對象）并保持最佳狀態視覺質量和外觀指標，例如結構相似度（SSIM）和學習的感知圖像補丁相似度（LPIPS）。

論文名稱：Generating Object Stamps

作者：Mejjati Youssef Alami /Shen Zejiang /Snower Michael /Gokaslan Aaron /Wang Oliver /Tompkin James /Kim Kwang In

發表時間：2020/1/1

論文鏈接：https://paper.yanxishe.com/review/8516?from=leiphonecolumn_papereview0110

推薦理由：作者提出一種算法來生成各種前景對象，并使用GAN架構將它們合成為背景圖像。 給定對象類，用戶提供的邊界框和背景圖像，作者首先使用遮罩生成器創建對象形狀，然后使用紋理生成器填充遮罩，以使紋理與背景整合。 通過將對象插入的問題分為兩個階段，作者證明了其模型可以改善各種對象生成的真實感，而這種現實感也與所提供的背景圖像一致。 與最新的對象插入方法相比，作者在具有挑戰性的COCO數據集上的結果顯示出更高的整體質量和多樣性。

論文名稱：RoboFly: An insect-sized robot with simplified fabrication that is capable of flight, ground, and water surface locomotion

作者：Chukewad Yogesh M /James Johannes /Singh Avinash /Fuller Sawyer

發表時間：2020/1/8

論文鏈接：https://paper.yanxishe.com/review/8512?from=leiphonecolumn_papereview0110

推薦理由：像蜜蜂一樣大小的空中機器人（約100 mg）具有體積小，重量輕和材料成本低等優點，優于大型機器人。先前的迭代已經證明了飛行受控，但是由于它們由組裝在一起的許多獨立零件組成，因此很難制造。除了飛行之外，他們還無法執行運動模式。

本文介紹了一種74 mg拍打翼機器人的新設計，該機器人可大大減少零件數量并簡化制造過程。它還具有較低的質心，即使在不穩定的飛行情況下，也無需長腿即可使機器人額外著陸。此外，作者表明，新設計允許機翼驅動的地面和空氣-水界面移動，從而提高了機器人的多功能性。通過增加相對于拍打翼的上行程的下行程速度來產生前向推力。這也允許轉向。著陸并隨后沿著地面移動的能力使機器人能夠在障礙物下方和極其精確的位置之間協商極為狹窄的空間。作者將詳細描述新設計，并提供展示這些功能以及懸停飛行和受控著陸的結果。

論文名稱：FrequentNet : A New Deep Learning Baseline for Image Classification

作者：Li Yifei /Wang Zheng /Song Kuangyan /Sun Yiming

發表時間：2020/1/4

論文鏈接：https://paper.yanxishe.com/review/8510?from=leiphonecolumn_papereview0110

推薦理由：在本文中，作者從“ PCANet”方法中概括了這一思想，以實現用于圖像分類的新基線深度學習模型。 代替在“ PCANet”中使用主成分向量作為濾波向量，作者在離散傅里葉分析和小波分析中使用基礎向量作為濾波向量。 兩者在基準數據集中均達到了與“ PCANet”相當的性能。 值得注意的是，作者的算法不需要任何優化技術即可獲得這些基礎。

論文名稱：Convolutional Networks with Dense Connectivity

作者：Huang Gao /Liu Zhuang /Pleiss Geoff /van der Maaten Laurens /Weinberger Kilian Q.

發表時間：2020/1/8

論文鏈接：https://paper.yanxishe.com/review/8511?from=leiphonecolumn_papereview0110

推薦理由：最近的工作表明，如果卷積網絡在靠近輸入的層和靠近輸出的層之間包含較短的連接，則可以進行更深入，更準確和有效的訓練。

在本文中，作者接受了這一觀察，并介紹了密集卷積網絡（DenseNet），該網絡以前饋的方式將每一層連接到其他每一層。而具有L層的傳統卷積網絡具有L連接-每層與其卷積網絡之間后續層-作者的網絡具有L（L + 1）/ 2個直接連接。對于每一層，所有先前層的特征圖都用作輸入，而其自身的特征圖則用作所有后續層的輸入。DenseNets具有幾個引人注目的優勢：它們減輕了消失梯度的問題，鼓勵了特征重用并大大提高了參數效率。

作者在四個競爭激烈的對象識別基準測試任務（CIFAR-10，CIFAR-100，SVHN和ImageNet）上評估了作者提出的體系結構。DenseNets在大多數方面都獲得了超越現有技術的顯著改進，同時需要更少的參數和計算即可實現高性能。

論文名稱：Implementing version control with Git as a learning objective in statistics courses

作者：Beckman Matthew D. /?etinkaya-Rundel Mine /Horton Nicholas J. /Rundel Colin W. /Sullivan Adam J. /Tackett Maria

發表時間：2020/1/7

論文鏈接：https://paper.yanxishe.com/review/8509?from=leiphonecolumn_papereview0110

推薦理由：版本控制是可復制工作流的基本元素，在統計學課程的學習目標中應適當考慮。 

本文介紹了四個在不同機構教授不同課程的貢獻型教師的經驗和實施決策。 這些教師中的每一個都將版本控制作為學習目標，并將Git教學成功地集成到一個或多個統計課程中。 本文中描述的各種方法跨越了不同的實施策略，以適應學生的背景，課程類型，軟件選擇和評估實踐。 通過提供廣泛的Git教學方法，本文旨在作為統計教員在本科或研究生課程中任何級別的課程教學的資源。

雷鋒網雷鋒網雷鋒網