0
本文為 AI 研習社編譯的技術博客，原標題 ：
NeuroNuggets: CVPR 2018 in Review, Part I
作者 | Sergey Nikolenko、Aleksey Artamonov
翻譯 | 老趙 校對 | 李晶
整理 | 菠蘿妹
原文鏈接：
https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-i-f22b8c223202
NeuroNuggets：CVPR 2018年回顧，第一部分
在Neuromation，我們一直在尋找有助于我們的研究的新的有趣想法。 還有什么比頂級會議更適合尋找它們的地方。 我們已經在CVPR（計算機視覺和模式識別）會議的研討會DeepGlobe介紹了我們如何取得成功。 這次我們將仔細研究一下CVPR本身最有趣的論文。 這段時間，頂級會議是非常重要的事情，所以我們準備了一系列的推文。 我們介紹的論文沒有特別的順序，不僅選擇優秀的論文，而且與我們在Neuromation所做的研究相關。 這一次，Aleksey Artamonov（你以前見過的人）準備了這份列表，我試圖對其補充一些介紹。 在這個系列中，我們將非常簡短，試圖從每篇論文中提取最多一個有趣的點，所以在這種方式我們不能真正了解完整的工作，并強烈建議完整閱讀論文。
GAN和計算機視覺
在第一部分中，我們專注于生成模型，即不僅可以區分貓狗，還可以生成新的貓和狗圖像的機器學習模型。 對于計算機視覺，最成功的一類生成模型是生成性對抗網絡（GAN），其鑒別器網絡學習區分生成的對象和真實對象，生成器學習去欺騙鑒別器。 我們已經多次寫過GAN（例如，這里和這里），所以讓我們直接進入正題。
Y. Bai等人，用生成性對抗網絡在戶外尋找小小的面孔
在沙特和中國研究人員的合作中，作者使用GAN來檢測和放大人群照片上的非常小的面孔。 即使僅檢測小面孔也是一個有趣的問題，普通的人臉檢測器（例如，在我們之前的帖子中出現）通常無法解決該問題。 在這里，作者提出了一個端到端的流水線來提取面部，然后應用生成模型將其提升到4倍（一個稱為超分辨率的過程）。 以下是論文中的流水線概覽：
H. Chang等人，PairedCycleGAN：用于和去除化妝的不對稱樣式轉移
條件GAN已經廣泛用于圖像處理; 我們已經提到過超分辨率，GAN也成功應用于風格轉換。 使用GAN，可以學習與特定圖像元素相對應的顯著特征 - 然后更改它們。 在這項工作中，來自普林斯頓、伯克利和Adobe的研究人員提出了一個修飾照片的框架。 這項工作的一個有趣的部分是作者為不同的臉部組成部分（眼睛，嘴唇，皮膚）訓練單獨的生成器并分別應用它們，用不同的網絡提取臉部組成部分：
F. Mueller等人，GANerated Hands for Mon-time RGB for Real-Time 3D Hand Tracking
我們已經寫過關于姿勢估計的文章。 姿勢估計的一個非常重要的子集（通常需要單獨的模型）是手部跟蹤。 通過揮動雙手來操縱計算機的科幻主題尚未完全實現，仍然需要專門的硬件，如Kinect。 像往常一樣，主要問題之一是數據：在哪里可以找到3D標記的真實視頻流？在這項工作中，作者提出了一種條件GAN架構，能夠將合成的3D模型轉換為圖像 然后用于訓練手部跟蹤網絡。 這項工作非常吸引我們，合成數據是Neuromation研究的重點，所以我們之后可能會更詳細地考慮它。 同時，這里是“合成到實際”的GAN架構：
L. Wei 等人，Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
人物重新識別（ReID）是在不同條件和不同情況下拍攝的不同照片上找到同一個人的問題。 這個問題自然而然地成為許多研究的主題，現在已經相對較好地解決了，但是領域差異問題仍然存在：不同的數據集與人物的圖像具有非常不同的條件（照明，背景等），在一個數據集上訓練的網絡在轉移到另一個數據集（以及例如現實世界的應用程序）時損失很大。 上圖展示了不同的數據集。 為了解決這個問題，這項工作提出了一種GAN架構，能夠將圖像從一種“數據集樣式”轉移到另一種“數據集樣式”，使用GAN來通過復雜的變換增強真實數據。 它的工作原理如下：
K.Wang等人，用于眼睛圖像合成和眼睛凝視估計的分層生成模型
倫斯勒理工學院的這項工作解決一個非常特殊的問題：生成人眼的圖像。 這不僅對于生成圖像中漂亮的眼睛重要，而且用生成的眼睛解決視線估計問題：人們在看什么？ 這將為真正的科幻界面鋪平道路......但這仍然是未來，目前甚至合成眼睛生成也是一個非常難的問題。 作者提出了一個復雜的眼形合成概率模型，并提出了一個GAN架構，根據這個模型生成眼睛 - 取得了巨大的成功。
J. Yu等人，Generative Image Inpainting with Contextual Attention
Adobe Research和伊利諾伊大學厄本那 - 香檳分校的這項工作試圖解決填補圖像空白這個極具挑戰性的問題（見上面的例子）。 通常，修復圖像需要了解潛在場景：在上圖中的右上角，你已經知道臉部是什么樣的，以及我們根據看到的頭發和頸部預測臉可能是什么樣的。 在這項工作中，作者提出了一種基于GAN的方法，可以利用周圍圖像的特征來改善生成。 該結構由兩部分組成，首先生成粗略結果，然后使用另一個網絡對其進行細化。 結果非常不錯：
今天就是這樣。 這只是第一部分，我們將在下一期繼續進行CVPR 2018回顧，再見。雷鋒網雷鋒網雷鋒網
Sergey Nikolenko
Chief Research Officer, Neuromation
Aleksey Artamonov
Senior Researcher, Neuromation
想要繼續查看該篇文章相關鏈接和參考文獻？
長按鏈接點擊打開或點擊【CVPR 2018摘要：第一部分】：
http://ai.yanxishe.com/page/TextTranslation/1193
AI研習社每日更新精彩內容，觀看更多精彩內容：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
