0
| 本文作者： 奕欣 | 2018-05-31 18:17 |
從學術開發和企業活動上看，阿里巴巴達摩院機器智能技術實驗室在雷鋒網學術頻道 AI 科技評論旗下數據庫項目「AI 影響因子」中有不錯的表現。實驗室分別在 SQuAD 和 KITTI 比賽中獲得第一名，近期在 AAAI 2018 上，達摩院機器智能技術實驗室共有 4 篇論文被錄用，在CVPR 2018上，也有多篇論文被錄用，成績斐然。
近年來，深度卷積神經網絡（CNN）方法在單幅圖像超分辨率（SISR）領域取得了非常大的進展。然而現有基于 CNN 的 SISR 方法主要假設低分辨率（LR）圖像由高分辨率（HR）圖像經過雙三次 (bicubic) 降采樣得到，因此當真實圖像的退化過程不遵循該假設時，其超分辨結果會非常差。此外，現有的方法不能擴展到用單一模型解決多種不同的圖像退化類型。為此，提出了一種維度拉伸策略使得單個卷積超分辨率網絡能夠將 SISR 退化過程的兩個關鍵因素（即模糊核和噪聲水平）作為網絡輸入。歸因于此，訓練得到超分辨網絡模型可以處理多個甚至是退化空間不均勻的退化類型。實驗結果表明提出的卷積超分辨率網絡可以快速、有效的處理多種圖像退化類型，為 SISR 實際應用提供了一種高效、可擴展的解決方案。
單幅圖像超分辨率（SISR）的目的是根據單幅低分辨（LR）圖像輸入得到清晰的高分辨率（HR）圖像。一般來說，LR 圖像 y 是清晰 HR 圖像 x 由下面的退化過程得來，
其中 
表示 HR 清晰圖像 x 與模糊核 k 之間的卷積，
表示系數為 s 的降采樣算子，n 表示標準差（噪聲水平）為σ的加性高斯白噪聲（AWGN）。
SISR 方法主要分為三類：基于插值的方法、基于模型的方法以及基于判別學習的方法。基于插值的方法（例如：最近鄰插值、雙三次插值）雖然速度快，但是其效果比較差。基于模型的方法通過引入圖像先驗，例如：非局部相似性先驗、去噪先驗等，然后求解目標函數得到視覺質量較好的 HR 圖像，然而速度較慢。雖然結合基于 CNN 的去噪先驗可以在某種程度上提升速度，但仍然受限于一些弊端，例如：無法進行端對端的訓練，包含一些比較難調的參數等。基于判別學習的方法尤其是基于 CNN 的方法因其速度快、可以端對端的學習因而效果好等在近幾年受到了廣泛關注，并且逐漸成為解決 SISR 的主流方法。
自從首個用 CNN 解決 SISR 的工作 SRCNN 在 ECCV（2014）發表以來，各種不同的改進方法相繼提出。例如，VDSR 在 PSNR 指標上取得了非常大的提升；ESPCN 和 FSRCNN 分別在速度上進行了改進；SRGAN 在放大倍數較大情況下針對視覺效果的改善提出了有效的方法。然而這些方法都存在一個共同缺點，也就是它們只考慮雙三次 (bicubic) 降采樣退化模型并且不能靈活的將其模型擴展到同時（非盲）處理其它退化類型。由于真實圖像的退化過程多種多樣，因而此類方法的有效實際應用場景非常有限。一些 SISR 工作已經指出圖像退化過程中的模糊核的準確性對 SISR 起著至關重要的作用，然而并沒有基于 CNN 的相關工作將模糊核等因素考慮在內。為此引出本文主要解決的問題：是否可以設計一個非盲超分辨率（non-blind SISR）模型用以解決不同的圖像退化類型？
本文首先分析了在最大后驗（MAP）框架下的 SISR 方法，借此希望可以指導 CNN 網絡結構的設計。由于 SISR 問題的不適定性，通常需要引入正則項來約束解空間。具體來說，LR 圖像 y 對應的 HR 圖像 x 可以通過求解下述問題近似，
其中 
為似然（也即數據保真）項，
為先驗（也即正則）項，λ為似然項和先驗項之間的權衡參數。簡單來說，上述公式包含兩點：
1）估計得到的 HR 圖像不僅要符合 SISR 的退化過程，并且還要滿足清晰圖像所具有的先驗特征；
2）對于非盲超分辨率問題，x 的求解與 LR 圖像 y、模糊核 k、噪聲水平σ以及權衡參數λ有關。
簡而言之，非盲 SISR 的 MAP 估計可以表示為
，其中 ∵ 為 MAP 估計中的參數。進而如果將 CNN 看作 MAP 估計另一種形式的解，那么有如下結論：
由于數據保真項對應著 SISR 的退化過程，因此退化過程的準確建模對 SISR 的結果起著至關重要的作用。然而現有的基于 CNN 的方法其目標是求解下面的問題,
由于沒有將模糊核和噪聲等因素考慮在內，因此其實用性非常有限。為了設計更加有效的基于 CNN 的 SISR 模型，應該將更多的圖像退化類型考慮在內，一個簡單的思路就是將模糊核 k 和噪聲水平σ也作為網絡的輸入。由于權衡參數λ可以融入噪聲水平σ之中，因此 CNN 映射函數可以簡化成如下形式：
由于 MAP 估計中大部分的參數都對應著圖像先驗部分，而圖像先驗是與圖像退化過程不相關的，因此單一的 CNN 模型具有處理不同退化類型的建模能力。
通過上述分析可以得出非盲 SISR 應該將退化模型中的模糊核和噪聲水平也作為網絡的輸入。然而 LR 圖像、模糊核和噪聲水平三者的維度是不同的，因此不能直接作為 CNN 的輸入。為此本文提出了一種維度拉伸策略。假設 LR 圖像大小為 W×H，首先將向量化的模糊核 PCA 降維，然后和噪聲水平并在一起得到一個 t+1 維的向量 v，接著將 v 拉伸為 W×H×(t+1) 維的張量，我們將此張量稱之為退化圖（Degradation Maps），其中第 i 個 W×H 圖的所有元素均為 vi。
圖 1：維度拉伸示意圖
至此，我們可以將退化圖和 LR 圖像合并在一起作為 CNN 的輸入。為了證明此策略的有效性，選取了快速有效的 ESPCN 超分辨網絡結構框架。值得注意的是為了加速訓練過程的收斂速度，同時考慮到 LR 圖像中包含高斯噪聲，因此網絡中加入了 Batch Normalization 層。圖 2 給出了提出的超分辨率網絡（簡稱 SRMD）結構框架。
圖 2：提出的超分辨率網絡結構框架（卷積層數為 12，每層通道數為 128）。
在訓練階段，SRMD 采用了各向同性和各向異性的高斯模糊核、噪聲水平在 [0, 75] 之間的高斯白噪聲以及 bicubic 降采樣算子。需要指出的是 SRMD 可以擴展到其它降采樣算子，甚至其它退化模型。
在測試階段，SRMD 比較了不同方法在同為 bicubic 降采樣退化下的 PSNR 和 SSIM 結果（如表 1 所示）。可以看出雖然 SRMD 是用來處理各種不同的退化類型，但是仍然在 bicubic 降采樣退化下取得不錯的效果。需要指出的是 SRMD 在速度上也有很大的優勢，在 Titan Xp GPU 上處理 512×512 的 LR 圖像僅需 0.084 秒，是 VDSR 超分辨率兩倍所用時間的一半。表 2 給出了不同退化類型下的 PSNR 和 SSIM 結果比較，可以看到 SRMD 同樣取得了不錯的效果。圖 4 舉例說明了 SRMD 可以設定非均勻退化圖，進而可以處理退化空間不均勻的 LR 圖像。最后，圖 5 展示了不同方法在真實圖像上的視覺效果比較，可以看到 SRMD 復原的 HR 圖像在視覺效果上明顯優于其它方法。
表 1：不同方法在 bicubic 降采樣退化下的 PSNR 和 SSIM 結果比較（其中 SRMDNF 表示不考慮噪聲情況下訓練得到的模型）。
圖 3：不同方法在 bicubic 降采樣退化下超分辨率四倍的視覺效果比較。
表 2：不同方法在不同退化類型下的 PSNR 和 SSIM 結果比較。
圖 4：舉例說明 SRMD 可以處理退化空間不均勻的情形。（a）噪聲水平以及模糊核寬度的空間分布；（b）LR 圖像（最近鄰插值放大）；（c）復原得到的 HR 圖像（放大兩倍）。
圖 5：不同方法在 SISR 經典測試圖像「Chip」上超分辨率四倍的視覺效果比較。
最后總結一下，本文的主要貢獻有三個方面：
提出了一種簡單、有效、可擴展的超分辨率模型，其不僅可以處理 bicubic 降采樣退化模型，并且可以處理多個甚至是退化空間不均勻的退化類型，為 SISR 實際應用提供了一種解決方案。
提出了一種簡單有效的維度拉伸策略使得卷積神經網絡可以處理維度不同的輸入，此策略可以擴展到其他應用。
通過實驗展示了用合成圖像訓練得到的超分辨網絡模型可以有效的處理真實圖像復雜的退化類型。
論文鏈接：
http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_SRMD.pdf
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
