0
雷鋒網AI科技評論按：ICCV 全稱為 IEEE International Conference on Computer Vision，即國際計算機視覺大會）與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）并稱計算機視覺方向的三大頂級會議，每兩年召開一次的 ICCV 今年將在意大利威尼斯舉辦。
由上海交通大學人工智能實驗室李澤凡博士實現，倪冰冰教授、張文軍教授、楊小康教授，高文院士指導的論文《基于高階殘差量化的高精度網絡加速》（Performance Guaranteed Network Acceleration via High-Order Residual Quantization）已經被 ICCV2017 錄用，以下為上海交通大學人工智能實驗室楊蕊所做的詳細解讀，雷鋒網AI科技評論經授權引用，并做了不改動原意的修改和編輯。
論文鏈接：http://pan.baidu.com/s/1bMgbme
隨著人工智能在各個領域的應用中大放異彩，深度學習已經成為街頭巷尾都能聽到的詞匯。然而網絡越來越深，數據越來越大，訓練越來越久，如何在保證準確率的情況下加速網絡以及甚至網絡在 CPU 或者移動設備上進行訓練與測試變成了迫在眉睫的問題。
除了網絡 pruning，網絡稀疏近似等等，網絡二值化也是常見的網絡加速方式。通常情況下，我們用+1 和-1 來代替原來的浮點數數值，使得卷積中的乘法操作變成加減操作，而如果輸入和權重同時二值化，乘法操作就會變成異或操作。這看似是一種合理的網絡壓縮方式，然而如果單純的運用閾值二值化方法對網絡輸入進行二值化處理，那么模型最后的精度將無法得到保證。但如果不運用二值化方法對網絡進行加速，那么就又無法利用二值化所帶來的在計算和存儲方面的優勢。
而這篇文章提出的 HORQ（High Order Residual Quantization）方法提出了一種針對輸入的高階殘差二值量化的方法，既能夠利用二值化計算來加快網絡的計算，又能夠保證訓練所得的二值化網絡模型的較高的準確率。
圖一 HORQ 結構
圖一展示了如何用 HORQ 方法將一個普通的卷積層進行殘差量化。
對于一個神經網絡常規的卷積層 Y=X?W, 其中 X 是網絡的實值輸入，W 是網絡的實值權值，Y 是網絡層的輸出。要對這個卷積層進行高階殘差近似，先按照 XNOR-net[1] 的方法對這個卷積層進行一階二值近似：
X≈β_1 H_1,W≈αB
Y_1=αβ_1 H_1?B
隨后，就可以由此定義輸入殘差張量：
R_1 (X)=X-β_1 H_1
繼續對殘差進行二值量化，就可以得到輸入 X 的二階二值近似：
R_1 (X)≈β_2 H_2,W≈αB
Y_2=αβ_2 H_2?B
那么，現在可以定義輸入 X 的二階殘差近似：
Y≈Y_1+Y_2
類似的，我們可以進而定義出輸入 X 的高階殘差，以及相應的高階殘差量化：
由此，對卷積層進行二階（高階）殘差量化，并加速其運算。
這篇文章的實驗部分在 MNIST 和 CIFAR-10 數據集上進行測試，發現 HORQ-net 對比之前對輸入簡單采取一階閾值二值化的方法有喜人的優勢：
圖二 MNIST 實驗
圖三 Cifar-10 實驗
我們發現，對于二階殘量化方法，該方法將網絡的大小降低了約 32 倍，同時速度上有 30 倍的提升，相比 XNOR-net 在兩個 MNIST 和 CIFAR-10 上測試準確率均有提升，并且展現出了可在 CPU 上進行網絡訓練的潛能。
圖四 HORQ 方法加速比性能分析
圖五 HORQ 方法加速比與量化階數分析
HORQ 方法對卷積層計算的的加速比跟卷積核大小，feature map 數量，以及殘差量化的階數都有較大關系。這些關系體現在圖四和圖五中。而且，如圖六所示，基于二值化的模型存儲空間可以得到大幅度的降低。
圖六
該論文提出的 HORQ 方法可以作為一個基礎的二值量化的方法用于網絡的輸入二值化中，能夠在保證網絡模型精度的前提下，利用二值量化的技術提升網絡的計算速度，而且同時可以根據實際的硬件需要來調整殘差階數以適應需求。
這個方法有著很大的發展、使用前景。對于一般的深度學習網絡，HORQ 方法能能夠很大程度上加速深度網絡的計算速度。由于網絡的每層輸入的輸入和權值都被二值化，模型的前向傳播時間得到大大降低，同時存儲模型所需的空間得到大大壓縮，使得在資源受限的小運算平臺，例如手機和筆記本上運行大規模深度網絡模型成為可能。另外，高階殘差量化的方法能夠使得網絡精度得到保證，使得網絡不再會因為簡單二值化方法而造成的精度大幅下降。
參考文獻：
[1]M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi. Xnor-net: Imagenet classification using binary convolutional neu-ral networks. In European Conference on Computer Vision, pages 525–542. Springer, 2016.
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
專題
