0
雷鋒網按：本文為雷鋒字幕組編譯的技術博客，原標題 What do we learn from region based object detectors (Faster R-CNN,R-FCN, FPN)?，作者為 Jonathan Hui 。
翻譯 | 唐青 李振 整理 | 凡江
在這個系列中，我們將對目標檢測算法進行全面探討。 第 1 部分，我們介紹常見的基于區域的目標檢測器，包括 Fast R-CNN ， Faster R-CNN ， R-FCN 和 FPN 。 第 2 部分，我們介紹單步檢測器（single shoot dectors， SSD )。第 3 部分，我們探討算法性能和一些具體的例子。通過在相同的環境研究這些算法，我們研究哪些部分在其作用，哪些部分是重要的，可以在哪些部分進一步改進。希望通過對算法如何發展到今天的研究，會給我們未來的研究提供方向。
第1部分：我們從基于區域的目標檢測器中學到了什么（Faster R-CNN，R-FCN，FPN）？
第2部分：我們從單步檢測器中學到了什么（SSD，YOLO），FPN 和 Focal loss？
第3部分：目標檢測的設計選型，經驗教訓和發展趨勢？
滑動窗口檢測器（Sliding-window detectors）
自從 AlexNet 贏得了 2012 年 ILSVRC 挑戰的冠軍，使用 CNN 進行分類成為領域的主導。一種用于目標檢測的簡單粗暴的方法是將滑動窗口從左到右，從上到下滑動使用分類來識別目標。為了區分在不同視覺距離下的目標類型，我們使用了不同尺寸和高寬比的窗口。
我們按照滑動窗口從圖片中剪切出部分圖像塊。由于通常分類器都采用固定的圖像大小，所以圖像塊需要進行形變。然而，這對分類精度并沒有什么影響，應為分類器訓練時也使用了形變的圖像。
形變的圖像塊被送進 CNN 分類器中提取 4096 個特征。然后，我們用一個 SVM 分類器進行分類，用一個線性回歸器得到邊界框。
以下是偽代碼。 我們生成了很多窗口來檢測不同位置、不同形狀的目標。 為了提高性能，減少窗口數量是一個顯而易見的解決方案。
選擇性搜索（Selective Search）
不再用簡單粗暴的方法，我們用區域提議方法（region proposal method）生成感興趣區域 ( regins of interest, ROIs ) 來進行目標檢測。在選擇性搜索算法（Selective Search, SS）中，我們讓每個獨立像素作為一個起始的組。然后，計算每個組的紋理，合并最接近的兩個組。為了避免一個區域吞所有，我們優先合并較小的組。持續進行合并，直到所有可能合并的區域均完成合并。下圖中，第一行展示了如何進行區域生長。第二行展示了在合并過程中所有可能的 ROIs 。
R-CNN
R-CNN 利用區域提議方法（region proposal method）生成了約 2000 個感興趣區域（regins of interest, ROIs）。這些圖像塊進行形變到固定的大小，分別送入到一個 CNN 網絡中。然后，經過全連接層，進行目標分類和邊界框提取。
以下是系統的工作流。
利用數量更少，但質量更高的 ROIs ，R-CNN 比滑動窗口的方法運行的更快、更準確。
邊界框回歸器（Boundary box regressor）
區域提議方法的計算量很大。為了加速這個過程，我們常采用一個簡易版的區域提議網絡來生成 ROIs ，然后，接線性回歸器（使用全連接層）來提取邊界框。
Fast R-CNN
R-CNN 需要足夠多的提議區域才能保證準確度， 而很多區域是相互重疊的。R-CNN 的訓練和推理過程都很緩慢。例如，我們生成了 2000 個的區域提議，每個區域提議分別進入 CNN。換句話說，我們對不同的 ROIs 重復了進行了 2000 次的提取特征。
CNN 中的特征映射表達了一個更緊密的空間中的空間特征。我們能否利用這些特征映射來進行目標檢測，而不是原始圖像？
我們不再為每個圖像塊重新提取特征，而是在開始時采用一個特征提取器（一個 CNN 網絡）為整個圖像提取特征。然后，直接在特征映射上應用區域提議方法。例如，Fast R-CNN 選擇 VGG16 的卷積層 conv5 來生成待合并 ROIs 來進行目標檢測，其中，包括了與相應特征的映射。我們利用 ROI Pooling 對圖像塊進行形變轉換成固定大小，然后將其輸入到全連接層進行分類和定位（檢測出目標的位置）。由于不重復特征提取，Fast R-CNN 顯著的縮短了處理時間。
以下是網絡工作流：
在下面的偽代碼中，計算量很大的特征提取操作被移出了 for 循環。由于同時為 2000 個 ROIs 提取特征，速度有顯著的提升。Fast R-CNN 比 R-CNN 的訓練速度快 10 倍，推理速度快 150 倍。
Fast R-CNN 的一個主要特點是整個網絡（特征提取器，分類器和邊界框回歸器）可以通過多任務損失 multi-task losses（分類損失和定位損失）進行端到端的訓練。這樣的設計提高了準確性。
ROI Pooling
由于 Fast R-CNN 使用了全連接層，因此我們應用 ROI Pooling 將不同大小的 ROIs 轉換為預定義大小形狀。
舉個例子，我們將 8×8 特征映射轉換為預定義的 2×2 大小。
左上：特征映射圖。
右上：ROI（藍色）與特征映射圖重疊。
左下：我們將 ROI 分成目標維度。 例如，我們的目標大小是 2×2，我們將 ROI 分為 4 個大小相似或相等的部分。
右下：取每個部分的最大值，結果是特征映射轉換后的結果。
結果，得到了一個 2×2 的特征塊，我們可以將它輸入到分類器和邊界框回歸器中。
Faster R-CNN
Fast R-CNN 采用類似選擇性搜索（Selective Search）這樣額外的區域提議方法。 但是，這些算法在 CPU 上運行，且速度很慢。測試時， Fast R-CNN 需要 2.3 秒進行預測，而其中 2 秒花費在生成 2000 個ROIs 上。
Faster R-CNN 采用與 Fast R-CNN 相似的設計，不同之處在于它通過內部深度網絡取代區域提議方法。 新的區域提議網絡（Region Proposal Network, RPN）效率更高。單副圖像生成 ROIs 只需要 10ms 。
網絡工作流。區域提議方法被新的卷積網絡（RPN）取代。
區域提議網絡(Region proposal network)
區域提議網絡( RPN )用第一個卷積網絡輸出的特征圖作為輸入。在特征圖上用 3×3 的濾波器進行滑動（濾波），采用諸如 ZF 網絡（如下圖）的卷積網絡來得到未知類的建議區域。其他如 VGG 或者 ResNet 可以被用來提取更全面的特征，但需以速度為代價。 ZF 網絡輸出的 256 個值分別被送入兩個不一樣的全連接層來預測邊界框和對象性分數（2 objectness score)。對象性描述了框內是否包含有一個物體。我們可以用回歸器來計算單個物體的分數，但是為了簡單起見，Faster R-CNN使用了一個分類器分類出兩種可能的類別：「 存在物體 」類和「 不存在物體/背景 」類。
RPN 對特征圖里的每個位置(像素點)做了 K 次猜測。因此 RPN 在每個位置都輸出 4×k 個坐標和 2×k 個分數。以下圖例演示了一個使用 3×3 過濾器的 8×8 特征圖，它一共輸出 8×8×3 個興趣區( ROI )( 當k=3時）。右側圖例展示了在單個位置得到的 3 個提議區域。
我們現在有 3 個猜測，隨后我們也會逐漸改善我們的猜想。因為我們最終只需要一個正確的猜測，所以我們使用不同形狀和大小的的初始猜測會更好。因此， Faster R-CNN 不是隨機的選擇提議邊界框。而是預測了相對于一些被稱為錨的參考框的左上角的偏移量，比如 ?x, ?y 。因為我們約束了偏移量，所以我們的猜測仍然類似與錨。
為了對每個位置都進行 k 次預測，我們需要在每個位置中心放置 k 個錨。每次預測都和不同位置但是相同形狀的特定錨相關。
這些錨都是精心預選好的，所以它們多種多樣，同時非常合理的覆蓋了不同尺度和不同長寬比的現實生活中的物體。這使了初始訓練將具有更好的猜測，同時允許每次預測都有特定、不同的形狀。這種方式使早期的訓練更加穩定和容易。
Faster R-CNN 使用了更多的錨。Faster R-CNN 在一個位置上使用了 9 個錨：3 種不同尺度并使用三種長寬比。在每個位置使用 9 種錨，所以對于每個位置，它一共產生了 2×9 個對象性分數和 4×9 個坐標。
錨在不同的論文中也被稱為先驗或者默認邊界框。
R-CNN的性能
如下圖，Faster R-CNN 要快得多。
基于區域的全卷積網絡
假設我們只有一張特征圖用來檢測臉上的右眼。我們是否可以用此來決定臉的位置呢？是可以的。因為右眼應該位于一張面部圖像的左上角，我們也可以用此信息來確定臉的位置。
如果我們有另外的特征圖專門用來分別檢測左眼、鼻子、嘴，我們可以將這些結果結合在一起使對臉部的定位更準確。
那為什么我們要如此麻煩呢？在 Faster R-CNN 里，檢測器使用多個全連接層來做預測，有 2000 多個 ROI ，這消耗很高。
R-FCN 通過減少每個 ROI 需要的工作總量來提高速度，以上基于區域的特征圖獨立于 ROIs ，同時可以在每一個ROI的外部進行計算。接下來的工作就更簡單了，因此 R-FCN 比 Faster R-CNN 要快。
我們可以想想一下這種情況，M 是一個 5*5 大小，有一個藍色的正方形物體在其中的特征圖，我們將方形物體平均分割成 3*3 的區域?，F在我們從 M 中創建一個新的特征圖并只用其來檢測方形區域的左上角。這個新的特征圖如下右圖，只有黃色網格單元被激活。
因為我們將方形分為了 9 個部分，我們可以創建 9 張特征圖分別來檢測對應的物體區域。因為每張圖檢測的是目標物體的子區域，所以這些特征圖被稱為位置敏感分數圖（position-sensitive score maps）。
比如，我們可以說，下圖由虛線所畫的紅色矩形是被提議的 ROIs 。我們將其分為 3*3 區域并得出每個區域可能包含其對應的物體部分的可能性。例如， ROIs 的左上區域中存在左眼的可能性。我們將此結果儲存在 3*3 的投票陣列（如下右圖）中。比如，投票陣列 [0][0] 中數值的意義是在此找到方形目標左上區域的可能性。
將分數圖和 ROIs 映射到投票陣列的過程叫做位置敏感 ROI 池化（position-sensitive ROI-pool）。這個過程和我們之前提到的 ROI pool 非常相似。這里不會更深入的去講解它，但是你可以參考以后的章節來獲取更多信息。
在計算完位置敏感 ROI 池化所有的值之后，分類的得分就是所有它元素的平均值。
如果說我們有 C 類物體需要檢測。我們將使用 C+1個類，因為其中多包括了一個背景（無目標物體）類。每類都分別有一個 3×3 分數圖，因此一共有 (C+1)×3×3 張分數圖。通過使用自己類別的那組分數圖，我們可以預測出每一類的分數。然后我們使用 softmax 來操作這些分數從而計算出每一類的概率。
接下來是數據流（圖），比如我們的例子中，k=3。
至今為止我們的歷程
我們從最基礎的滑動窗口算法開始。
然后我們嘗試減少窗口數，并盡可能的將可以移出 for-loop 的操作移出。
在第 2 部分里，我們更加完全的移除了 for-loop 。單次檢測器（single shot detectors）使物體檢測能一次性完成，而不需要額外的區域提議步驟。
RPN，R-FCN，Mask R-CNN的延伸閱讀
FPN 和 R-FCN 都要比我們在這里所描述的更加復雜，如果您想進一步學習，請參考如下：
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
https://medium.com/@jonathan_hui/understanding-region-based-fully-convolutional-networks-r-fcn-for-object-detection-828316f07c99
雷鋒網雷鋒網
雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
