0
| 本文作者： 我在思考中 | 2021-10-13 18:32 |
第一作者主頁：https://zhuozheng.top
我們觀察到，成對標記的位時圖像的重要性在于，變化檢測器需要成對的語義信息來定義對象變化檢測的正負樣本。這些正、負樣本通常是由兩個不同時間的像素在同一地理區域是否具有不同的語義來決定的。位時像素的語義控制著標簽分配，而位置一致性條件（兩個時相的像素應處于相同的地理位置）僅用于保證獨立同分布的訓練和推理。可以想象，如果我們松弛位置一致性條件來定義正負樣本，那么變化是無處不在的，尤其是在未配對的圖像之間。
2.1 單時相監督學習算法STAR: Single-Temporal supervised LeARning
其中Xi, Xj為真實雙時相圖像對，對應的Y是其語義像素標簽，F為變化檢測器，
為變化檢測器參數。將偽雙時相圖像對（Xt1, 
Xt1）替換為真實雙時相圖像對，并重新利用邏輯異或運算分配偽雙時相圖像對的變化標簽，從而將原學習問題松弛為下式的僅利用單時相圖像即可完成的學習問題:
偽雙時相圖像對：為了利用單時相圖像提供監督信號，我們提出了一種偽雙時相圖像對構建技術，其通過對一個訓練批次中的圖像Xt1進行隨機排列得到偽第二時相圖像
Xt1，并且保證每個偽圖像對中的圖像各不相同。通過觀察可以發現，偽雙時相圖像對的變化標簽可用兩張圖像的語義像素標簽（one-hot為二值標簽）的邏輯異或表示，這樣即可完成偽雙時相圖像對的正負樣本定義。
圖1：模型訓練與推理流程
2.2 變化檢測新架構ChangeStar = Any Segmentation Model + ChangeMixin
ChangeStar是一個簡單而統一的網絡，由一個深度語義分割模型和ChangeMixin模塊組成。這種設計的核心思想在于重用現代語義分割架構，因為語義分割和物體變化檢測都是密集的預測任務。為此，我們設計了ChangeMixin模塊，使任何現成的深度語義分割模型能夠檢測物體變化。ChangeMixixin模塊由若干卷積層和一個時序交換模塊組成，其輸入由分割模型計算得到的高分辨率語義特征，輸出雙向的變化檢測圖用于后續的學習與推理。我們在實驗中發現，一個收斂的模型，雙向變化檢測圖相似度極高，因此在推理階段我們選擇其中一個方向的變化檢測圖作為最終預測值。
這部分展示了所提出方法在不同訓練數據與測試數據下的泛化性實驗結果。對比方法采用基于深度語義分割模型的分類后比較法，作為單時相監督的基線。實驗結果表明，所提出的方法可有效提升單時相監督下的變化檢測性能，具有很好的泛化性能。
同時為了驗證所提出架構的有效性，我們在雙時相監督下訓練了ChangeStar模型的各種變體。實驗結果（表4）表明ChangeStar架構對已有的分割模型具有良好的兼容性，在相同骨干網絡的情況下可取得更加優異的性能。
為了了解單時相、雙時相監督之間的實際差距，我們利用相同模型開展了多組對照實驗，從實驗結果中可以發現，單時相監督作為一種弱監督信號，與雙時相監督這種強監督信號相比仍有一定差距，但差距隨著骨干網絡容量的提升而減小，目前F1精度差距最小可縮小到10%以內。然而本文提出的方法僅僅是在單時相監督上的初步探索，未來還有更大的改進空間，例如使用模型容量更大的transfomer模型作為基礎模型、更大的單時相監督數據、更好的單時相監督學習策略都是值得未來探索的研究話題。
更多的消融實驗與討論可見原文。
在這項工作中，我們提出了單時相監督學習算法（STAR），從而巧妙繞過了傳統的雙時相監督學習中收集成對標記數據成本高的問題。STAR提供了一個利用任意圖像對中的物體變化作為監督信號的新視角。為了證明STAR的有效性，我們設計了一個簡單而有效的多任務架構，稱為ChangeStar，用于聯合語義分割和變化檢測，它可以通過進一步提出的ChangeMixin模塊重新使用任何深度語義分割架構。
大量的實驗分析表明，提出的方法可以以較弱監督信息學習一個魯棒的變化檢測器；同樣雙時相監督條件下，超越了目前的state-of-the-art方法。我們希望STAR將作為一個堅實的基線，在未來服務于弱監督變化檢測研究。
雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
