0
| 本文作者： 楊鯉萍 | 2019-08-27 09:59 |
雷鋒網 AI 開發者按：隨著深度學習的進一步發展，我們對數據集的依賴也越來越強。就在最近，FAIR 開放了 LVIS，一個大規模細粒度詞匯集標記數據集，該數據集針對超過 1000 類物體進行了約 200 萬個高質量的實例分割標注，包含 164k 大小的圖像。FAIR 發布了相關文章對該成果做了詳細解析，雷鋒網 AI 開發者將重點內容其整理編譯如下。
計算機視覺的核心目標是賦予算法智能描述圖像的能力；目標檢測是規范的圖像描述任務，這在應用程序中實用性很強，并且可以直接在現有設置中進行基準測試。而物體檢測器的精確度已經得到了顯著提高，并且已經開發出新功能，例如：圖像分割和 3D 表示。
從少數例子中有效地學習是機器學習和計算機視覺中一個重要的開放性問題，從科學和實踐的角度來看，這個機會是非常令人振奮的。但要開放這個領域進行實證研究，需要一個合適的、高質量的數據集和基準。我們的目標就是通過設計和收集 LVIS，一個用于大規模詞匯量對實例分割研究基準數據集來實現這一新的研究方向，并在最終完成 164k 大小的包含 1000 類物體的約 200 萬個高質量的實力分割標注圖像數據集。
圖 1 示例注釋。我們提供了一個新的數據集lvis，用于在 1000+ 類別圖像中基準化大型詞匯實例分割，以及找出具有挑戰性的稀有對象長尾分布
我們的標注流程從一組圖像開始，這些圖像在未知標記類別的情況下所收集。我們讓注標器完成迭代對象定位過程，并找出圖像中自然存在的長尾分布，來代替機器學習算法對自動化數據標記過程。
我們設計了一個眾包標注流程，可以收集大型數據集，同時還可以生成高質量的標注。標注質量對于未來的研究非常重要，因為相對粗糙的標注，例如 COCO 數據集，它會限制算法對于標注預測質量的提高。與 COCO 和 ADE20K 相比，我們的數據標注具有更大的重疊面積和更好的邊界連續性。
為了構建這個數據集，我們采用了評估優先的設計原則。該原則指出，我們應該首先確定如何執行定量評估，然后再設計和構建數據集收集流程，以滿足評估所需數據的需求。我們選擇類似與 COCO 風格的實例分段評測基準，并且使用了相同風格的平均精度（AP）度量標準。
雖然 COCO 的任務和指標連續性降低了數據集設計難度，但這個任務選擇中依舊存在著直接的技術挑戰：當一個物體可以合理地用多個類別標記時，我們如何公平地評估檢測器性能？當使用來自 1000 多個類別的 164k 標注圖像時，我們如何使標注工作量變得可行？
解決這些挑戰的基本設計選擇是構建聯合數據集：由大量較小的組成數據集聯合形成的單個數據集，每個數據集看起來與單個類別的傳統目標檢測數據集完全相同。每個小數據集為單個類別提供詳盡標注的基本保證，即該類別的所有實例都被標注。多個組成數據集可以重疊，因此圖像中的單個對象可以用多個類別標記。此外，由于詳盡的標注保證僅存在于每個小數據集中，因此我們不需要對整個聯合數據集的所有類別進行詳盡地標注，這將大大減少標注工作量。至關重要的是，在測試時每個圖像相對于組成數據集的子集衡量標準是算法未知的，因此它必須進行預測，使得所有類別都將被評估。
目前，我們已經標注了兩次的圖像 val 子集。我們也標注了額外的 77k 圖像（在 train，val 和 test 之間劃分），占最終數據集的~50％；我們將其稱為 LVIS v0.5。第一個基于 v0.5 的 LVIS 挑戰賽將在 ICC 2019 年的 COCO 研討會上舉行。
相關數據集
數據集塑造了研究人員研究的技術問題，因此也是科學發現的途徑。我們目前在圖像識別方面的成功很大程度上歸功于 MNIST（http://yann.lecun.com/exdb/mnist/ ）、BSDS、Caltech 101、PASCAL VOC、ImageNet 和 COCO 等先驅數據集。這些數據集支持開發檢測邊緣、執行大規模圖像分類以及通過邊界框和分割蒙版定位對象的算法。它們還被用于發現重要的方法，如卷積網絡、殘余網絡和批量標準化 。LVIS 的靈感來自這些以及其他相關數據集，包括關注街景（Cityscapes 和 Mapillary）和行人（Caltech Pedestrians）的數據集。
圖 2 lvis示例注釋（為了清晰起見，每個圖像對應一個類別）；更多信息請參閱http://www.lvisdataset.org/explore
我們遵循評估優先設計原則：在任何數據收集之前，我們精確定義了將執行的任務以及如何評估的標準。這個原則很重要，因為在評估大型詞匯數據集上的檢測器時會出現技術挑戰，而這些問題在數據類別很少時不會發生。我們必須首先解決這些問題，因為它們對數據集的結構有深遠的影響，我們將在下面討論。
任務和評估準則
任務和指標。我們的數據集基準是實例分割任務，即給定一組固定的已知類別，然后設計一種算法。當出現之前沒有的圖像時，該算法將為圖像中出現的每個類別中的每個實例輸出一個標注以及類別標簽與置信度分數。而給定算法在一組圖像上的輸出，我們使用 COCO 數據集中的定義和實現計算標注平均精度（AP）。
評估挑戰。像 PASCAL VOC 和 COCO 這樣的數據集使用手動選擇的成對不相交類別，例如：當標注汽車時，如果檢測到的目標是盆栽植物或沙發，則不會出現錯誤。但增加類別數量時，則不可避免會出現其他類型的成對關系，例如：部分視覺概念的重疊、父子分類關系的界定、同義詞識別等。如果這些關系沒有得到妥善解決，那么評估標準將是不公平的。
例如：大多數玩具不是鹿，大多數鹿不是玩具，但是玩具鹿卻既是玩具也是鹿。如果檢測器輸出鹿的同時物體僅標記為玩具，則目標檢測算法為錯誤的標記；如果汽車僅被標記為 vehicle，而算法輸出 car，則也是錯誤的標注。因此，提供公平的基準對于準確反映算法性能非常重要。
圖 3 從左到右的類別關系：部分視覺概念的重疊、父子分類關系、等效（同義詞）關系；這意味著單個對象可能具有多個有效標簽；目標探測器的公平評估必須考慮到多個有效標簽的問題
當 GT 標注缺少目標的一個或多個真實標簽時，則會出現這些問題。如果算法恰好預測了其中一個正確但不完整的標簽，將得到錯誤的結果。而現在，如果所有目標都是詳盡且正確地標記了所有類別，那么問題就可以解決了。
聯合數據集
解決問題的關鍵在于：評估標準不要求我們詳盡地標注所有圖像與所有類別。相反，對于每個類別 c，必須存在整個數據集 D 的兩個不相交的子集，存在圖像的正例集 Pc?D，使得 Pc 中的所有 c 的類別都被標注；存在圖像負例集 Nc?D，使得在這些圖像中的任何一個中都不包含 c 的實例。給定類別 c 的這兩個子集，Pc∪Nc 可用于執行 c 的標準 COCO 樣式 AP 評估。評估 oracle 僅在圖像子集上的類別 c 上判斷算法，其中 c 已被詳盡地標注；如果檢測器報告圖像上的類別 c 的檢測結果 i 不屬于 Pc∪Nc，則不評估檢測。通過將每類別集合匯集到單個數據集中，D =∪c（Pc∪Nc），最后我們得出聯合數據集的概念。
聯合數據集是通過多個小數據集聯合構建大規模的完整數據集，而每一個子數據集則聚焦于某個單一類別的傳統數據集。在標注過程中，每一個小數據集將集中標注某一個特定的類別，并將圖中某個特定類別的所有信息進行標注；這一方法也有助于大大減少工作量。
最后，我們發現一些未公開測試標注的正集和負集數據集，所以算法沒有關于在這些圖像中評估的輔助信息；因此，算法需要對每個測試圖像中的所有類別進行最佳預測。
評估細節
挑戰評估服務器將僅返回整體 AP，而不是每類別 AP，這是因為：
避免露出測試集中存在的類別信息；
鑒于長尾類別很少，所以在某些情況下評估的例子則更少，這使得 AP 類別不穩定；
通過對大量類別求平均，整體類別平均 AP 具有較低的方差，使其成為排序算法的穩健度量。
非窮舉標注（Non-Exhaustive Annotations）。我們收集了一個圖像級別的布爾標簽 eci，指示圖像 i∈Pc 是否在類別 c 中被詳盡地標注。在大多數情況下（91％），此標志為 true，表示標注確實是詳盡的。在其余情況下，圖像中至少有一個未標注的實例。缺少標注通常發生在「crowds」類別中，其中存在大量實例所以我們難以進行描繪。在評估期間，我們不計算在該標簽設置為 false 的圖像上的類別 c 的誤報。我們測量對這些圖像的記憶：期望檢測器預測標記實例的準確分割標注。
層次結構。在評估期間，我們將所有類別視為相同；我們對層次關系沒有做任何特殊處理。為了得到最佳表現，對于每個檢測到的物體 o，檢測器應輸出最具體的正確類別以及所有更一般的類別，例如：獨木舟應標記為獨木舟和船。
同義詞。將同義詞分成不同類別的聯合數據集是有效的，但是不必要分得很細致；我們避免使用 WordNet 將同義詞拆分為單獨的類別。具體而言，在 LVIS 中每個類別 c 都是一個 WordNet 同義詞，即由一組同義詞和定義指定的詞義。
數據集的標注主要分為了六個階段，包括目標定位、窮盡標記、實例分割、驗證、窮盡標注驗證以及負例集標注。
圖 4 數據集標注流程的六個階段
第 1 階段的目標定位是一個迭代過程，其中每個圖像被訪問可變次數。在第一次訪問時，要求標注器用一個點標記一個對象，并使用自動完成文本輸入將其命名為類別 c∈V；在每次后續訪問時，顯示所有先前發現的對象，并且要求標注器標記先前未標記的類別的對象，或者如果不能發現 V 中的更多類別則跳過圖像；當圖像被跳過 3 次時，將不再訪問該圖像。總結階段 1 的輸出：對于詞匯表中的每個類別，我們有一組（可能是空的）圖像，其中每個圖像都標記了該類別的一個目標；這一步驟為每個類別 c 定義了初始正集 Pc。
階段 2 的窮盡標記目標則是：驗證階段 1 標注和用點標記每個圖像 i∈Pc 中的所有 c 實例。在這個階段，來自階段 1 的（i，c）對被發送到了 5 個標注器中；首先，它們顯示了類別 c 的定義，并驗證它是否描述了點標記的目標；如果匹配，則要求標注器標記同一類別的所有其他實例；反之，則終止第二步。因此，從第 2 階段開始，我們為每個圖像提供詳盡的實例標注。
在第 3 階段的實例分割中，我們的目標是：驗證第 2 階段中每個標記對象的類別，以及將每個標記對象從點標注升級到完整分段標注。為此，將圖像 i 和標記對象實例 o 的每對（i，o）呈現給一個標注器，該標注器被要求驗證 o 的類別標簽是否正確，并為它繪制詳細的分割標注。從第 3 階段開始，我們為每個圖像和被發現的實例對分配一個分割標注。
第 4 階段驗證時，我們的目標是驗證第 3 階段的分段標注質量。我們將每個分段顯示為最多 5 個標注器，并要求它們使用量規對其質量進行評級。如果兩個或多個標注器不通過，那么我們將該實例重新排隊以進行階段 3 分段；如果 4 個標注者同意它是高質量的，我們接受該分割標注。我們在第 3 和第 4 階段之間迭代共四次，每次只重新標注被拒絕的實例。總結第 4 階段的輸出（在第 3 階段來回迭代之后）：我們有超過 99％的所有標記對象的高質量分割標注。
第 5 階段是窮盡標注驗證，它將確定最終的正例集。我們通過詢問標注器是否在 i 中存在類別 c 的任何未分段實例來執行此操作。我們要求至少 4 個標注器同意標注是詳盡的，而只要有兩個人不通過，我們就會將詳盡的標注標記 eci 標記為 false。
在最后階段的負例集標注，它將為詞匯表中的每個類別 c 收集負集 Nc。我們通過隨機采樣圖像 i∈D\ Pc 來做到這一點，其中 D 是數據集中的所有圖像。對于每個采樣圖像 i，如果圖像 i 中出現類別 c，我們最多詢問 5 個標注器，其中任何一個標注器顯示不通過，我們則拒絕該圖像。否則將其添加到 Nc。我們采樣過程將持續到負例集 Nc 達到數據集中圖像的 1％的目標大小。從階段 6 開始，對于每個類別 c∈V，我們具有負例集 Nc，使得該類別不出現在 Nc 中的任何圖像中。
詞匯建構
我們使用迭代過程構建詞匯表 V，該過程從大型超級詞匯表開始，并使用目標定位過程（階段 1）將其縮小。我們將從 WordNet 中選擇的 8.8k 同義詞進行明確詞匯的刪除（例如：專有名詞），然后找到了高度具體的常用名詞交集。
這產生了一個窮盡的具體組合，因此能得到一些視覺上的入門級同義詞；然后，我們將目標定位應用于具有針對這些超級詞匯表自動完成的 10k COCO 圖像。這將減少詞匯量，然后我們再次重復這一過程，最后，我們執行次要的手動編輯，得到了包含 1723 個同義詞的詞匯表，這也是可以出現在 LVIS 中的類別數量的上限。
通過使用 LVIS，我們能夠將很多圖像中對于某一類別圖像進行完整的標注，包括一些小的、被遮蓋的、難以辨認的，都能夠通過這一方法實現標注。
圖 5 LVIS 上標注得到的分類數據展示（1）
在 LVIS 的網站上，我們可以看到大量的標注結果，包括一些小工具（剪刀、桶），小配飾（太陽鏡、腰帶），餐盤里的黃瓜，甚至是披薩上的菠蘿粒，都能夠完整的標注出來。
圖 6 LVIS 上標注得到的分類數據展示（2）
正如 FAIR 自己所說：LVIS 是一個新的數據集，旨在首次對實例分割算法進行嚴格的研究，它可以識別不同對象類別的大量詞匯（> 1000）。雖然 LVIS 強調從少數例子中學習，但數據集并不小；它將跨越 164k 圖像并標記~2 百萬個對象實例。每個對象實例都使用高質量的蒙版進行分割，該蒙版超過了相關數據集的標注質量。
原文鏈接：
https://arxiv.org/pdf/1908.03195.pdf
LVIS 網站：
雷鋒網 AI 開發者 雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
