賽后跟蹤：如何在 ImageNet 比賽中獲得冠軍？

雷鋒網了解到，近兩個月，國內團隊先后在全球權威的人臉檢測評測平臺 FDDB 和全球自動駕駛算法公開排行榜 KITTI 以及 Cityscapes 上取得非常好的成績，這在一定程度上證明了國內計算機視覺相關算法已達到國際頂尖水平。

今年 ILSVRC 2016（全稱是ImageNet Large Scale Visual Recognition Challenge）分為五大部分，包括：目標檢測、目標定位、視頻中目標物體檢測、場景分類、場景分析。在昨天，全球最為權威的計算機視覺大賽 ILSVRC2016（大規模圖像識別競賽）公布了算法排名結果，Hikvision（海康威視）奪得場景分類第一名。

那么，今年的ImageNet的比賽為什么由這5部分組成？Hikvision（海康威視）是如何在場景識別一項中奪得冠軍的？今天雷鋒網請到了海康威視首席科學家、海康威視研究院常務副院長浦世亮先生為我們講解ILSVRC2016相關的詳細細節。雷鋒網對采訪過程整理如下。

浦世亮，法國國家科學研究院（CNRS）博士、浙江大學博士，現任海康威視（杭州海康威視數字技術股份有限公司002415）首席科學家、研究院常務副院長、海康威視博士后科研工作站負責人、博士后導師，帶領海康威視研究院的研發團隊負責海康威視在視頻應用領域的前瞻性、戰略性基礎技術研究。其個人曾獲第十九屆求是杰出青年獎、浙江省有突出貢獻中青年專家、浙江省科學技術進步一等獎、杭州市131中青年人才等多項榮譽；已申請發明專利90多件，獲得授權發明專利11件，并在知名期刊、國際知名會議ICDAR、ICPR等發表多篇論文。

▎今年 ILSVRC 比賽為什么是這5部分，跟往年有何變化？

今年 ILSVRC分為

• 任務目標檢測（object detection）

• 目標分類與定位(object localization)

• 視頻中的目標檢測和跟蹤(object detection / tracking from video)

• 場景分類(scene classification)

• 場景分割(scene parsing)

與去年相比今年增加了一項場景分割任務。這五類任務都是計算機視覺領域基礎的人工智能任務，有廣闊的工業應用前景。與去年相比，今年增加了一項場景分割任務。

▎簡單介紹一下 ILSVRC 2016五大部分的參賽規則？

鑒于這個參賽規則相對復雜，請參考ImageNet官網權威說明。http://image-net.org/challenges/LSVRC/2016，這是訪問地址。 

大致來說，五項任務提供了基礎的訓練集和測試集，各參賽隊伍在訓練集上訓練，在測試集上完成測試，提交測試結果，然后，由組委會統一評估性能，并給出排名。

▎請仔細回顧一下，你們在場景識別比賽中最終獲得表現最佳經歷了什么？

先說一下，場景識別比賽的主要的難點是訓練數據的極度不均衡，而且數據標簽具有二義性。在訓練過程中，我們做了以下工作。

• 借助于我們組建的M40 GPU大規模訓練集群，我們在過去兩個月內訓練了20多種不同結構的模型，包括常見的VGG，Inception，ResNet及其變化形式。

• 同時通過實驗我們發現，在非常深的ResNet（101/152/200層）上對場景數據進行精調，無論是訓練還是預測，都非常耗費時間，而且性能上還略差于更快的Inception結構的模型。基于這個觀察，在模型結構上，我們主要采用了比較深的Inception模型和相對較淺的ResNet。

• 此外，我們還在訓練和預測環節進行了多項改進，比如說，我們提出了一種的數據增強方法，可以更好的利用圖像中的目標物信息。

• 我們還采用了標簽洗牌（label shuffling）和標簽平滑(label smoothing)技術，以更好地應對數據不均衡問題。

• 最后，我們的模型在28支隊伍的92次結果提交中，脫穎而出，獲得了第一名，top5 的分類準確率達到了91%。

▎你們如何取得這個比賽冠軍的。表現出色的核心是什么？

海康威視研究院所在的海康威視，本身就是以視頻為核心的物聯網解決方案和數據運營服務提供商。連續五年蟬聯IHS全球視頻監控企業第一位。

我們在計算機視覺領域已經投入了十幾年時間，深度學習技術的研究也開展了相當長時間了。在長時間的研究工作中，我們打造了一支經驗豐富的人工智能算法團隊，對于計算機視覺領域的基礎技術有比較深刻的理解。

其次，我們認為深度學習是一項復雜的系統性工程。系統性工程需要集團作戰，數據的清洗標定、大規模訓練集群的搭建、各種神經網絡框架的測試、神經網絡的優化都需要比較專業的團隊分工才能達到最優效果。

最后，理論的探索和創新需要一個良好的環境。

一方面，我們投入大量資源構建我們的數據和訓練平臺，讓我們的研究人員可以在海量的訓練數據上迅速的做大量的試驗。另一方面，我們營造了一個寬松的研究環境，可以讓大家在支持公司業務發展的同時有大量時間可以進行技術的探索。

▎之前為這個比賽準備了多久？ 有一個怎樣的團隊在備戰？

我們準備了半年多，主體參賽團隊總共7人，四位博士、兩位碩士外加一位實習生。另外，還有很多該領域工作的同事也陪伴我們完成這個過程，比如，有高性能計算團隊團隊搭建并行訓練集群，團隊成員大都畢業于國內的頂級高校。

▎從產業界的角度講， 贏得這個比賽（場景分類）的意義主要是哪里。   除了場景分類外，贏得另外4個版塊的意義在哪里？

場景分類技術，對于視頻產業及其應用領域有比較重要的應用價值，基于對場景的理解可以有助于我們的系統對于視頻中的信息理解和應用。

一方面，可以讓系統根據場景適配算法，另一方面，也可以讓系統更好的理解視頻中所產生的信息。例如，當系統檢測到視頻中有人在奔跑，系統理解到這個奔跑事件所發生的環境，是在步行街或者是在學校，那么，它就可以采用不同的應對策略。

而目標檢測、分類、跟蹤及定位技術是計算機視覺領域的基礎算法，可以應用于許多領域。

例如，自動駕駛、機器人、智能攝像機、智能手機等，只要系統中有視覺傳感器，需要視覺傳感器從視頻圖像中提取信息，這些技術都是必不可少的。Imagenet競爭的成績逐年提升，顯示人工智能技術在工業界的應用會逐漸成熟，其應用領域也會獲得極大的拓展。

▎具體的，在detection task中，您們在解決imbalance的問題上具體的sampling策略是怎樣的？您們是怎樣確定某一個class中的正負樣本的比例的？

很多數據集存在樣本不均衡的問題，有些類別樣本特別多，有些類別樣本特別少。訓練模型時，如果從一個圖像列表中依次讀取樣本訓練的話，小類樣本參與訓練的機會就比大類少。

訓練出來的模型會偏向于大類，即大類性能好，小類性能差。我們的平衡采樣策略就是把樣本按類別分組，每個類別生成一個樣本列表。

訓練過程中先隨機選擇1個或幾個類別，然后從各個類別所對應的樣本列表中隨機選擇樣本。這樣可以保證每個類別參與訓練的機會比較均衡。

▎想問下在之前訓練預測環節中提到的數據增強方法，如何實現的可以詳細談一下嗎？

我們實現了一種有監督的數據增強方法，可以在裁剪數據的時候更好的利用目標物信息。后面馬上會在Eccv會議上作report，因此建議關心的朋友直接看report。

▎介紹下海康威視研究院和它的主要工作？   

海康威視研究院重點開展視頻領域共性技術、關鍵技術和前瞻技術的創新研究，持續增強公司技術實力，為公司核心產品及新興業務拓展提供有力支撐，成為公司主營業務及創新業務發展的重要驅動力。研究院在KITTI、MOT、Pascal VOC等世界級人工智能競賽中曾獲得多個第一的好成績。

除研究院之外，海康威視還在全球設有五大研發中心，年輕的研發團隊在視音頻編解碼、視頻圖像處理、視頻智能分析、云計算、大數據、云存儲、人工智能等方面有深厚的技術積累，成功助力海康威視不斷引領整個行業的發展。他們在圖像處理、識別算法、視頻核心算法技術領域的前瞻性研究，應用于海康威視的各類主營業務產品和解決方案中。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。