0
雷鋒網 AI 研習社按，旅行或出差，訂酒店是必要步驟，隨著線上預訂越來越普及，對 OTA（Online Travel Agent）行業提出不少挑戰。作為我國 OTA 領軍企業，攜程擁有全球百萬家酒店數以億計的圖像，面對海量圖像，如何挖掘出圖像信息，節省成本，為用戶和酒店創造價值，這些都是亟待解決的問題。
攜程酒店研發部圖像技術負責人李翔對雷鋒網 AI 研習社表示，目前攜程大部分的酒店圖像處理工作都是計算機在做，需要人工完成的圖像處理任務主要集中在部分用戶上傳圖像的內容審核環節，因為用戶上傳的圖像內容很不可控，同時又非常多元化。（攜程憑借此次專訪，在雷鋒網學術頻道 AI 科技評論旗下數據庫項目「AI 影響因子」中增加 8 分。）
李翔介紹道，攜程每天需處理的圖像達到數十萬張，主要有如下四個來源：1）攜程酒店商家拍攝；2）攜程業務工作人員采集；3）攜程的合作方提供；4）用戶上傳圖像。而在海量圖像處理過程中，酒店圖像智能化起到關鍵作用。
酒店圖像智能化主要包括兩方面內容：
一是圖像的智能處理與挖掘——在圖像進入攜程的過程中，對圖像進行審核、質量提升和信息挖掘，目的是大幅減少圖像的人工干預。
二是圖像智能應用——在圖像對外公開的過程中，對圖像進行智能展示，目的是改善用戶獲取酒店信息的速度、準確性和完整性，提高用戶的滿意度。
如上所述，酒店圖像智能化主要圍繞圖像的智能處理與挖掘和圖像智能應用兩方面展開。圖像智能處理與挖掘包括圖像預審核、圖像質量提升和圖像信息挖掘三個環節。圖像智能應用包括圖像智能展示、圖文智能結合和酒店視頻等應用場景。圍繞圖像的智能處理與挖掘，雷鋒網 AI 研習社與李翔展開一系列討論。
圖像的智能處理與挖掘
圖像預審核
圖像預審核包括相似圖像去重和水印檢測等步驟。這里重點討論水印檢測。
李翔表示，水印自動檢測在保護版權上非常重要，但是當前缺乏大規模的水印目標檢測數據集用于深度學習網絡的訓練。為了能夠更好地解決水印檢測任務，他們構建了第一個大規模的水印圖像數據集。
在制作水印圖像數據集的過程中，他們收集了近百種常見的水印圖案和十余萬張無水印的圖像，對于每種水印，他們以不同的尺寸、透明度、旋轉角度和位置添加到圖像中，并在制作過程中自動記錄水印的信息。通過上述方式，他們以較小的人力投入建立了一個多元化的大規模水印目標檢測數據集，為訓練魯棒的水印檢測網絡提供了基礎。
他也向雷鋒網 AI 研習社透露，近期將提供可以公開的版本供大家下載。
基于該水印檢測數據集，他們進一步對比了 FasterR-CNN、SSD 和 YOLOv2 三種主流的目標檢測方法，在對性能和效果進行綜合評估之后，他們最終選擇在 YOLOv2 的基礎上進行改進，實現最終的水印圖像檢測器。
YOLOv3 于今年 4 月份公開，在公開后，他們也第一時間將其應用到水印檢測任務中，測試結果表示 YOLOv3 的效果在 IoU0.5 的時候和 YOLOv2 一樣，Map 都接近 100%。除了 YOLOv3，他們也實踐了 Retina Net 等當前最新的檢測網絡。他表示，近期他們會將包括水印檢測在內和水印相關的一系列探索和研究結果在 arXiv 上公開，希望能夠對互聯網圖像提供方避免濫用有版權圖像方面有所幫助。
圖像質量提升
為了讓用戶能夠看到更真實清晰的酒店圖像，需要進行圖像去模糊、小圖放大和圖像美化處理，這樣能獲取最有用的酒店信息。
由于將小圖放大的超分辨率網絡使用的損失函數一般是最小均方誤差（MSE），該函數使重建結果有較高的信噪比，但是缺少高頻信息，會使圖像出現過度平滑的紋理。為此，他們采用 VGGNet 計算網絡的感知損失（Perceptual Loss），使網絡輸出的圖像更加自然。
此外，真實的低分辨率酒店圖像往往存在有損壓縮，圖像本身具有塊效應，直接使用超分辨率網絡恢復細節，會使圖像的塊效應更加嚴重。為此，他們利用深度殘差全卷積網絡建立一個圖像去塊效應模型進行圖像的預處理。
他們還構建了針對酒店圖像超分辨率和去塊效應的數據集。李翔表示，通過將高質量酒店圖像進行質量壓縮和降采樣，可以快速得到大量的訓練圖像對，這比水印檢測數據集的構建要便捷。
針對圖像美化，李翔對雷鋒網 AI 科技評論說道，「更確切地說，圖像美化指的是圖像視覺上的改善，主要是對部分拍攝不理想的圖像進行自動優化，并不涉及對圖像的真實內容的改變。」他們希望能夠通過美化來降低在圖像拍攝中由于設備不佳、操作不當和環境變化等因素對酒店圖像蘊含的真實信息的影響。李翔表示，這一問題可以看作是一個圖像到圖像的轉換問題，通過基于深層卷積網絡的編解碼器進行建模，并進一步在輸入和輸出之間加入跳躍連接，確保美化后的圖像的真實性。
攜程現在已經實現了圖像亮度、對比度和色彩等的自適應改善和曝光區域的自動恢復，力求讓用戶獲取更客觀的酒店信息。
圖像信息挖掘
圖像信息挖掘包括圖像內容分類、圖像多目標檢測和圖像質量評價等等。雷鋒網 AI 研習社與李翔重點討論了圖像內容分類環節。
酒店圖像是對酒店各方面信息的直觀展示，為了幫助用戶方便快捷地發現他們想要瀏覽的圖像內容，攜程將酒店圖像分為了外觀、大堂、餐廳、會議室、室內/室外泳池、健身房、公共區域、房間、衛生間和其他等類別，分類準確率已經達到 99% 以上。
為了能夠實現在標注少量酒店圖像的情況下達到良好的分類效果，他們利用深度網絡有效的遷移學習能力，對在大規模數據集上已經預訓練的網絡權重進行微調。
在實際應用中，由于 ImageNet 數據集圖像的內容和酒店圖像差異過大，影響了網絡遷移學習的效果，為了盡可能提升網絡的遷移學習能力，他們借助與酒店圖像內容最為接近的自然場景圖像數據集上預訓練的 VGGNet 作為初始設置，結果表明分類效果得到了較大提升。
在選擇的過程中，他們也測試了 ResNet 和 Inception 等一系列網絡，最終，綜合復雜度和準確率等多方面考慮選擇 VGGNet。
在訓練過程中，訓練數據集主要是依靠攜程內部人員對真實酒店圖像進行分類標注獲得，每個類別他們標注了 1k 張酒店圖像，酒店涉及高星/低星、民宿/品牌等不同類型。同時，他們在訓練過程中進一步利用水平翻轉、隨機裁剪和色彩抖動等方式對自己標注的小規模酒店圖像數據集進行數據增強。
接下來，他們會對圖像內容做進一步的精細化分類，讓酒店圖像的類別更加的豐富，用戶獲取酒店信息更加快速。
模型評估與優化
在圖像智能化的過程中，涉及到分類、檢測、質量評價和超分辨率等多個模型，面對如此多樣化的模型，他們對模型的評估分為客觀和主觀兩種情況：對于分類和檢測這些客觀的圖像任務，根據攜程所建立數據集中的測試集進行模型的直接評估。對于質量評價和超分辨率這些主觀的圖像任務，除了利用測試集進行評估，還需要進一步借助人工來進行主觀評估。
對模型的優化分為如下三個方面：
1）數據集的不斷完善。李翔表示，數據是基礎，建立一個適合自己特定圖像任務的數據集至關重要。但是數據集的構建很多時候并不能一蹴而就，需要充分理解數據，以水印檢測為例，他們在水印種類、透明度、尺寸和角度等多個方面進行了多次優化，水印檢測的效果也隨著數據集的不斷完善而持續提升。
2）針對自身任務的模型調優。當前學術界流行的技術更多是面向常規的圖像問題，然而在實際應用中要解決的圖像任務各式各樣，都有自身的特點。將這些技術直接應用過來，效果不一定盡如人意，往往需要針對不同任務的特性進行改進，包括網絡結構、損失函數以及一系列訓練的技巧等等，根據實驗結果和 bad case 不斷調整，使其更加貼合自身的任務。
3）不同模型的對比分析和迭代。當前深度學習發展非常快，各種網絡層出不窮，需要不斷學習新技術，對比實踐不同的方法，從中選取更適合自身任務的方法。
與學界最大的不同在于數據
對于與學術界研究的不同，李翔如是說道，
「從自身經歷來看，我覺得不同點首先在于數據。感謝一大批優秀的數據集如 ImageNet、COCO、VOC 和 Places 等，使得大部分人的學術研究可以專注于模型的創新。然而在實際中遇到的圖像問題往往都沒有現成的數據集可用，需要在充分理解圖像數據的基礎上，根據問題自身的特性來收集、清洗和標注圖像數據。
為此在酒店圖像智能化過程中，我們嘗試了多種方式來提升不同任務的數據集的構建效率和質量。在數據集準備好之后，大部分學術研究更重視解決問題的角度和思路，讓自己的研究更加有意義和新穎。但我們更加關心的是模型的精度、速度以及上線部署的難度，力求以簡單而有效的方法來解決實際業務問題。」
他進一步表示，對于精度和速度之間的權衡，需要根據具體的圖像任務來定。對于面向用戶和商戶的圖像任務，速度更加重要，在損失可接受精度的范圍內，滿足實時性需求，提升用戶體驗。對于面向自身的圖像任務，由于實時性需求不迫切，在速度可接受范圍內，他們會優先考慮精度，保證圖像處理的質量，圖像信息挖掘的完整性和準確性。
從 0 到 1 的智能化建設之路
在采訪的最后，李翔談到攜程圖像智能化系統的建設之路，他表示，攜程酒店圖像智能化系統經歷的迭代和改進其實是一條從 0 到 1 的建設之路。
最初他們的重心圍繞如何減少酒店圖像的人力成本投入。從第一個酒店圖像去重模塊開始，他們相繼上線了酒店圖像分類、水印檢測和小圖放大等等一系列模塊。在大幅降低了人工對酒店圖像的干預后，他們的重心逐漸向如何為用戶和商戶創造價值上轉移，以豐富的酒店圖像信息挖掘模塊為基礎，他們相繼上線包括首圖優選、圖文結合和酒店視頻在內的一系列圖像智能化應用。他對雷鋒網說道，在這一系列功能上線之后，用戶預訂訂單轉化率和間夜量得到了多次顯著上升，用戶瀏覽費力度也得到顯著下降，實現了用戶和商戶的雙贏，取得了很好的反響。
李翔表示，下一步，他們會繼續堅持以用戶為中心，將更多的優秀 AI 技術真正落地，從 1 到 N 為用戶展現更多更好的圖像應用，讓酒店圖像創造出更大的價值。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
