0
什么是鑒黃師？
在《2019網易易盾內容安全智能體系發布會》的現場，主講臺上的大屏幕中展示了這樣一段街拍內容——一名主持人正隨機攔住路人，并向他們逐一詢問上述這一問題：
被問到的第一位“幸運觀眾”是位漂亮的小姐姐，當聽到這個問題，她噗嗤一聲笑了出來，上揚的嘴角似乎蘊含著百般回味。
緊接著，被詢問的是一名清潔工伯伯。聽到這個問題，他將半掛在臉上的口罩重新戴上，支支吾吾回了一句：“這個......是高科技，我只是個清潔工。”
第三位受訪者，是位年輕氣盛的小哥。當面對美女主持人的提問時，直接羞紅了臉，卻故作鎮定地問道：“除了要看很多......資料，還有啥其他的嗎？原來網易還有這個職位的嗎？（恍然大悟）”
屏幕對面，熙熙攘攘的與會嘉賓對話聲中傳出陣陣嬉笑聲。顯然，這街拍內容是說到心坎里去了......
實際上，在網易易盾內部，鑒黃師這份工作又被稱之為內容審核專員。然而，從事著這份職業的人們，似乎并不像我們想象中那樣，每天過著“快活似神仙”的生活。
其實，內容審核并不像一般人們認為的只有鑒黃這一種。更多時候，他們所面對的是黃色、暴力、涉恐、等高敏感度的信息，更忍受著長期精神和身體上的創傷。然而，內容審核的漫漫長征路這才算剛剛開始。
借助此次大會，網易易盾產品總監饒曉艷向我們分享了她眼中那些內容審核人員的血淚史，并為突破種種人工審核難點推出了全新解決方案——智能內容審核管理系統。
其實，這一系統原本是網易內部使用的內容審核工具，隨著這次發布會的亮相，也意味著該系統將正式對外開放。So，為啥網易易盾要選這個時間開放自己的內容審核管理系統？好不好用、有啥功能......
一塊壓垮人工審核的巨石
人工智能技術的發展，為很多行業帶來便利。面對專一性較強的工作，這類機器在準確度、效率和持久性上完勝人類。
然而，它們偏偏拿內容審核沒轍。
以鑒黃師為例，人工智能的鑒定只能將海量視頻/圖片中的疑似黃色內容篩選出來，它可以將審核范圍從無邊無際中圈出一個范圍，但并不能像人一樣理解每張圖片中內容的準確含義。
試想，一張屁股的圖片，如果整張拿給AI去識別，它準能認出這個少兒不宜。然而，如果我將圖片切成四份并打亂順序呢？如果是人，你那顆機智的大腦會立即還原出這張照片的原貌，而AI不行。
網易易盾CTO朱浩齊稱，隨著內容產量、形態的驟增，黑灰產也在不斷學習和進化。很多時候他們會故意放出一些敏感內容來試探我們的AI審核機制，再在摸清規律后對圖片進行處理。
他們試圖將敏感位置做極小面積的覆蓋，或干脆將圖片切割成若干分，并在每張插入一個小的色情圖片......只要與之前的鑒別邏輯不符，很容易騙過機器的眼睛。
解決問題的最簡單辦法，就是上肉眼。
然而，隨著內容生產量的驟增、用戶體驗及負面事件風險提高以及審核標準嚴苛細化，各種各樣非標準化審核管理系統猶如一塊巨石壓得審核工作者喘不過氣。
一方面，在國內，主流的社交媒體平臺的審核人員都達到上千人以上的規模；而在國外，Facebook在自有算法的情況下人工審核團隊達到1.5萬人，youtube在谷歌大腦算法支持的情況下同樣在2018年審核團隊達到了一萬人。
由此可見，人機協同仍是未來很長一段時間的審核模式。然而，人畢竟不是機器，而是有血有肉的生命。
另一方面，內容商往往希望運營部門保障用戶體驗，不能讓用戶的等待時間過長。盡管人人皆知安全第一，但人工審核勢必難以在這條先審后發搶奪用戶的賽道上取得好成績。
這意味著每天會有大量UGC的內容產生，人工審核與需求量不成正比。
當一目十行已經太少，需求量變成一目百行、一目萬行的時候，對于人工審核又快又準的最低標準便顯得近乎苛刻。
更何況，即使是人工審核，也會遇到對某些內容束手無策的時候。
今年12月，Facebook宣布撥款1.3億美元建獨立“刪帖法庭”。用小扎的話說，在我們很難憑借一己之力來判斷一個內容是否該被刪除時，除了通過建立一個類似“最高法庭”的機構來決定，我們別無他法（扎克伯格成會邀請美國各界人士加入“刪帖法庭”以保證公正性）。
很多內容的含義并不能用標簽化的方式來判斷，這是人工審核容易犯難的地方，而除了鑒別各類內容，人工審核還不得不應對雜亂無章的審核管理體系，這對于加快人工審核速率沒有一點幫助。
會議現場，某社交平臺的工作人員向雷鋒網透露，自己每天要在三個審核管理平臺進行交替作業：首先是頭像昵稱審核，再者是登錄視頻審核平臺，如果收到舉報還要再登錄一個舉報審核后臺......
有1000個產品就有1000+個審核后臺，這種感受，要比你把登了QQ登微信重復上萬遍更崩潰，又何談高效、準確的審核內容呢？
在饒曉艷看來，上述問題的背后體現的是業務需求先行，審核需求處于滯后的現狀。歸根結底，是快速發展的內容平臺、日趨嚴苛的審核標準跟陳舊的審核系統之間的一種矛盾。審核系統沒有專門的設計開發，不會考慮用戶體驗或者效率多少，這正是產生問題的原因所在。
打造人工審核的“助力裝置”
打造全新的審核系統，無異于推到一棟樓重頭再來。
饒曉艷在接受雷鋒網獨家采訪時稱，對技術人員來說，真的沒人希望再做一次審核系統，這意味著以前的審核系統架構要完全推翻，根據新的審核需求重新定義整個系統，從底層重新來過。
然而，今天公布的智能審核管理系統已經是網易易盾對內推出的第三代審核系統了，再加上第一代的審核后臺和第二代的多媒體審核系統，一同刻畫出網易不同階段對內容審核需求的諸多轉變。
早期，這一系統并沒有對外公開的計劃。
但正如上述，在饒曉艷團隊走訪的眾多客戶中，他們聽到了與網易內部需求類似的聲音——審核人員和主管都十分關心審核系統是否能讓業務有更好的審核效率，以及怎樣能幫助節省成本。
基于以上，網易易盾決定將內部使用的這套審核管理工具產品化。至于究竟要打造怎樣的審核系統，細細品味起來側重點則是有點當初微軟打造第一個電腦操作系統的感覺。
面對凌亂、繁雜的各種審核系統，網易易盾一方面希望自己的產品具備高集成度和開放性，另一方面更希望操作、視覺能在審核人員、弱勢群體和無經驗工作者面前體現出極度的界面友好。
那么，它們打算如何實現這些設想呢？
首先，是全面豐富。這是指審核管理系統容納包含音視頻內容、圖片內容和文本內容的全生命周期的審核鏈路。
在此基礎上，加入了極速審核、分類審核、二審模式、質檢審核、全量審核以及部分審核的多選擇，以應對適配不同審核時效、多重審核流程和不同進審核要求。
其次，是智能高效。是指各個審核邏輯都建立在智能引擎推動的前提之下，這是節省人力成本的關鍵，也是打造友好界面的關鍵（之后會提到）。
一方面，人工智能作為初期的審核工具，依據標簽、模型算法，可以按照審核需求（業務、管理制度等）對內容進行聚列，并自動生成數據報表，以方便人工就單一特征進行定向審核（一般要求審核人員20分鐘出帖）。
再者，是輕量靈活。俗話說辦法總比困難多，面對層出不窮的新問題，定制化模塊可以解決針對特有客戶的需求進行專門設計。
然而，原本定義高集成度的審核管理系統，如果再加上無數個定制模塊，這是否會讓整個系統再次變得臃腫不堪呢？
饒曉艷認為，定制化模塊并不意味著只能解決某家企業的單一問題。新的模塊對應的一定是一個群體的共同需求，而隨著市場需求量的不斷增大，該模塊則會直接被并入整個系統當中，畢竟這要比做第四個審核系統來的容易。
最后，是有溫度。
人工審核有多難做？來，看一張圖就能說明所有問題：
要求：請在10分鐘內，從以下顯示器的圖片中，找出所有戴毛線帽子未成年小眼睛男性的照片。
讓審核管理系統變得更友好，首先就是做好交互設計。
以審核直播電視墻畫面為例，從產品化角度考慮，一個顯示屏的審核目數越多，越有利于降低成本，提高審核效率，但勢必會造成質量下降。
解決這一問題，易盾團隊首先選擇了幾家內容廠商進行蹲點跟蹤調查，并在百度百科上參考了瀏覽器審核可分辨極限值。
調查結果顯示：正常人的最少可辨視覺閾值約0.5，即針對22寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.81-16.23px，針對24寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.39-15.53px。
最終，得出的結論是——顯示器審核方式下，屏幕可分辨范圍在10-15xp之間，是最小視覺可分辨范圍，也就是說直播視頻審核畫面在9路、12路和16路是最舒適人眼的審核畫面，這在交通監控后臺中十分常見。
然而，面對海量的內容審核需求，這樣的審核路數一定無法滿足需求。對此，更多內容廠商會使用38路、56路（甚至更高）審核的畫面。那么，該如何實現人工審核的舒適度與工作效率并駕齊驅呢？
饒曉艷稱，人工智能引擎的應用，可以在多路數顯示器上進行現有畫面的自動審核，并通過提亮顯色對高危、中危等不同程度的內容審核做出提示，以達到對舒適區之外可能遺漏的問題內容進行強提醒。
但人終究是要休息的，因此在系統中內置定時休息的提醒功能也十分有必要，這不光可以對審核人員起到保護作用，更有利于保障審核工作的常效執行。
其次，是趣味化。正如開篇提到的，審核內容并不像一般人們認為的只有鑒黃這一種。更多時候，他們所面對的是黃色、暴力、涉恐等高敏感度的信息。
為了達到適當調節審核人員精神的目的，該系統加入了勛章體系、積分體系和夢想體系，以此達到讓評比、排名等高競爭力的信息的顯示方式更加趣味化，促進人員成長體系的完善。
最后，網易易盾認為內容審核系統的升級，不光是品牌驅動、產品需求的剛性體現，更應該滿足社會需求。因此，該系統內置了無障礙輔助設計，可以支持殘障人士完成審核任務。
目前，網易易盾面向未來的第三代智能審核系統1.0版本已經上線，未來將會以一周一迭代的速度進行持續更新。
花絮
大會之后，雷鋒網對饒曉艷進行了簡單專訪，以下為對話整理：
1、為什么審核管理系統的功能會在最后落實到“有溫度”這塊？
饒曉艷：體驗舒適為導向，一方面來自于對人工審核性質的考慮，更多的還是基于客戶的需求推動。在我們與客戶的交流過程中，審核人員的身體、心理健康程度是直接影響審核結果和收益的重要組成部分。
未來，我們還將為無障礙輔助系統加入例如多語言切換等各種新的功能支持，以降低內容審核的成本。
2、您剛才有提到小扎建立“刪帖法庭”的事情，在國內有類似的機構嗎？如果各界人士都參與其中，這是否會成為新的節省人工的解決方案？
饒曉艷：首先，在國內網易易盾發起了內容安全聯盟，其作用是當某產品的用戶對內容進行投訴，但并沒有得到任何的回應，這時該用戶可以轉訴給內容安全聯盟，并由其聯盟成員對該內容是否違規進行判斷。
這種模式，并不能減緩廠商對于人工審核的大量需求。
第三方聯盟的存在，主要是為了處理一些爭議性較強的內容，其不保證及時性。對于內容廠商來說，快速、高效、準確、合規是內容審核的最大難點，“刪帖法庭”的類似機構并不能有效解決這些問題。
即使啟用了第三方審核，也能達到審核的相應標準，那這種服務一定是走付費標準的，不會從解決紛爭的角度來處理這件事，這會增加廠商的審核成本。
3、一般視頻、圖片和文本不同方向的客戶，哪一個在內容審核時需要的人力成本更高？
饒曉艷：這個沒有辦法以一概全。從審核效率來衡量，圖片、視頻的審核效率要高于文本，視頻、圖片的審核，歸根結底都是圖片的審核。相比文本審核，視頻、圖片的審核速度會高1倍多。
其主要原因在于審核方式的不同，圖片的審核，在AI的加成下可以根據其特征、類型和內容導向做到批量審核，盡管文本也可以做聚類分析，但更需要人眼逐字逐句看過并參悟其含義，一目幾百行的情況是不存在的。
雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
