22

5月份的時候,雷鋒網曾報道,百度超級計算機Minwa在計算機視覺挑戰賽(ILSVRC)上取得了“世界最好的成績”,他們的系統在測試ImageNet分類數據集中的錯誤率僅為4.58%,擊敗了谷歌、微軟等競爭對手。
而在6月2日,ILSVRC的組織者指出,百度在測試過程中作弊,測試的頻率遠超規定次數。ImageNet允許參賽方每周提交兩組測試結果。然而,百度在3月份的5天內提交了逾40次測試結果。據了解,負責這個項目的并不是來自百度深度學習研究院IDL的科學家,而是百度美國研發中心的異構計算研究團隊。對此,百度承認違規行為,并且已經就此事道歉。
曾在ImageNet測試中獲勝的人工智能公司Clarifai CEO Matthew Zeiler表示:
“這種做法十分糟糕,這正是為什么要將測試數據獨立服務器上,并限制訪問次數的原因。如果你知道了測試數據,你就會修改你的模型參數,怎么優化都可以。”
目前,ImageNet組織方已經要求百度停止在明年提交ImageNet測試成績。
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。