0
雷鋒網AI科技評論按：本文對悉尼科技大學博士生董宣毅發表于 ICLR 2020 的錄用Spotlight論文《NAS-BENCH-201: Extending the Scope of Reproducible Neural Architecture Search》進行解讀。這篇論文提出的NAS-Bench-201，可在很大程度上提高NAS算法的可復現性，并降低了NAS算法的計算需求（例如僅用0.1秒便可以完成搜索）。
論文鏈接：https://arxiv.org/abs/2001.00326
神經網絡結構對深度學習領域的各個應用的性能都起著至關重要的作用，目前，網絡結構的設計范式已經逐漸的從專家手動設計轉變為了機器自動搜索。網絡結構搜索 (Neural Architecture Search，NAS) 旨在研究如何在一個給定的搜索空間內自動地發現高性能高精度高效率的網絡結構。
在過去的幾年內，越來越多的科研人員投入到NAS這一研究領域，越來越多的NAS方法被提出，整個領域也取得了許多突破性的進展。現在是時候回顧一下NAS領域好的一面和不好的一面了。NAS除了以良好的性能著稱，還因為海量的計算需求而讓眾多研究員望而卻步，同時目前各個NAS算法的實驗設置不盡相同，難以去公平的衡量一個NAS算法的真實好壞。
為了進一步推動NAS算法的可復現性，為了降低NAS算法的計算需求，為了讓大家著眼于NAS算法的本質，且啟發后續的NAS算法，我們提出了NAS-Bench-201。
NAS-Bench-201把15000多個神經網絡在三個數據集（CIFAR-10，CIFAR-100，ImageNet-16-120）上基于不同的隨機數種子基于不同的超參數訓練了多次。提供了每個訓練epoch之后的訓練和測試耗時，模型在訓練集/驗證集/測試集的損失函數和準確度，訓練之后的模型參數，模型大小，模型計算量等重要信息。NAS-Bench-201將這些有用的診斷信息整理起來，提供了方便的API來獲取他們。執行 “pip install nas-bench-201”可以一鍵安裝NAS-Bench-201的API，你將會擁有15000+個神經網絡的全部信息！下圖是15000+個網絡性能可視化。
1，加速NAS算法，利用NAS-Bench-201，Regularized Evolutionary Algorithm / Random Search / REINFORCE等NAS算法可以在0.1秒內完成搜索過程并給出發現的網絡的性能。
2，實時跟蹤NAS算法表現，對于One-shot NAS算法，利用NAS-Bench-201就可在任意時間節點，觀測當前預測的網絡結構的性能表現而無需重新訓練該結構。
3，公平對比每一個NAS算法。不同的文章在重訓練搜索出的網絡結構時，使用的超參數/數據增強/正則/等都不盡相同。現在利用NAS-Bench-201的API，每位科研人員可以公平地對比搜索出來的網絡結構。
我們在一個codebase下實現且開源了10種不同的NAS算法。我們盡可能地公平地對比檢驗了這些算法的性能。結果如下圖：
REA / REINFORCE / RANDOM / BOHB的500次運行結果
六種One-shot NAS算法的3次運行結果
NAS-Bench-201旨在提供一個公平的計算友好型的環境給NAS社區。因為利用我們的API可以很容易的獲取每個網絡的性能，這個便利的條件可能會隱形的讓設計的新NAS算法過擬合到最好的結構。為此，我們設置了一些規則來防止過擬合。
1，不能對某一個具體的操作進行正則化。比如限制skip-connection操作的數量等。
2，使用我們的提供的網絡性能。訓練策略影響著一個網絡結構最終的性能。我們建議NAS-Bench-201的用戶使用我們這個benchmark提供的每個網絡的性能，即使使用別的訓練策略可以得到更好的性能。以此來保證公平性。
3，公布多組搜索實驗的結果。多次反復搜索過程能夠更穩定地展示一個NAS算法的效果。
使用NAS-Bench-201的數據非常容易，無需自己整理數據，我們提供了方便的API接口，可以輕松調用各種對NAS算法有用的診斷信息。下面我們暫時了一些基本用法：
各位小伙伴快來試一試吧！代碼，數據，算法分析總有一款你需要的哦 。
NAS-Bench-201的相關資源
10+種NAS算法的PyTorch實現：https://github.com/D-X-Y/AutoDL-Projects
NAS-Bench-201復現指南：https://github.com/D-X-Y/AutoDL-Projects/blob/master/docs/NAS-Bench-201.md
NAS-Bench-201 API的pip安裝：https://pypi.org/project/nas-bench-201/1.0/
NAS-Bench-201文章鏈接：https://openreview.net/forum?id=HJxyZkBKDr
優秀NAS文章列表：https://github.com/D-X-Y/Awesome-NAS
雷鋒網報道。雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
