0
雷鋒網 AI 科技評論按：AI 在游戲戰場上的進展到哪了？去年 8 月份，OpenAI 的 5v5 DOTA AI 「OpenAI Five」完勝人類讓我們驚喜連連，不過現在，DeepMind 也給我們交出了一份讓人熱血澎湃的答卷。日前，DeepMind 和暴雪聯合官宣，將于當地時間周四下午 6 點（北京時間周五凌晨 2 點）以線上直播的方式公布《星際爭霸 II》AI 的最新進展！
DeepMind CEO Demis Hassabis 也發 Twitter 稱：《星際爭霸 II》是一款復雜的實時戰略游戲，對 AI 來說是一個長期而巨大的挑戰——很高興我們將在周四展示我們的最新進展，各位肯定不想錯過直播！:-)
截圖自 Demis Hassabis Twitter主頁
DeepMind 與《星際爭霸 II》的這場「較量」，最早要追溯到 2016 年，當時，在使用 AlphaGo 擊敗了圍棋世界冠軍李世石后，DeepMind 就開始把注意力轉向了經典的實時戰略游戲《星際爭霸 II》，并在 11 月份一年一度的 Blizzcon 上宣布與著名游戲公司暴雪達成協議，共同合作《星際爭霸》系列游戲，至此算是定下了 DeepMind 與《星際爭霸 II》這長達 2 年多的淵源。
用 AI 打游戲，從來都不是 AI 研究者的最終目的，而是他們用來「進化」AI 能力并將其應用到現實世界中的「測試場景」。相比于圍棋和國際象棋來說，《星際爭霸》這類實時戰略游戲要遠復雜得多，自然也與「復雜的現實世界」更近得多，因此，這款游戲也成為了人工智能研究者們立志「攻破」的目標。
正如當時 DeepMind 團隊負責人 Oriol Vinyals 所提到的：「能玩《星際爭霸》的人工智能必須能夠有效利用記憶，能夠進行長期戰略規劃，同時還得根據不斷出現的新情況做出反應調整。以這種標準開發的機器學習系統，最終完全可以應用到現實世界中的任務中去」。
對于用 AI 來打《星際爭霸 II》的復雜性，想必大家也都能夠想象得到：
游戲實時進行時，玩家不僅需要掌控生產，探索地圖，開采水晶和氣礦，然后開拓新的礦點；還需要同時具有長期戰略規劃與應變對手的快速決策能力。此外，在整個對戰過程中，玩家不僅無法充分把握對手的信息，而且他們的規劃、決策、行動的結果在一段時間后才會呈現出來。
DeepMind 也在博客上描述了這個項目的難度：
玩家必須派出他們的隊伍去偵察未知地圖，以獲取敵人的信息，并需要長時間記住獲取到的信息。同時，周圍環境只有部分可見，這使得挑戰更為復雜——這也是星際爭霸和象棋和圍棋這類有完整信息的游戲之間一個有趣的不同之處。這是一款實時戰略游戲，雙方玩家都同步進行游戲，因此必須快速高效地計算出每一個決定。一個人或者 AI 要能玩星際爭霸，就需要有效利用記憶力，具有進行長期規劃并根據新的信息調整游戲策略的能力。
對于研究者來說，要設計出將所有因素考慮進去，并同時處理規劃、決策和行動等任務的系統，難度可想而知。
至于 AI 何時能在《星際爭霸 II》中實現像 AlphaGo 那樣的光輝成績，Vinyals 連同《星際爭霸 II》的執行制作人 Chris Sigaty 當時都持保留態度，他表示：「從研究的角度來看，我們可能會取得很大的進步，但我認為我們現在還不知道我們能否擊敗最好的玩家。」
自 2016 年 3 月暴雪在 WCS 中國區總決賽上確認 DeepMind AI 將挑戰《星際爭霸 II》的消息，到如今即將直播《星際爭霸 II》AI 首秀，在這兩年多的時間里，DeepMind 的《星際爭霸 II》AI 項目是如何一步步走到今天的呢？我們不妨來簡單回顧一下：
2016 年 3 月底，在 AlphaGo 五局四勝贏了李世石之后，暴雪娛樂制作總監 Tim Morten 就在 WCS 中國區總決賽上確認DeepMind AI 將挑戰《星際爭霸 II》的消息，不過當時 Tim Morten 直言 DeepMind AI 不會在《星際爭霸 II》中戰勝人類。
2016 年 11 月 5 日的暴雪嘉年華開幕式上，暴雪宣布了有關 Deepmind 人工智能與《星際爭霸 II》在未來領域關于 AI 人工智能的發展計劃，同時 Oriol Vinyals 登臺簡述了有關谷歌 Deepmind 人工智能與《星際爭霸 II》緊密合作的最新進展及未來的計劃，他透露，谷歌正在研制新一代的人工智能，將在未來的《星際爭霸 II》中為玩家、甚至是全人類帶來幫助，并將與 Alpha Go 與人類對弈圍棋一樣，與人類對戰《星際爭霸 II》。
接著在 11 月 6 日的暴雪嘉年華星際 2 人工智能未來座談會上，《星際爭霸 II》工程師 Kevin Calderone 與谷歌 DeepMind 團隊科研人員 Oriol Vinyals 還具體講述了這個未來「星際 II Alpha Go」的具體計劃。
2017 年 8 月 9 日，DeepMind 在官網上宣布正式與暴雪娛樂合作，共同開發可以在《星際爭霸 II》中與人類玩家對抗的 AI。同時，雙方發布了一個旨在加速實時戰略游戲當中 AI 應用的工具集——SC2LE，該工具集包括暴雪官方回收的包含 6 萬 5 千場匿名游戲數據、由暴雪研發的《星際爭霸 II》機器學習編程入口、開源版本的 DeepMind 工具箱 PySC2、一系列從《星際爭霸 II》里抽象出來的增強學習迷你游戲以及一篇專門討論《星際爭霸 II》機器學習環境的論文。
2018 年 1 月份的《麻省理工科技評論》新興科技峰會 EmTech China 上，谷歌 DeepMind 研究科學家 Oriol Vinvals 在題為《AI 對戰星際爭霸勝算幾何？》的演講中，向大家說明了《星際爭霸 II》AI 的研究進度：「我們還沒有完成過整局游戲，但是完成了操作《星際爭霸 II》比較重要的 7 個操作，比如選擇一個單位并讓它移動過去。我們所使用的算法能做到這一步，而且和人類玩家操作的效果基本一樣。而另一些任務，比如建造建筑、收集資源等，仍然是比較難的。我們測試的算法，表現會比隨機的環境要好，但和專業玩家還是有一段距離的。」
2018 年 6 月，DeepMInd 在論文《Relational Deep Reinforcement Learning》中用關系性深度強化學習來玩《星際爭霸 II》里抽象出來的增強學習迷你游戲，并在 6 個小游戲中達到了當前最優水平，其中 4 個還實現了超越人類大師級玩家水平的突破性進展。
2018 年 11 月舉行的暴雪嘉年華（Blizzcon）上，暴雪也提到了 DeepMind 的《星際爭霸 II》AI 進展：「DeepMind 一直在努力訓練人工智能模型，以更好理解《星際爭霸 II》規則。一旦模型掌握游戲的基本規則，它就可以開始進行一些有趣的行為，比如帶農民 Rush 開局。在與「瘋狂」難度標準的星際爭霸 2 AI 模型對陣的時候，獲勝概率可以達到 50%。」
2019 年 1 月 23 日，DeepMind 和暴雪聯合官宣，將于北京時間周五凌晨 2 點以線上直播的方式公布《星際爭霸 II》AI 的最新進展！
作為與「復雜的現實世界」十分接近的一款游戲，《星際爭霸》自然也引起 AI 巨頭挑戰星際爭霸的角逐，其中包括 Facebook 、微軟、阿里巴巴、騰訊等巨頭企業。
其中，Facebook 雖然沒有直接向《星際爭霸 II》發起挑戰，但也圍繞《星際爭霸》做出了自己的努力。2017 年 8 月 7 日，Facebook 的四名科學家 Zeming Lin, Jonas Gehring, Vasil Khalidov, Gabriel Synnaeve 公布了史上最大的《星際爭霸:母巢之戰》游戲數據集：內存 365GB，包含了 65646 條星際爭霸游戲記錄的數據庫，包含了 15.35 億幀和 4.96 億玩家操作。
而國內的騰訊 AI Lab，也于 2018 年 9 月聯合羅切斯特大學和西北大學的研究人員發表了一篇預印本論文，介紹了基于扁平化動作結構的深度強化學習智能體 TStarBots1 和基于分層動作結構規則控制器的智能體 TStarBots2 兩個 AI，它們首次在完整的蟲族 VS 蟲族比賽中擊敗了星際爭霸Ⅱ的內置 AI Bot。雖然兩個 AI 都不是嚴格意義上的「自學」，依舊高度依賴人為歸納的信息，但還是給《星際爭霸 II》AI 研究帶來了較大的突破性意義。
實際上除了企業，一些學術界研究者也對這個項目有較大的熱情。例如，2018 年 11 月，塔爾圖大學的 Roman Ring 對《星際爭霸 II》深度強化學習（DRL）智能體 Reaver 進行開源。據悉，這種模塊化的框架主要用于訓練《星際爭霸 II》的各種任務，提供比大多數開源解決方案更快的單機環境并行化能力。
從最初對《星際爭霸 II》 AI 戰勝人類「沒那么有信心」，到如今直接呈上 AI 打《星際爭霸 II》的直播，DeepMind 到底給大家準備了什么樣的驚喜？DeepMind AI 在游戲中又會有怎樣的表現？想必各位《星際爭霸 II》游戲愛好者、AI 研究者，都充滿了期待~小編最后也附上直播鏈接，跟大家一起「搓著小手」等直播！
Youtube：https://www.youtube.com/c/deepmind 雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
