0
| 本文作者： 木子 | 2021-04-19 18:04 |
生物的進(jìn)化的速度要以百萬年的時間來計算，而人工智能卻在以肉眼看得見的速度進(jìn)化。
半個世紀(jì)前，人類需要使用一部重達(dá)1270公斤的電腦對抗國際象棋大師時，不會想到在半個世紀(jì)后的王者榮耀中，AI可進(jìn)化至職業(yè)電競水平，這就是王者榮耀的AI——「絕悟」，「絕悟」從離線的玩家對局樣本進(jìn)行模仿學(xué)習(xí)，為了突破上限，又采用了AI自對弈的強(qiáng)化學(xué)習(xí)，然后在“絕悟挑戰(zhàn)”中測試強(qiáng)度。
王者榮耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在首屆STAC科創(chuàng)聯(lián)合大會上表示，「絕悟」是一個多智能體系統(tǒng)，也就是大量的能夠自主決策的AI共同協(xié)作，從而實(shí)現(xiàn)一個共同的且有挑戰(zhàn)的目標(biāo)。
更為重要的是，王者榮耀團(tuán)隊(duì)開放了王者的核心機(jī)制，同騰訊AI Lab、相關(guān)高校、研究機(jī)構(gòu)一起進(jìn)行多智能體的研究。“期待這些研究成果，能夠落地到其他產(chǎn)業(yè)環(huán)境中，為工業(yè)機(jī)器人、救災(zāi)機(jī)器人等提供助力”。
多智能體系統(tǒng)（大量的能夠自主決策的AI共同協(xié)作，達(dá)成同一個目標(biāo)）作為前沿人工智能技術(shù)的核心研究領(lǐng)域，經(jīng)過多年的研究，已經(jīng)廣泛應(yīng)用于各個行業(yè)。比如無人倉儲，多智能體機(jī)器人完成龐大的倉儲管理；智慧交通中的車路協(xié)同系統(tǒng)，無人駕駛；智能工業(yè)機(jī)器人、物聯(lián)網(wǎng)等領(lǐng)域。多智能體技術(shù)都能夠很好的應(yīng)用下來提高生產(chǎn)效率。
王者榮耀團(tuán)隊(duì)在游戲研發(fā)過程中，發(fā)現(xiàn)MOBA游戲機(jī)制具有很強(qiáng)的多人協(xié)作性、在不對稱信息下博弈空間極大、協(xié)作競技性很強(qiáng)，非常適合使用多智能體人工智能技術(shù)來提高生產(chǎn)和測試效率。
例如王者榮耀產(chǎn)品中的視野非全局性，敵我雙方的實(shí)時位置、狀態(tài)能信息非理想透明，游戲測試環(huán)境中能提供豐富的數(shù)據(jù)，模擬的場景，為研究模仿學(xué)習(xí)提供了保障；天然的層次結(jié)構(gòu)，在high level中對應(yīng)大局觀，在 low level中對應(yīng)了微操，適合層次強(qiáng)化學(xué)習(xí)研究。
若AI技術(shù)能在如此復(fù)雜的環(huán)境中，學(xué)會人一樣實(shí)時感知、分析、理解、推理、決策到行動，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。
在這樣的背景之下，基于王者榮耀游戲的特點(diǎn)，王者榮耀團(tuán)隊(duì)與騰訊AI Lab一起合作，在王者持續(xù)進(jìn)行人工智能相關(guān)的技術(shù)研究和應(yīng)用實(shí)踐，研究并開發(fā)出了多智能體產(chǎn)品「絕悟」。
「絕悟」名字寓意絕佳領(lǐng)悟力，其技術(shù)研發(fā)始于2017年，并在2018年12月通過了頂尖業(yè)余水平測試。
2019年8月2日在吉隆坡舉辦的王者榮耀冠軍杯半決賽的特設(shè)環(huán)節(jié)中，「絕悟」在職業(yè)選手賽區(qū)聯(lián)隊(duì)帶來的5v5水平測試中獲勝，升級至王者榮耀電競職業(yè)水平。
而同期「絕悟」的 1v1 版本也在上海舉辦的國際數(shù)碼互動娛樂展覽會ChinaJoy首次對公眾亮相，向頂級業(yè)余玩家開放為期四天的體驗(yàn)測試。四天的共2100場測試中，「絕悟」測試勝率為99.81%，僅輸4場。
專業(yè)描述AI打王者榮耀的場景為——非完全信息多智能體協(xié)同零和即時博弈。通俗的講就是， AI 要在不完全信息、高度復(fù)雜度的情況作出復(fù)雜快速的決策。
在龐大且信息不完備的地圖上，10位參與者要在策略規(guī)劃、英雄選擇、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作上面臨大量、不間斷、即時的選擇，這帶來了極為復(fù)雜的局面，預(yù)計有高達(dá)10的20000次方種操作可能性，而整個宇宙原子總數(shù)也只是10的80次方。
「絕悟」可以無需人類數(shù)據(jù)，從白板學(xué)習(xí)（Tabula Rasa）開始， 自己與自己對戰(zhàn)。 像嬰兒學(xué)語般，一點(diǎn)點(diǎn)學(xué)會了打王者榮耀。更驚喜的是，在訓(xùn)練后期AI 甚至探索出了不同于人類常規(guī)做法的全新策略?！氨热纭附^悟」經(jīng)常多人抱團(tuán)吃線，從而達(dá)到經(jīng)濟(jì)的最大化”。
在王者本身的實(shí)踐層面，玩家可以在限時開放的「絕悟」挑戰(zhàn)中體驗(yàn)AI的能力，而當(dāng)遭遇隊(duì)友掉線時，也可以將掉線隊(duì)友委托給AI托管，但AI不能主導(dǎo)比賽，勝負(fù)的決定權(quán)還是在各位玩家手中，除此之外，「絕悟」僅在實(shí)驗(yàn)室環(huán)境中投入使用。
在新英雄設(shè)計與游戲數(shù)值調(diào)整中，「絕悟」也發(fā)揮了重要作用，提供AI最終探索出的游戲打法和勝率作為參考，輔助策劃優(yōu)化游戲設(shè)計。
2020年11月的一次平衡調(diào)整，王者團(tuán)隊(duì)希望增強(qiáng)公孫離的強(qiáng)度，「絕悟」對調(diào)整后的公孫離進(jìn)行了模擬對戰(zhàn)，顯示改動后勝率+2.42個百分點(diǎn)，但部分體驗(yàn)服玩家卻認(rèn)為會嚴(yán)重削弱公孫離。對此，王者團(tuán)隊(duì)對調(diào)整項(xiàng)拆分和放大場次驗(yàn)證，分析每一條改動對強(qiáng)度的貢獻(xiàn)占比，確認(rèn)相關(guān)平衡調(diào)整會加強(qiáng)公孫離，最終上線后，公孫離勝率+2.33個百分點(diǎn)，符合預(yù)期。
在經(jīng)過實(shí)踐驗(yàn)證后，王者榮耀與騰訊AI Lab團(tuán)隊(duì)將在做多智能體研究的過程中所沉淀的技術(shù)資產(chǎn)開放出來，建設(shè)開悟開放平臺，打造利用王者的核心技術(shù)構(gòu)建的，對使用者低成本的多智能體人工智能算法研究、教學(xué)和驗(yàn)證的科研教學(xué)平臺。
“我們開放了王者的核心機(jī)制，提供標(biāo)準(zhǔn)接口、核心算法、脫敏的訓(xùn)練數(shù)據(jù)、評估工具和計算集群等，給老師和同學(xué)們進(jìn)行多智能體的機(jī)器學(xué)習(xí)算法研究、學(xué)習(xí)成果交流、對算法成果反復(fù)迭代升級。未來也可以提供給其他有需求的研究機(jī)構(gòu)進(jìn)行更貼近工業(yè)化場景的研究?！蓖跽邩s耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟表示。
2020年，王者榮耀聯(lián)合騰訊AI Lab、騰訊高校合作、騰訊游戲?qū)W院舉行了首次「王者榮耀·開悟AI+游戲大賽」，邀請了中科院、清華大學(xué)、北京大學(xué)、中國科技大學(xué)、電子科技大學(xué)、哈工大、國防科大、浙大等18所頭部高校的老師和同學(xué)們，在開悟平臺上進(jìn)行學(xué)術(shù)研究和交流，并提供全方位資源支持。
“要讓多個智能體學(xué)會合作是很困難的，既要設(shè)定各個智能體的目標(biāo)，還要分出主力和輔助關(guān)系，實(shí)現(xiàn)這樣的復(fù)雜設(shè)計成本很高。”中國科學(xué)院自動化研究所興軍亮團(tuán)隊(duì)提出了一種自我提升式強(qiáng)化學(xué)習(xí)框架，先讓智能體通過模仿來學(xué)習(xí)，再通過自我互博來進(jìn)階進(jìn)化，加上他們提出的一種新策略，可有效緩解一些多智能學(xué)習(xí)的常見問題。
經(jīng)過一年時間的實(shí)踐，活動得到很好的成果，驗(yàn)證了王者榮耀游戲環(huán)境對人工智能技術(shù)的賦能思路。
王者榮耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在首屆STAC科創(chuàng)聯(lián)合大會上宣布“多智能體人工智能科研教學(xué)聯(lián)盟”的成立，將與國內(nèi)頭部高校一起共建平臺，為更多高校老師和同學(xué)們賦能，為有興趣進(jìn)行包括多智能體技術(shù)在內(nèi)的人工智能研究的老師們、同學(xué)們和產(chǎn)業(yè)伙伴們提供低門檻、內(nèi)容豐富且穩(wěn)定可靠的學(xué)術(shù)研究和交流的場景。
騰訊 AI Lab 總經(jīng)理?xiàng)钗”硎荆骸伴_悟2021年還將向全球高校開放，拓展國際影響力，進(jìn)一步延展平臺承載力，推進(jìn)AI與教育融合，提高學(xué)生的創(chuàng)造力與研究才能，為生態(tài)貢獻(xiàn)跨學(xué)科技術(shù)、跨界人才和多方資源?！?/p>
騰訊游戲副總裁、騰訊游戲?qū)W院院長夏琳表示：“人工智能是國家的重大戰(zhàn)略，騰訊游戲?qū)W院與各高校深度產(chǎn)教融合，并側(cè)重培養(yǎng)AI+游戲的新興科技人才。同時，聚焦王者榮耀等游戲AI領(lǐng)域的科研，與國內(nèi)外重點(diǎn)高校及國家重點(diǎn)實(shí)驗(yàn)室不斷產(chǎn)出對產(chǎn)業(yè)有價值的科研成果，人工智能在國內(nèi)會不斷發(fā)展，未來可期?！?/p>
在這個人類與技術(shù)相互擁抱的時代，王者榮耀不斷投入，讓AI從0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，這中間的經(jīng)驗(yàn)、方法與結(jié)論，短期看，可以給游戲行業(yè)、電競行業(yè)帶來直接的推動和幫助，有望在大范圍內(nèi)，如醫(yī)療、制造、無人駕駛、農(nóng)業(yè)到智慧城市等領(lǐng)域帶來更深遠(yuǎn)影響。長期來看，AI+游戲的研究，會推進(jìn)AI的終極目標(biāo)——通用人工智能問題的探索和發(fā)展。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
