譯者 | 李夢(mèng)
編輯 | Vincent
AI前線出品｜ ID：ai-front
AI 前線導(dǎo)語(yǔ)：“在 RTS 游戲中進(jìn)行 AI 研究有著悠久的歷史纷妆。在過(guò)去的十多年里盔几，研究人員一直致力于構(gòu)建能打敗最強(qiáng)人類玩家的機(jī)器人，但是要走的路還很長(zhǎng)掩幢。在 2016 年的暴雪嘉年華逊拍，DeepMind 和暴雪宣布合作上鞠，將為星際爭(zhēng)霸 2 的 AI 研究開放 API。
本文旨在討論 RTS 游戲的一些發(fā)展進(jìn)程芯丧，以及 AI 研究在其中的貢獻(xiàn)芍阎。要想詳細(xì)了解 RTS 游戲相關(guān)研究，還請(qǐng)查看 Onta?on缨恒、Robertson 和 Watson 等人的文章”谴咸。（詳見文末）
過(guò)去的十年里，研究人員已經(jīng)從在 RTS 游戲中獨(dú)立研究不同的 AI 技術(shù)過(guò)渡到了在更復(fù)雜的游戲中通過(guò)合作和競(jìng)爭(zhēng)將不同的技術(shù)相互匹配肿轨。為了這項(xiàng)工作順利進(jìn)行寿冕，需要以下條件:
1、研究人員構(gòu)建和評(píng)估機(jī)器人的開放 API
2椒袍、可以讓研究人員對(duì)比不同技術(shù)的競(jìng)賽
3驼唱、用于訓(xùn)練學(xué)習(xí)算法的錄制回放
4、人類選手對(duì)機(jī)器人的性能進(jìn)行評(píng)估
在 2009 年發(fā)布的母巢之戰(zhàn) API 中以上大部分的條件都得到了滿足驹暑，但由于平臺(tái)的封閉特性使研究人員很難將 AI 系統(tǒng)的訓(xùn)練過(guò)程自動(dòng)化玫恳。隨著星際爭(zhēng)霸 2 環(huán)境的公開，研究人員將有機(jī)會(huì)開發(fā)一種能夠在 RTS 游戲中表現(xiàn)出專家級(jí)性能的系統(tǒng)优俘。下面一些是我認(rèn)為的在朝著這一目標(biāo)的發(fā)展歷程中的重大事件京办。如果有疏漏還請(qǐng)?jiān)谠u(píng)論里留言。
1998
星際爭(zhēng)霸 1 的發(fā)布
星際爭(zhēng)霸原作是在 1998 年 3 月發(fā)布的帆焕，資料片母巢之戰(zhàn)也于同年 11 月發(fā)布惭婿。它迅速風(fēng)靡全球，并在韓國(guó)引發(fā)了職業(yè)游戲的熱潮叶雹。
Freecraft
在星際爭(zhēng)霸之前财饥，1995 年發(fā)布了魔獸爭(zhēng)霸 2。魔獸爭(zhēng)霸 2 的克隆版 Freecraft 也在 1998 年首次發(fā)布折晦，它后來(lái)更名為 Wargus钥星。這個(gè)克隆版構(gòu)建在 Stratagus 游戲引擎上。Freecraft 是 RTS AI 研究的一個(gè)重要項(xiàng)目满着，因?yàn)榇蟛糠值某跏脊ぷ鞫家?Wargus 作為實(shí)驗(yàn)平臺(tái)谦炒。
2001
學(xué)術(shù)界對(duì)游戲 AI 的興趣
游戲 AI 的一篇重要文章是 John Laird 和 Michael van 在 2001 年發(fā)表于《AI Magazine》的文章 Human-Level AI’s Killer Application Interactive Computer Games。這篇文章意義重大风喇，因?yàn)樗?AAAI 的出版物中第一批認(rèn)識(shí)到實(shí)時(shí)游戲可以作為 AI 研究的良好環(huán)境宁改。它還改變了學(xué)術(shù)研究人員試圖將現(xiàn)有方法應(yīng)用于游戲的心態(tài)，轉(zhuǎn)而考慮為游戲構(gòu)建全新的和專門的方法响驴。
2002
魔獸爭(zhēng)霸 3 發(fā)布
魔獸爭(zhēng)霸 3 的一大特色是高度可擴(kuò)展的地圖編輯器透且，它被用來(lái)創(chuàng)建獨(dú)特的內(nèi)容，比如最初版本的 DOTA豁鲤。地圖編輯器還擁有一些腳本功能秽誊，可以用來(lái)編寫自定義 AI。然而琳骡，以這種方式編寫的 AI 僅局限于單一地圖锅论，腳本語(yǔ)言也僅向作者提供了一個(gè)命令子集。研究人員可以在這個(gè)框架內(nèi)實(shí)現(xiàn)他們的 AI 技術(shù)楣号，但不可能用不同的機(jī)器人互相測(cè)試最易。
2003
RTS 游戲被推薦為 AI 測(cè)試平臺(tái)
2003 年，Michael Buro 和 Timothy Furtak 發(fā)表了一篇文章稱 RTS 游戲提出了許多構(gòu)建人類水平的 AI 時(shí)需要解決的新穎問(wèn)題炫狱。他們還提議開發(fā)一個(gè)開源的 RTS 游戲引擎提供給 AI 研究社區(qū)使用藻懒。
2004
ORTS 發(fā)布
接下來(lái)一年，Michael Buro 就發(fā)布了第一個(gè)版本的開源 RTS 引擎——ORTS视译。這個(gè)游戲在圖形和非圖形模式下都可以運(yùn)行嬉荆，這讓機(jī)器人可以在成千上萬(wàn)的游戲過(guò)程中快速訓(xùn)練。而使用 ORTS 的一個(gè)主要挑戰(zhàn)是酷含，雖然它為人類玩家提供了一個(gè)交互界面鄙早，但是沒(méi)有專家級(jí)的人類玩家對(duì)機(jī)器人進(jìn)行對(duì)抗評(píng)估。
第一次 Wargus 研究
Freecraft 更名為 Wargus椅亚，它使用 Stratagus 游戲引擎限番。Wargus 的主要優(yōu)勢(shì)之一是它的開源，這為研究人員打開了一個(gè)平臺(tái)呀舔，讓他們可以使用任何技術(shù)進(jìn)行探索弥虐。Wargus 面臨的挑戰(zhàn)是缺乏可以用來(lái)分析的錄制回放，它沒(méi)有活躍的玩家基礎(chǔ)媚赖，而且在測(cè)試機(jī)器人的互相對(duì)抗受到網(wǎng)絡(luò)代碼的限制霜瘪。在使用 Wargus 作為 AI 測(cè)試平臺(tái)的文章中，Marc Ponsen 是最早的發(fā)表者之一省古。
TIELT 的提出
在 2004 年提出的另一個(gè) AI 項(xiàng)目是 TIELT 系統(tǒng)粥庄，它是一個(gè) AI 框架，為多個(gè)游戲主題提供統(tǒng)一的 API豺妓。該系統(tǒng)的目標(biāo)之一是讓研究人員可以為一款游戲開發(fā) AI 并將學(xué)到的知識(shí)轉(zhuǎn)移到新的游戲中惜互。例如，在 Wargus 中學(xué)到的領(lǐng)域知識(shí)可能適用于其他 RTS 游戲琳拭。我在這里討論 TIELT 正是因?yàn)?DeepMind 和暴雪的合作成果之一就是一個(gè) API 和潛在的樣本數(shù)據(jù)集训堆。對(duì)于這個(gè) API 來(lái)說(shuō)，重要的是不要為 AI 的操作做出假設(shè)白嘁。TIELT 面臨的挑戰(zhàn)在于它沒(méi)有提供直接進(jìn)入游戲狀態(tài)的權(quán)限坑鱼，這也就限制了可以利用它的 AI 技術(shù)的數(shù)量。這個(gè)系統(tǒng)許多目標(biāo)現(xiàn)在都已經(jīng)在 Facebook 的 ELF 平臺(tái)實(shí)現(xiàn)了。
2005
Wargus 中的增強(qiáng)學(xué)習(xí)
Wargus 迅速成為研究人員開發(fā) RTS AI 的環(huán)境鲁沥。2005 年呼股，研究人員開始探索強(qiáng)化學(xué)習(xí)技術(shù)，這正是 AlphaGo 使用的策略之一画恰。最終由于研究人員無(wú)法對(duì)彼此的工作進(jìn)行對(duì)抗評(píng)估導(dǎo)致 Wargus 的工作停滯不前彭谁，他們太過(guò)依賴一小部分硬編碼腳本的性能。
2006
第一次 ORTS 競(jìng)賽
在 2005 年公布了第一次 ORTS AI 競(jìng)賽允扇，該活動(dòng)在舉辦于斯坦福的 AIIDE 2006 大會(huì)上舉行缠局。第一次比賽有 4 個(gè)參賽項(xiàng)目，比賽規(guī)模逐年增加考润，直到 2009 年結(jié)束狭园。
2007
IICup 啟動(dòng)
International Cyber Cup 是星際爭(zhēng)霸的第三方服務(wù)器平臺(tái)。這個(gè)服務(wù)器對(duì) AI 研究非常重要糊治，因?yàn)槟憧梢栽谶@個(gè)服務(wù)器上運(yùn)行機(jī)器人唱矛，不過(guò)它不是暴雪官方服務(wù)器。這個(gè)服務(wù)器的另一個(gè)優(yōu)點(diǎn)是為玩家提供了一個(gè)字母評(píng)分俊戳，玩家可以用來(lái)輕松地交流技術(shù)揖赴。例如，我在 2010 年認(rèn)真玩的時(shí)候最高拿到了 D+抑胎。
2008
第一次星際爭(zhēng)霸 AI 研究
我所知道的第一篇關(guān)于星際爭(zhēng)霸 AI 構(gòu)建的文章是在 2008 年發(fā)表的燥滑。Hsieh 和 Sun 通過(guò)挖掘數(shù)千的游戲錄制構(gòu)建了一個(gè)模型來(lái)預(yù)測(cè)玩家會(huì)生產(chǎn)什么建筑和單位。
2009
母巢之戰(zhàn) API 發(fā)布
在 2009 年阿逃，我發(fā)現(xiàn)了一個(gè)叫做 BWAPI（母巢之戰(zhàn) API）的 Goole 代碼項(xiàng)目铭拧，它提供了星際爭(zhēng)霸的編程接口。該庫(kù)使用了一個(gè)第三方 DDL 工具將 API 注入到星際爭(zhēng)霸的運(yùn)行環(huán)境并提供一系列調(diào)用游戲內(nèi)部函數(shù)的掛鉤恃锉。自此之后搀菩，該項(xiàng)目的貢獻(xiàn)者規(guī)模不斷增長(zhǎng)并且被移植到了多種語(yǔ)言。它現(xiàn)在托管在 GitHub 上并且有一個(gè) Java 版本破托。
2010
星際爭(zhēng)霸 2 發(fā)布
在 2010 年肪跋，星際爭(zhēng)霸 2 自由之翼發(fā)布，母巢之戰(zhàn)的競(jìng)賽也繼續(xù)活躍了幾年土砂。2013 年又發(fā)布了蟲族之心資料片州既，2015 年發(fā)布了虛空之遺。
第一屆星際爭(zhēng)霸競(jìng)賽
第一屆星際爭(zhēng)霸 AI 競(jìng)賽在 AIIDE 2010 舉辦萝映。其主要賽事由伯克利 Overmind 團(tuán)隊(duì)獲勝吴叶。競(jìng)賽中還出現(xiàn)了人對(duì)抗機(jī)器的表演賽，人類選手輕易地?fù)魯×?AI 對(duì)手序臂。
2011
第二屆 AIIDE 星際爭(zhēng)霸競(jìng)賽
艾伯塔大學(xué)的 Dave Churchill 主辦了第二屆以及后續(xù)的 AIIDE 星際爭(zhēng)霸競(jìng)賽蚌卤。他編寫了一個(gè)錦標(biāo)賽框架，可以自動(dòng)運(yùn)行錦標(biāo)賽，并修改了一些規(guī)則以促進(jìn)合作逊彭，比如要求必須開源提交咸灿。
學(xué)生星際爭(zhēng)霸 AI 錦標(biāo)賽
第二屆星際爭(zhēng)霸錦標(biāo)賽開始后，學(xué)生的提交成為重點(diǎn)诫龙。錦標(biāo)賽不再與每年的大會(huì)聯(lián)系在一起析显，而是每年舉辦好幾次鲫咽。
2013
星際爭(zhēng)霸母巢之戰(zhàn)機(jī)器人天梯
Krasi0 為星際機(jī)器人開發(fā)了一個(gè)全天候運(yùn)行的天梯系統(tǒng)签赃。這為研究人員提供了一個(gè)評(píng)估不同 AI 方法的環(huán)境。
2014
星際爭(zhēng)霸 2 自動(dòng)化玩家
Matt Webcorner 演示了一個(gè)星際爭(zhēng)霸 2 機(jī)器人分尸，它可以通過(guò)攔截 DirectX 命令來(lái)推斷游戲狀態(tài)锦聊。這種方法的主要限制之一是該機(jī)器人只能訪問(wèn)當(dāng)前顯示在屏幕上的游戲狀態(tài)。
2016
AlphGo 擊敗李世石
2016 年 3 月箩绍，DeepMind 的 AlphaGo 系統(tǒng)擊敗了圍棋世界冠軍李世石孔庭。這次勝利之后，許多人認(rèn)為星際爭(zhēng)霸將是 DeepMind 的下一個(gè)挑戰(zhàn)目標(biāo)材蛛。
Facebook 加入
2016 年 Facebook 的 AI 研究人員開始使用星際爭(zhēng)霸作為強(qiáng)化學(xué)習(xí)測(cè)試平臺(tái)圆到。他們發(fā)表了一篇關(guān)于星際爭(zhēng)霸中的微觀管理的文章。他們的機(jī)器人參加了 AIIDE2017 競(jìng)賽卑吭，但是它的學(xué)習(xí)模式表現(xiàn)不如重點(diǎn)關(guān)注腳本的機(jī)器人芽淡。
暴雪嘉年華公告
在 2016 暴雪嘉年華，DeepMind 宣布他們正與暴雪合作開發(fā)一個(gè) AI 的開放平臺(tái)《股停現(xiàn)在 Google 與 Facebook 競(jìng)相開發(fā)專業(yè)級(jí)星際爭(zhēng)霸游戲的機(jī)器人挣菲，競(jìng)爭(zhēng)也變得日趨激烈。
2017
星際爭(zhēng)霸 2 API 發(fā)布
暴雪在 8 月 9 日發(fā)布了用于編寫機(jī)器人的星際爭(zhēng)霸 2API掷邦，同時(shí)揭曉了一個(gè)編寫機(jī)器人的工作室白胀。
查看原文：
https://towardsdatascience.com/a-history-of-rts-ai-research-72339bcaa3ee
參考資料
[1]：
https://hal.archives-ouvertes.fr/hal-00871001/document
[2]：https://www.cs.auckland.ac.nz/research/gameai/publications/Robertson_Watson_AIMag14.pdf
－全文完－
人工智能已不再停留在大家的想象之中，各路大牛也都紛紛抓住這波風(fēng)口抚岗，投入AI創(chuàng)業(yè)大潮或杠。那么，2017年宣蔚，到底都有哪些AI落地案例呢向抢？機(jī)器學(xué)習(xí)、深度學(xué)習(xí)件已、NLP笋额、圖像識(shí)別等技術(shù)又該如何用來(lái)解決業(yè)務(wù)問(wèn)題？
2018年1月11-14日篷扩，AICon全球人工智能技術(shù)大會(huì)上兄猩，一些大牛將首次分享AI在金融、電商、教育枢冤、外賣鸠姨、搜索推薦、人臉識(shí)別淹真、自動(dòng)駕駛讶迁、語(yǔ)音交互等領(lǐng)域的最新落地案例，應(yīng)該能學(xué)到不少東西核蘸。目前大會(huì)8折報(bào)名倒計(jì)時(shí)巍糯，更多精彩可點(diǎn)擊閱讀原文詳細(xì)了解。
