姓名：郭金? 學(xué)號(hào)：17101223407
轉(zhuǎn)載自：https://towardsdatascience.com/a-history-of-rts-ai-research-72339bcaa3ee
【嵌牛導(dǎo)讀】：在 RTS 游戲中進(jìn)行 AI 研究有著悠久的歷史。在過(guò)去的十多年里疹吃，研究人員一直致力于構(gòu)建能打敗最強(qiáng)人類(lèi)玩家的機(jī)器人蹦疑，但是要走的路還很長(zhǎng)。在 2016 年的暴雪嘉年華萨驶，DeepMind 和暴雪宣布合作歉摧，將為星際爭(zhēng)霸 2 的 AI 研究開(kāi)放 API。
本文旨在討論 RTS 游戲的一些發(fā)展進(jìn)程腔呜，以及 AI 研究在其中的貢獻(xiàn)叁温。要想詳細(xì)了解 RTS 游戲相關(guān)研究，還請(qǐng)查看 Onta?on核畴、Robertson 和 Watson 等人的文章膝但。（詳見(jiàn)文末）
【嵌牛鼻子】：人工智能、AI谤草、游戲開(kāi)發(fā)
【嵌牛提問(wèn)】：如何利用AI來(lái)進(jìn)行游戲開(kāi)發(fā)跟束？
【嵌牛正文】：
? ? ? 過(guò)去的十年里，研究人員已經(jīng)從在 RTS 游戲中獨(dú)立研究不同的 AI 技術(shù)過(guò)渡到了在更復(fù)雜的游戲中通過(guò)合作和競(jìng)爭(zhēng)將不同的技術(shù)相互匹配丑孩。為了這項(xiàng)工作順利進(jìn)行冀宴，需要以下條件:
研究人員構(gòu)建和評(píng)估機(jī)器人的開(kāi)放 API
可以讓研究人員對(duì)比不同技術(shù)的競(jìng)賽
用于訓(xùn)練學(xué)習(xí)算法的錄制回放
人類(lèi)選手對(duì)機(jī)器人的性能進(jìn)行評(píng)估
在 2009 年發(fā)布的母巢之戰(zhàn) API 中以上大部分的條件都得到了滿(mǎn)足，但由于平臺(tái)的封閉特性使研究人員很難將 AI 系統(tǒng)的訓(xùn)練過(guò)程自動(dòng)化温学。隨著星際爭(zhēng)霸 2 環(huán)境的公開(kāi)略贮，研究人員將有機(jī)會(huì)開(kāi)發(fā)一種能夠在 RTS 游戲中表現(xiàn)出專(zhuān)家級(jí)性能的系統(tǒng)。下面一些是我認(rèn)為的在朝著這一目標(biāo)的發(fā)展歷程中的重大事件仗岖。如果有疏漏還請(qǐng)?jiān)谠u(píng)論里留言逃延。
1998
星際爭(zhēng)霸 1 的發(fā)布
星際爭(zhēng)霸原作是在 1998 年 3 月發(fā)布的，資料片母巢之戰(zhàn)也于同年 11 月發(fā)布轧拄。它迅速風(fēng)靡全球揽祥，并在韓國(guó)引發(fā)了職業(yè)游戲的熱潮。
Freecraft
在星際爭(zhēng)霸之前檩电，1995 年發(fā)布了魔獸爭(zhēng)霸 2拄丰。魔獸爭(zhēng)霸 2 的克隆版 Freecraft 也在 1998 年首次發(fā)布桅打，它后來(lái)更名為 Wargus。這個(gè)克隆版構(gòu)建在 Stratagus 游戲引擎上愈案。Freecraft 是 RTS AI 研究的一個(gè)重要項(xiàng)目，因?yàn)榇蟛糠值某跏脊ぷ鞫家?Wargus 作為實(shí)驗(yàn)平臺(tái)鹅搪。
2001
學(xué)術(shù)界對(duì)游戲 AI 的興趣
游戲 AI 的一篇重要文章是 John Laird 和 Michael van 在 2001 年發(fā)表于《AI Magazine》的文章 Human-Level AI’s Killer Application Interactive Computer Games站绪。這篇文章意義重大，因?yàn)樗?AAAI 的出版物中第一批認(rèn)識(shí)到實(shí)時(shí)游戲可以作為 AI 研究的良好環(huán)境丽柿。它還改變了學(xué)術(shù)研究人員試圖將現(xiàn)有方法應(yīng)用于游戲的心態(tài)恢准，轉(zhuǎn)而考慮為游戲構(gòu)建全新的和專(zhuān)門(mén)的方法。
2002
魔獸爭(zhēng)霸 3 發(fā)布
魔獸爭(zhēng)霸 3 的一大特色是高度可擴(kuò)展的地圖編輯器甫题，它被用來(lái)創(chuàng)建獨(dú)特的內(nèi)容馁筐，比如最初版本的 DOTA。地圖編輯器還擁有一些腳本功能坠非，可以用來(lái)編寫(xiě)自定義 AI敏沉。然而，以這種方式編寫(xiě)的 AI 僅局限于單一地圖炎码，腳本語(yǔ)言也僅向作者提供了一個(gè)命令子集盟迟。研究人員可以在這個(gè)框架內(nèi)實(shí)現(xiàn)他們的 AI 技術(shù)，但不可能用不同的機(jī)器人互相測(cè)試潦闲。
2003
RTS 游戲被推薦為 AI 測(cè)試平臺(tái)
2003 年攒菠，Michael Buro 和 Timothy Furtak 發(fā)表了一篇文章稱(chēng) RTS 游戲提出了許多構(gòu)建人類(lèi)水平的 AI 時(shí)需要解決的新穎問(wèn)題。他們還提議開(kāi)發(fā)一個(gè)開(kāi)源的 RTS 游戲引擎提供給 AI 研究社區(qū)使用歉闰。
星際爭(zhēng)霸中的狀態(tài)估計(jì)
2004
ORTS 發(fā)布
接下來(lái)一年辖众，Michael Buro 就發(fā)布了第一個(gè)版本的開(kāi)源 RTS 引擎——ORTS。這個(gè)游戲在圖形和非圖形模式下都可以運(yùn)行和敬，這讓機(jī)器人可以在成千上萬(wàn)的游戲過(guò)程中快速訓(xùn)練凹炸。而使用 ORTS 的一個(gè)主要挑戰(zhàn)是，雖然它為人類(lèi)玩家提供了一個(gè)交互界面概龄，但是沒(méi)有專(zhuān)家級(jí)的人類(lèi)玩家對(duì)機(jī)器人進(jìn)行對(duì)抗評(píng)估还惠。
ORTS 游戲引擎
第一次 Wargus 研究
Freecraft 更名為 Wargus，它使用 Stratagus 游戲引擎私杜。Wargus 的主要優(yōu)勢(shì)之一是它的開(kāi)源蚕键，這為研究人員打開(kāi)了一個(gè)平臺(tái)，讓他們可以使用任何技術(shù)進(jìn)行探索衰粹。Wargus 面臨的挑戰(zhàn)是缺乏可以用來(lái)分析的錄制回放锣光，它沒(méi)有活躍的玩家基礎(chǔ)，而且在測(cè)試機(jī)器人的互相對(duì)抗受到網(wǎng)絡(luò)代碼的限制铝耻。在使用 Wargus 作為 AI 測(cè)試平臺(tái)的文章中誊爹，Marc Ponsen 是最早的發(fā)表者之一蹬刷。
TIELT 的提出
在 2004 年提出的另一個(gè) AI 項(xiàng)目是 TIELT 系統(tǒng)，它是一個(gè) AI 框架频丘，為多個(gè)游戲主題提供統(tǒng)一的 API办成。該系統(tǒng)的目標(biāo)之一是讓研究人員可以為一款游戲開(kāi)發(fā) AI 并將學(xué)到的知識(shí)轉(zhuǎn)移到新的游戲中。例如搂漠，在 Wargus 中學(xué)到的領(lǐng)域知識(shí)可能適用于其他 RTS 游戲迂卢。我在這里討論 TIELT 正是因?yàn)?DeepMind 和暴雪的合作成果之一就是一個(gè) API 和潛在的樣本數(shù)據(jù)集。對(duì)于這個(gè) API 來(lái)說(shuō)桐汤，重要的是不要為 AI 的操作做出假設(shè)而克。TIELT 面臨的挑戰(zhàn)在于它沒(méi)有提供直接進(jìn)入游戲狀態(tài)的權(quán)限，這也就限制了可以利用它的 AI 技術(shù)的數(shù)量怔毛。這個(gè)系統(tǒng)許多目標(biāo)現(xiàn)在都已經(jīng)在 Facebook 的 ELF 平臺(tái)實(shí)現(xiàn)了员萍。
TIELT 架構(gòu)
2005
Wargus 中的增強(qiáng)學(xué)習(xí)
Wargus 迅速成為研究人員開(kāi)發(fā) RTS AI 的環(huán)境。2005 年拣度，研究人員開(kāi)始探索強(qiáng)化學(xué)習(xí)技術(shù)碎绎，這正是 AlphaGo 使用的策略之一。最終由于研究人員無(wú)法對(duì)彼此的工作進(jìn)行對(duì)抗評(píng)估導(dǎo)致 Wargus 的工作停滯不前蜡娶，他們太過(guò)依賴(lài)一小部分硬編碼腳本的性能混卵。
2006
第一次 ORTS 競(jìng)賽
在 2005 年公布了第一次 ORTS AI 競(jìng)賽，該活動(dòng)在舉辦于斯坦福的 AIIDE 2006 大會(huì)上舉行窖张。第一次比賽有 4 個(gè)參賽項(xiàng)目幕随，比賽規(guī)模逐年增加，直到 2009 年結(jié)束宿接。
2007
IICup 啟動(dòng)
International Cyber Cup 是星際爭(zhēng)霸的第三方服務(wù)器平臺(tái)赘淮。這個(gè)服務(wù)器對(duì) AI 研究非常重要，因?yàn)槟憧梢栽谶@個(gè)服務(wù)器上運(yùn)行機(jī)器人睦霎，不過(guò)它不是暴雪官方服務(wù)器梢卸。這個(gè)服務(wù)器的另一個(gè)優(yōu)點(diǎn)是為玩家提供了一個(gè)字母評(píng)分，玩家可以用來(lái)輕松地交流技術(shù)副女。例如蛤高，我在 2010 年認(rèn)真玩的時(shí)候最高拿到了 D+。
2008
第一次星際爭(zhēng)霸 AI 研究
我所知道的第一篇關(guān)于星際爭(zhēng)霸 AI 構(gòu)建的文章是在 2008 年發(fā)表的碑幅。Hsieh 和 Sun 通過(guò)挖掘數(shù)千的游戲錄制構(gòu)建了一個(gè)模型來(lái)預(yù)測(cè)玩家會(huì)生產(chǎn)什么建筑和單位戴陡。
星際爭(zhēng)霸建造指令預(yù)測(cè)
2009
母巢之戰(zhàn) API 發(fā)布
在 2009 年，我發(fā)現(xiàn)了一個(gè)叫做 BWAPI（母巢之戰(zhàn) API）的 Goole 代碼項(xiàng)目沟涨，它提供了星際爭(zhēng)霸的編程接口恤批。該庫(kù)使用了一個(gè)第三方 DDL 工具將 API 注入到星際爭(zhēng)霸的運(yùn)行環(huán)境并提供一系列調(diào)用游戲內(nèi)部函數(shù)的掛鉤。自此之后裹赴，該項(xiàng)目的貢獻(xiàn)者規(guī)模不斷增長(zhǎng)并且被移植到了多種語(yǔ)言喜庞。它現(xiàn)在托管在 GitHub 上并且有一個(gè) Java 版本诀浪。
2010
星際爭(zhēng)霸 2 發(fā)布
在 2010 年，星際爭(zhēng)霸 2 自由之翼發(fā)布延都，母巢之戰(zhàn)的競(jìng)賽也繼續(xù)活躍了幾年雷猪。2013 年又發(fā)布了蟲(chóng)族之心資料片，2015 年發(fā)布了虛空之遺晰房。
第一屆星際爭(zhēng)霸競(jìng)賽
第一屆星際爭(zhēng)霸 AI 競(jìng)賽在 AIIDE 2010 舉辦春宣。其主要賽事由伯克利 Overmind 團(tuán)隊(duì)獲勝。競(jìng)賽中還出現(xiàn)了人對(duì)抗機(jī)器的表演賽嫉你，人類(lèi)選手輕易地?fù)魯×?AI 對(duì)手。
伯克利 Overmind 團(tuán)隊(duì)
2011
第二屆 AIIDE 星際爭(zhēng)霸競(jìng)賽
艾伯塔大學(xué)的 Dave Churchill 主辦了第二屆以及后續(xù)的 AIIDE 星際爭(zhēng)霸競(jìng)賽躏惋。他編寫(xiě)了一個(gè)錦標(biāo)賽框架幽污，可以自動(dòng)運(yùn)行錦標(biāo)賽，并修改了一些規(guī)則以促進(jìn)合作簿姨，比如要求必須開(kāi)源提交距误。
學(xué)生星際爭(zhēng)霸 AI 錦標(biāo)賽
第二屆星際爭(zhēng)霸錦標(biāo)賽開(kāi)始后，學(xué)生的提交成為重點(diǎn)扁位。錦標(biāo)賽不再與每年的大會(huì)聯(lián)系在一起准潭，而是每年舉辦好幾次。
https://sscaitournament.com/
2013
星際爭(zhēng)霸母巢之戰(zhàn)機(jī)器人天梯
Krasi0 為星際機(jī)器人開(kāi)發(fā)了一個(gè)全天候運(yùn)行的天梯系統(tǒng)域仇。這為研究人員提供了一個(gè)評(píng)估不同 AI 方法的環(huán)境刑然。
2014
星際爭(zhēng)霸 2 自動(dòng)化玩家
Matt Webcorner 演示了一個(gè)星際爭(zhēng)霸 2 機(jī)器人，它可以通過(guò)攔截 DirectX 命令來(lái)推斷游戲狀態(tài)暇务。這種方法的主要限制之一是該機(jī)器人只能訪(fǎng)問(wèn)當(dāng)前顯示在屏幕上的游戲狀態(tài)泼掠。
2016
AlphGo 擊敗李世石
2016 年 3 月，DeepMind 的 AlphaGo 系統(tǒng)擊敗了圍棋世界冠軍李世石垦细。這次勝利之后择镇，許多人認(rèn)為星際爭(zhēng)霸將是 DeepMind 的下一個(gè)挑戰(zhàn)目標(biāo)。
Facebook 加入
2016 年 Facebook 的 AI 研究人員開(kāi)始使用星際爭(zhēng)霸作為強(qiáng)化學(xué)習(xí)測(cè)試平臺(tái)括改。他們發(fā)表了一篇關(guān)于星際爭(zhēng)霸中的微觀(guān)管理的文章腻豌。他們的機(jī)器人參加了 AIIDE2017 競(jìng)賽，但是它的學(xué)習(xí)模式表現(xiàn)不如重點(diǎn)關(guān)注腳本的機(jī)器人嘱能。
暴雪嘉年華公告
在 2016 暴雪嘉年華吝梅，DeepMind 宣布他們正與暴雪合作開(kāi)發(fā)一個(gè) AI 的開(kāi)放平臺(tái)。現(xiàn)在 Google 與 Facebook 競(jìng)相開(kāi)發(fā)專(zhuān)業(yè)級(jí)星際爭(zhēng)霸游戲的機(jī)器人焰檩，競(jìng)爭(zhēng)也變得日趨激烈憔涉。
2017
星際爭(zhēng)霸 2 API 發(fā)布
暴雪在 8 月 9 日發(fā)布了用于編寫(xiě)機(jī)器人的星際爭(zhēng)霸 2API，同時(shí)揭曉了一個(gè)編寫(xiě)機(jī)器人的工作室析苫。
