1. OpenAI Gym安裝
安裝
本人環(huán)境是Ubuntu16.04 + anaconda + Python3.6.2
git clone https://github.com/openai/gym
cd gym
sudo pip install -e .[all]
這里pip install -e .[all]是安裝所有的environment鸳慈，如果不想這么做可以pip install -e .安裝基本項(xiàng)潜索，之后手動(dòng)安裝所需要的environment。注意要使用管理員權(quán)限來安裝觅赊，否則會(huì)報(bào)錯(cuò)！
helloworld
安裝完成后贩汉，我們運(yùn)行一個(gè)小的demo驗(yàn)證是否順利安裝厕九，這里用CartPole-v0 下的1000幀驗(yàn)證：
import gym
env = gym.make('CartPole-v0')
env.reset() #重置環(huán)境
for _ in range(1000): #1000幀
env.render() #每一幀重新渲染環(huán)境
env.step(env.action_space.sample()) # take a random action
運(yùn)行結(jié)果應(yīng)當(dāng)是這樣的：
正常來說我們應(yīng)當(dāng)在立桿滑出屏幕之前把環(huán)境停止掉，之后的會(huì)介紹剑逃。
如果想看看別的環(huán)境是什么樣子的，可以將CartPole-v0替換成MountainCar-v0, MsPacman-v0等官辽，這些環(huán)境都來自Env基類蛹磺。
可以查看OpenAI Gym所有環(huán)境的列表：
from gym import envs
print(envs.registry.all())
2. OpenAI Gym使用
Observation（觀察）
上面helloworld的例子中，action是隨機(jī)的同仆，如果想要在每個(gè)步驟中做出比采取隨機(jī)行動(dòng)更好的action萤捆，那么實(shí)際了解action對環(huán)境的影響可能會(huì)很好。
環(huán)境的step 函數(shù)返回需要的信息俗批，step 函數(shù)返回四個(gè)值observation俗或、reward、done岁忘、info辛慰，下面是具體信息：
- observation (object):一個(gè)與環(huán)境相關(guān)的對象描述你觀察到的環(huán)境，如相機(jī)的像素信息臭觉，機(jī)器人的角速度和角加速度昆雀，棋盤游戲中的棋盤狀態(tài)。
- reward (float):先前行為獲得的所有回報(bào)之和蝠筑，不同環(huán)境的計(jì)算方式不 一狞膘，但目標(biāo)總是增加自己的總回報(bào)。
- done (boolean): 判斷是否到了重新設(shè)定(reset)環(huán)境什乙，大多數(shù)任務(wù)分為明確定義的episodes挽封，并且完成為True表示episode已終止。
- info (dict):用于調(diào)試的診斷信息臣镣，有時(shí)也用于學(xué)習(xí)辅愿，但正式的評(píng)價(jià)不允許使用該信息進(jìn)行學(xué)習(xí)。 這是一個(gè)典型的agent-environment loop 的實(shí)現(xiàn)忆某。
下面這個(gè)示例通過調(diào)用reset來啟動(dòng)癞埠，它返回一個(gè)初始o(jì)bservation状原。 所以要改進(jìn)helloworld代碼的更恰當(dāng)?shù)姆椒ㄊ钱?dāng)done返回為True，終止當(dāng)前的episode：
import gym
env = gym.make('CartPole-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
結(jié)果與之前不同的是每次立桿將要倒下去苗踪，環(huán)境重置颠区，并且每幀返回Observation也就是立桿位置的觀察信息。
這段代碼中通铲，每次done返回True（立桿將要倒下去的時(shí)候）重置環(huán)境毕莱，然后每一幀都返回Observation來監(jiān)視當(dāng)前模型。
Spaces（空間）
之前的示例都用了隨機(jī)action颅夺，那么這些action是如何表示的呢朋截？每個(gè)環(huán)境都帶有描述有效動(dòng)作和觀察結(jié)果的一級(jí)Space對象：
import gym
env = gym.make('CartPole-v0')
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)
Discrete space 允許固定范圍的非負(fù)數(shù)。這個(gè)例子里碗啄，立桿的運(yùn)動(dòng)只有向左和向右质和，因此在這種情況下稳摄，有效的動(dòng)作是0或1. Box空間表示一個(gè)n維框稚字，這個(gè)示例中立桿在一個(gè)二維空間中，所以有效的觀察將是4個(gè)數(shù)字的數(shù)組厦酬。 也可以檢查Box的范圍：
print(env.observation_space.high)
#> array([ 2.4 , inf, 0.20943951, inf])
print(env.observation_space.low)
#> array([-2.4 , -inf, -0.20943951, -inf])
Box和Discrete是最常用的spaces胆描，可以從space進(jìn)行抽樣或檢查屬于它的內(nèi)容：
from gym import spaces
space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7}
x = space.sample()
assert space.contains(x)
assert space.n == 8
很多環(huán)境中這些spaces數(shù)據(jù)并不是像這個(gè)簡單的示例這么直觀，不過只要你的模型足夠優(yōu)秀仗阅，自己沒必要試著解釋這些數(shù)據(jù)昌讲。
