1. 概述
倒立擺問題是控制文獻中的經(jīng)典問題猎醇。 在這個版本的問題中猾警，鐘擺以隨機位置開始，目標是將其向上擺動，使其保持直立刨秆。
類型：連續(xù)控制
2. 環(huán)境
2.1 Observation & state
state是最原始的環(huán)境內(nèi)部的表示，observation則是state的函數(shù)絮短。好比我們所看見的東西并不一定就是它們在世界中的真實狀態(tài)髓棋，而是經(jīng)過我們的大腦加工過的信息
2.2 Actions
2.3 Reward
獎勵的精確等式：
在
和
之間歸一化。因此辈挂，
最小代價是衬横，
最高代價為0。
實質(zhì)上呢岗，目標是保持零角度（垂直）冕香，旋轉(zhuǎn)速度最小，力度最小后豫。
2.4 初始狀態(tài)
從和
的隨機角度悉尾，以及-1和1之間的隨機速度
2.5 終止狀態(tài)- Episode Termination
沒有指定的終止狀態(tài)。 添加最大步數(shù)可能是個好主意挫酿。
2.6 Solved Requirements
目前尚未指定
3. 代碼
3.1 導(dǎo)入lib
import gym
from gym import spaces
from gym.utils import seeding
import numpy as np
from os import path
3.2 定義PendulumEnv(gym.Env)類：
class PendulumEnv(gym.Env):
metadata = {
'render.modes' : ['human', 'rgb_array'],
'video.frames_per_second' : 30
}
3.2.1定義 __init__(self)函數(shù):
def __init__(self):
self.max_speed=8 # 最大角速度：theta dot
self.max_torque=2. # 最大力矩
self.dt=.05 采樣時間
self.viewer = None
high = np.array([1., 1., self.max_speed]) # 這里的前兩項是 cos 和 sin 值
self.action_space = spaces.Box(low=-self.max_torque, high=self.max_torque, shape=(1,), dtype=np.float32)
self.observation_space = spaces.Box(low=-high, high=high, dtype=np.float32)
# 動作空間： (-2, 2)
# 觀察空間： ([-1,-1,-8],[1,1,8])
self.seed()
3.2.2 定義隨機種子函數(shù)seed()
def seed(self, seed=None):
self.np_random, seed = seeding.np_random(seed)
return [seed]
3.2.3 定義step()函數(shù)
def step(self,u): # u 是 action
th, thdot = self.state # th := theta
g = 10. # 重力加速度
m = 1. # 質(zhì)量
l = 1. # 長度
dt = self.dt # 采樣時間
u = np.clip(u, -self.max_torque, self.max_torque)[0]
# np.clip(u,-2,2): u是一個一維數(shù)組(雖然只有一個元素)
# 此元素若小于-2构眯， 則將-2賦給此元素，若大于 2早龟，則將2賦給此元素惫霸，
# 若是在中間猫缭，則不變，作用是將動作值限定在[-2,2]之間
self.last_u = u # for rendering
1. costs = angle_normalize(th)**2 + .1*thdot**2 + .001*(u**2)
2. newthdot = thdot + (-3*g/(2*l) * np.sin(th + np.pi) + 3./(m*l**2)*u) * dt
3. newth = th + newthdot*dt
4. newthdot = np.clip(newthdot, -self.max_speed, self.max_speed) #pylint: disable=E1111
5. self.state = np.array([newth, newthdot])
6. return self._get_obs(), -costs, False, {}
代價函數(shù)：costs包含三項壹店，一是
猜丹，二是
，三是
硅卢。第一項我們后面分析射窒；第二項表示對于角速度的懲罰，在到達目標位置（豎直）之后将塑，如果還有較大的速度的話脉顿，就越過去了；第三項是對于輸入力矩的懲罰点寥，使用的力矩越大艾疟，懲罰越大，畢竟力矩×角速度=功率敢辩，還是小點的好蔽莱。
使用前向歐拉方法計算新的角速度(newthdot)
同樣方法計算新的角度(newth)
將角速度值限定在[-8,8]之間
執(zhí)行動作之后得到的新狀態(tài)
step()函數(shù)返回下一時刻的觀測，回報责鳍，是否終止,調(diào)試項,這里面有一個函數(shù)self._get_obs()在下面定義的碾褂，這個函數(shù)就指明了Observation是state的函數(shù)這一點。
3.2.4 定義reset()函數(shù)
在強化學(xué)習(xí)算法中历葛，智能體需要一次次地嘗試正塌，累積經(jīng)驗，然后從經(jīng)驗中學(xué)到好的動作恤溶。一次嘗試我們稱之為一條軌跡或一個episode. 每次嘗試都要到達終止狀態(tài). 一次嘗試結(jié)束后乓诽，智能體需要從頭開始，這就需要智能體具有重新初始化的功能咒程。函數(shù)
reset()就是這個作用, agent與環(huán)境交互前調(diào)用該函數(shù)鸠天，確定agent的初始狀態(tài)以及其他可能的一些初始化設(shè)置。此例中在每個episode開始時帐姻，th初始化為[-pi,pi]之間的一個任意角度稠集，速度初始化為[-1,1]之間的一個任意值.
def reset(self):
high = np.array([np.pi, 1])
self.state = self.np_random.uniform(low=-high, high=high)
self.last_u = None
return self._get_obs()
3.2.5 定義_get_obs()函數(shù)
def _get_obs(self):
theta, thetadot = self.state
return np.array([np.cos(theta), np.sin(theta), thetadot])
3.2.6 定義render()函數(shù)
def render(self, mode='human'):
if self.viewer is None:
from gym.envs.classic_control import rendering
self.viewer = rendering.Viewer(500,500)
self.viewer.set_bounds(-2.2,2.2,-2.2,2.2)
rod = rendering.make_capsule(1, .2)
rod.set_color(.8, .3, .3)
self.pole_transform = rendering.Transform()
rod.add_attr(self.pole_transform)
self.viewer.add_geom(rod)
axle = rendering.make_circle(.05)
axle.set_color(0,0,0)
self.viewer.add_geom(axle)
fname = path.join(path.dirname(__file__), "assets/clockwise.png")
self.img = rendering.Image(fname, 1., 1.)
self.imgtrans = rendering.Transform()
self.img.add_attr(self.imgtrans)
self.viewer.add_onetime(self.img)
self.pole_transform.set_rotation(self.state[0] + np.pi/2)
if self.last_u:
self.imgtrans.scale = (-self.last_u/2, np.abs(self.last_u)/2)
return self.viewer.render(return_rgb_array = mode=='rgb_array')
3.2.7 定義close()函數(shù)
def close(self):
if self.viewer:
self.viewer.close()
self.viewer = None
3.2.8 定義angle_normalize()函數(shù)
def angle_normalize(x):
return (((x+np.pi) % (2*np.pi)) - np.pi)
先對(x+pi)%(2*pi)-pi進行分析，帶入幾個角度饥瓷，比如x=pi/4剥纷，return=pi/4；x=3*pi/4呢铆，return=3*pi/4晦鞋；x=5*pi/4，return=-3*pi/4。這樣我們就可以繪圖如下[4]：
參考：
- https://github.com/openai/gym/wiki/Pendulum-v0
- https://gym.openai.com/envs/Pendulum-v0/
- https://github.com/openai/gym/wiki/Leaderboard#pendulum-v0
- https://blog.csdn.net/u013745804/article/details/78397106
- Reinforcement Learning: An Introduction Second edition. Richard S. Sutton and Andrew G. Barto
- https://zhuanlan.zhihu.com/p/26985029
