創(chuàng)建
table（pandas.DataFrame(? np.zeros(n_states, len(actions)),? columns = actions)? ），這個table橫軸是state第幾步縱軸是動作action，通過值把所有的state 
?和 action 
?對應上雏逾，選動作的時候就根據(jù)值和state嫌套，以及環(huán)境變量的feedback憋沿。
預定義global變量：n_states=6 表示在環(huán)境中出發(fā)點距離目標的baseline步數(shù)葵诈，actions=['left','right']表示有哪些可以選擇的動作罐柳，
表示greedy policy也就是隨機的大于90%的情況選擇價值最大的action其余10%的情況锻狗，?
表示學習率满力，
表示對未來獎勵的一個衰減值，episode表示最多訓練多少個回合轻纪，fresh_time表示每走一步花多長時間油额。
Initialize %20)
arbitrarily
Repeat (for each episode):
? ? Initialize?
? ? Repeat (for each step of an episode):
? ? ? ? choose? from? using policy derived from? (e.g. ε-greedy)? ?
? ? ? ? take action , observe 
? ? ? ??![Q(s,a)\leftarrow Q(s,a) + α [ r + γ \cdot max_{a^\prime} Q(s^\prime,a^\prime) - Q(s,a) ]](https://math.jianshu.com/math?formula=Q(s%2Ca)%5Cleftarrow%20Q(s%2Ca)%20%20%20%2B%20%20%20%CE%B1%20%5B%20%20%20r%20%20%20%20%2B%20%20%20%20%CE%B3%20%5Ccdot%20max_%7Ba%5E%5Cprime%7D%20Q(s%5E%5Cprime%2Ca%5E%5Cprime)%20%20%20-%20%20%20Q(s%2Ca)%20%20%5D)
? ? ? ? 
? ? until? is terminal
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
