本文來自：
https://blog.csdn.net/DeepOscar/article/details/81036635
本著學(xué)習(xí)的態(tài)度身冀，自己打一遍已增強理解和記憶
1. 馬爾可夫決策過程
馬爾可夫決策過程是對強化學(xué)習(xí)問題的數(shù)學(xué)描述钝尸，幾乎所有的RL問題都可以用MDPs來描述。
2. 馬爾可夫性
【我的理解】類似于條件獨立
定義：如果在t時刻的狀態(tài)St滿足下列等式搂根，那么這個狀態(tài)被稱為馬爾可夫狀態(tài)珍促，或者說該狀態(tài)滿足馬爾可夫性。
馬爾可夫性要點：
- 狀態(tài)St包含了所有歷史相關(guān)信息剩愧，或者說所有的歷史相關(guān)信息都可以通過狀態(tài)St展現(xiàn)出來
- 一旦St知道了猪叙，狀態(tài)S1, S2, ..., St-1都可以被拋棄
有了馬爾可夫性后：
- 可以定義狀態(tài)轉(zhuǎn)義矩陣
- 忽略時間影響，只關(guān)心當(dāng)前狀態(tài)做出的下一步影響
3. 狀態(tài)轉(zhuǎn)移矩陣
定義：狀態(tài)轉(zhuǎn)移概率是指馬爾可夫狀態(tài)S跳轉(zhuǎn)到后續(xù)狀態(tài)S`的概率。
所有的狀態(tài)組成行穴翩，所有的后繼狀態(tài)組成列犬第，將得到狀態(tài)轉(zhuǎn)移矩陣：
其中，n表示狀態(tài)的個數(shù)芒帕，由于P代表了整個狀態(tài)轉(zhuǎn)移的集合歉嗓，所以用個花體。每行元素相加等于1背蟆。 我們也可以將狀態(tài)轉(zhuǎn)移概率寫成函數(shù)的形式：
。
4. 馬爾可夫過程
一個馬爾可夫過程（MP）是一個無記憶的隨機過程垛叨，即一些馬爾可夫狀態(tài)的序列伦糯。馬爾可夫過程可由一個二元組來定義<S,P>，S表示了狀態(tài)集合嗽元，P表示了狀態(tài)轉(zhuǎn)移矩陣舔株。由于馬爾科夫過程可以用圖中的方塊和線條組成，所以可以稱馬爾科夫過程為馬爾科夫鏈（MDPs chain）还棱。
舉個栗子：
一個學(xué)生每天需要學(xué)習(xí)三個科目载慈，然后通過測試。不過也有可能只學(xué)完兩個科目之后直接睡覺珍手，一旦掛科有可能需要重新學(xué)習(xí)某些科目办铡。用橢圓表示普通狀態(tài)，每一條線上的數(shù)字表示從一個狀態(tài)跳轉(zhuǎn)到另一個狀態(tài)琳要。方塊表示終止?fàn)顟B(tài)寡具。終止?fàn)顟B(tài)有兩種：1是時間終止，2是狀態(tài)終止稚补。
5. 片段
片段定義：強化學(xué)習(xí)中童叠，從初始狀態(tài)S1到終止?fàn)顟B(tài)的序列過程，被稱為一個片段（episode）课幕，S1, S2厦坛，... ，ST
如果一個任務(wù)總以終止?fàn)顟B(tài)結(jié)束乍惊，那么這個任務(wù)被稱為片段任務(wù)杜秸；
如果一個任務(wù)沒有終止?fàn)顟B(tài)，會被無限執(zhí)行下去润绎，這被稱為連續(xù)性任務(wù)撬碟。
- 馬爾可夫獎勵過程（MRP）
馬爾可夫過程主要描述的狀態(tài)之間的轉(zhuǎn)移關(guān)系诞挨，在這個轉(zhuǎn)移關(guān)系上賦予不同的獎勵值即得到馬爾可夫獎勵過程。
定義：馬爾可夫獎勵 (Markov Reward Process, MRP) 過程由一個四元組組成 ?S, P,R, γ?呢蛤。
S 代表了狀態(tài)的集合
-
P 描述了狀態(tài)轉(zhuǎn)移矩
-
R 表示獎勵函數(shù)惶傻，R(s) 描述了在狀態(tài) s 的期望獎勵，
γ 表示衰減因子其障，γ ∈ [0, 1]
