強化學(xué)習(xí)MPD之LQR和DDP之間千絲萬縷的聯(lián)系

在郭憲和方勇純老師編著的《深入淺出強化學(xué)習(xí) 原理入門》一書第十章關(guān)于引導(dǎo)性策略搜索一文中鸠删，在關(guān)于軌跡優(yōu)化部分贼陶，提到了LQR和DDP的優(yōu)化算法，在查閱了很多的資料后碉怔，現(xiàn)總結(jié)如下：
本文參考資料如下：

Apollo控制算法之LQR
什么是二次型最優(yōu)控制
機器學(xué)習(xí)筆記17: 線性二次型調(diào)節(jié)控制
機器學(xué)習(xí)筆記18: 微分動態(tài)規(guī)劃
強化學(xué)習(xí)入門第二講基于模型的動態(tài)規(guī)劃方法
微分動態(tài)規(guī)劃
其中，一二三是講解LQR的庙楚，四五六講解DDP。

在原始的LQR問題中馒闷，我們的目標是求損失J最小，即 $J=\sum_{\tau=0}^{N-1}(x_\tau^TQx_\tau + u_\tau^TRu_\tau)+x_N^TQ_fx_N$ 纳账。該公式的含義是說捺疼，所有時間步內(nèi)總的損失等于前N-1個時間步加上最后一個時間步的損失。LQR相關(guān)的知識可參考前3個鏈接。對LQR的總結(jié)：

在原有MDP的基礎(chǔ)上引入了時間邊界的概念呢袱，這類問題被稱為有限邊界的MDP，在這種設(shè)定下策略和價值函數(shù)都是不穩(wěn)定的羞福，也就是說它們是隨著時間變化的。
線性二次型調(diào)節(jié)控制(LQR)是一個特殊的有限邊界MDP模型治专，該模型廣泛應(yīng)用于機器人學(xué)中遭顶。
LQR的目標就是找到一組控制量u0,u1,...使
x0,x1...足夠小，即系統(tǒng)達到穩(wěn)定狀態(tài)棒旗；
u0,u1,...足夠小，即花費較小的控制代價铣揉。

注意：在原始的LQR問題中，我們的目標是J最小老速，而對于在強化學(xué)習(xí)時，我們的目標是reward最大橘券，因此，在reward的定義中旁舰，增加了一個負號。即
$\begin {cases} s_{t+1}=A_ts_t+B_ta_t \\[4ex] R^{(t)}(s_t,a_t)=-s_t^TU_t s_t - a_t^TW_ta_t \end {cases}$
至于噪聲 $w_t$ 毯焕，可加可不加，加了相當(dāng)是確定的纳猫，不加則是隨機的意思竹捉。
即由 $s_t$ 和 $a_t$ 到 $s_{t+1}$ 的過程是線性的，目標函數(shù)是二次的块差，且要迭代的公式 $V_k = min_w {z^TQz+w^TRw+V_{k+1}(Az+Bw)}$ 是由目標函數(shù)生成的

下面進入DDP部分倔丈。
參考鏈接5和鏈接6中状蜗，關(guān)于微分動態(tài)規(guī)劃的推導(dǎo)中，都有公式
$\begin {cases} V_k = min_w {l(x_k,u_k)+V_{k+1}(x_{k+1})} \\[4ex] x_{k+1} = f(x_k,u_k) \end {cases}$
與LQR不同的地方在于宏邮，要迭代的 $\bf V$ 中， $\cal l$ 函數(shù)以及由 $x_k,u_k$ 生成 $x_{k+1}$ 2處不同蜀铲。因此边琉，將這2處地方變成與原始LQR問題類似的形式變可以用LQR來解決問題了,如果變化呢？采用泰勒展開式來代替原始函數(shù)族扰。
對 $s_{t+1}$ 的變化：
$s_{t+1} \approx F(s_t^\star , a_t^\star)+\nabla_s F(s_t^\star, a_t^\star)(s_t- s_t^\star)+\nabla_a F(s_t^\star ,a_t^\star )(a_t-a_t^\star )$
上文提到，常數(shù)可加可不加渔呵。
對于 $\cal l$ 函數(shù)來說砍鸠，同樣，我們?nèi)《A泰勒展開式爷辱，如下：
$\begin {eqnarray} l(s_t,a_t) & \approx & l(s_t^\star,a_t^\star) + \nabla_sl(s_t^\star, a_t^\star)(s_t- s_t^\star)+\nabla_a l(s_t^\star ,a_t^\star )(a_t-a_t^\star )\\ && + \frac 1 2 (s_t-s_t^\star)^TH_{ss}(s_t-s_t^\star)+(s_t-s_t^\star)H_{sa}(a_t-a_t^\star)+\frac 1 2 (a_t-a_t^\star)^TH_{aa}(a_t-a_t^\star) \end {eqnarray}$
由于是近似，我們只取二階部分饭弓，即 $R_t(s_t,a_t)=-s_t^TU_ts_t-a_t^TW_ta_t$ 轉(zhuǎn)換之后，就是LQR問題咏花，然后用LQR來解決問題即可。
總結(jié)：

LQR只適用于狀態(tài)轉(zhuǎn)換函數(shù)是線性的場景昏翰，當(dāng)狀態(tài)轉(zhuǎn)換函數(shù)是非線性時，我們可以使用泰勒展開的方法做線性近似
當(dāng)大部分狀態(tài)和行動在某個小的局部范圍內(nèi)棚菊，我們可以選擇局部中心做線性近似
當(dāng)狀態(tài)轉(zhuǎn)換函數(shù)遵循某條軌跡時，可以使用微分動態(tài)規(guī)劃(DDP)算法窍株，其思想是在狀態(tài)轉(zhuǎn)換函數(shù)的多個點上依次做線性近似

最后編輯于：2019.03.21 20:09:20

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者