線性二次型高斯(Linear Quadratic Gaussian (LQG)) 在現(xiàn)實世界中潦俺,我們通常不能獲取到所有的狀態(tài)st郑现。比如一個自動駕駛汽車可以通過攝像頭獲取圖像,...
![240](https://cdn2.jianshu.io/assets/default_avatar/15-a7ac401939dd4df837e3bbf82abaa2a8.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
線性二次型高斯(Linear Quadratic Gaussian (LQG)) 在現(xiàn)實世界中潦俺,我們通常不能獲取到所有的狀態(tài)st郑现。比如一個自動駕駛汽車可以通過攝像頭獲取圖像,...
上一節(jié)中我們介紹了一個特殊的MDP模型:線性二次型調(diào)節(jié)控制(LQR)换怖。事實上很多問題都可以用LQR來解決烧颖,即使動態(tài)模型是非線性的护戳。盡管LQR是一個非常漂亮的解決方案打掘,但它還不...
有限邊界的MDP 在前面兩章關(guān)于強(qiáng)化學(xué)習(xí)的介紹中看成,我們定義了馬爾可夫決策過程(MDP)以及價值迭代/策略迭代這兩種用于求解MDP的算法君编。特別地,我們介紹了最優(yōu)貝爾曼方程(op...
到目前為止川慌,我們一直都在討論有限狀態(tài)下的MDP問題吃嘿,現(xiàn)在我們來看下當(dāng)狀態(tài)數(shù)量是無限時如何求解MDP問題。 離散化 也許求解無限狀態(tài)下的MDP問題最簡單的方法就是先將無限狀態(tài)離...
這一節(jié)開始我們介紹強(qiáng)化學(xué)習(xí)(reinforcement learning)梦重。在監(jiān)督學(xué)習(xí)中兑燥,對于一個給定的輸入x,我們可以明確知道輸出y琴拧。而在很多序列決策(sequential...
這一節(jié)的主題是獨(dú)立成分分析(Independent Components Analysis, ICA)降瞳。和PCA的降維思路不同,ICA主要解決的是找到數(shù)據(jù)背后的“獨(dú)立”成分蚓胸。...
上一節(jié)我們介紹了因子分析挣饥,該模型通過一系列變換可以將高維數(shù)據(jù)用低維數(shù)據(jù)來表示。因子分析基于的是概率模型赢织,并且需要用到EM算法進(jìn)行參數(shù)估計亮靴。 這一節(jié)我們介紹主成分分析(Prin...
上一節(jié)我們介紹了用EM算法求解混合高斯模型,但這個算法通常是在樣本數(shù)足夠多的情況下才成立于置,即滿足樣本數(shù)m遠(yuǎn)遠(yuǎn)大于特征數(shù)n茧吊。 如果n >> m,那么在模型計算參數(shù)的時候會遇到一...
這一節(jié)開始我們討論非監(jiān)督學(xué)習(xí)(Unsupervised Learning)的算法八毯。在監(jiān)督學(xué)習(xí)算法中搓侄,訓(xùn)練數(shù)據(jù)既包含特征也包含標(biāo)簽,通常表示為{(x(1), y(1)), .....
這一節(jié)我們主要討論機(jī)器學(xué)習(xí)具體應(yīng)用中的一些建議话速,大部分內(nèi)容都不會涉及到數(shù)學(xué)讶踪,但卻可能是最難理解的一部分。另外本文的部分內(nèi)容可能有一些爭議泊交,部分內(nèi)容也不適用于學(xué)術(shù)研究乳讥。 機(jī)器學(xué)...
假設(shè)我們?yōu)榱四硞€學(xué)習(xí)問題需要從若干模型中選出最優(yōu)模型,比如在多項式回歸模型hθ(x) = g(θ0+θ1x+...+θkxk)中廓俭,我們應(yīng)該如何選擇合適的k值使得模型的偏差方差...
偏差與方差 當(dāng)討論線性回歸時云石,我們提到過欠擬合和過擬合的問題。如下圖所示研乒,左圖用的是y=θ0+θ1x的線性模型進(jìn)行擬合汹忠,而右圖用了更為復(fù)雜的多項式模型y=θ0+θ1x+......
HTTP發(fā)展簡史 HTTP/0.9 1991年發(fā)布 只支持GET命令 請求及返回值都是ASCII碼 請求以換行符(CRLF)結(jié)束 返回值只支持HTML格式 服務(wù)器返回值之后立...
上一篇文章中我們已經(jīng)根據(jù)拉格朗日對偶性推導(dǎo)出了SVM最優(yōu)化公式。而在這一篇文章中,我們將會從SVM最優(yōu)化公式中引出核函數(shù)(kernels)的概念宽菜,由此給出在高維空間下更高效應(yīng)...
在接下來的兩篇文章里谣膳,我們會著重介紹支持向量機(jī)(Support Vector Machine)算法,以下簡稱為SVM铅乡。SVM可以稱得上是監(jiān)督學(xué)習(xí)里最優(yōu)秀的算法了继谚,在諸如文本分...
樸素貝葉斯模型 在上節(jié)介紹的GDA方法中,輸入特征x是連續(xù)型隨機(jī)變量÷∨校現(xiàn)在我們介紹一個算法用于處理x是離散值的情況犬庇。 我們以郵件分類為例來介紹這個算法,郵件分類問題是文本分類...
生成學(xué)習(xí)算法 目前為止侨嘀,我們主要討論的學(xué)習(xí)算法基于p(y|x;θ)進(jìn)行建模臭挽,即給定x的情況下y的條件分布。比如在邏輯回歸里我們基于p(y|x;θ)推導(dǎo)出hθ(x)=g(θTx...
牛頓方法 之前我們在最大化對數(shù)似然函數(shù)l(θ)時用到了梯度上升法咬腕,現(xiàn)在我們介紹另一種方法欢峰。 我們先來看下如何用牛頓方法(Newton's Method)求解θ使得f(θ)=0...
線性回歸的概率解釋 在解決線性回歸問題時,我們?yōu)槭裁匆褂米钚《朔ㄗ鳛榇鷥r函數(shù)涨共?這個問題我們會通過概率統(tǒng)計來進(jìn)行解釋纽帖。 假設(shè)對每個樣本數(shù)據(jù),輸出值與預(yù)測值存在一定的誤差ε(...
監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí) 機(jī)器學(xué)習(xí)是指給定一些訓(xùn)練數(shù)據(jù)举反,使機(jī)器能夠利用它們分析未知數(shù)據(jù)懊直。任何機(jī)器學(xué)習(xí)問題都可以分為兩類:監(jiān)督學(xué)習(xí)(Supervised Learning)和非監(jiān)督...