引入

監(jiān)督學(xué)習(xí)的任務(wù)就是學(xué)習(xí)一個模型（或者得到一個目標(biāo)函數(shù)）,應(yīng)用這一模型漫雷，對給定的輸入預(yù)測相應(yīng)的輸出瓜富。這一模型的一般形式為一個決策函數(shù)Y=f(X)，或者條件概率分布P(Y|X)降盹。
監(jiān)督學(xué)習(xí)方法又可以分為生成方法(generative approach)和判別方法(discriminative approach)与柑。所學(xué)到的模型分別為生成模型(generative model)和判別模型(discriminative model)。

決策函數(shù)和條件概率分布

決策函數(shù)Y=f(X)

決策函數(shù)Y=f(X)：你輸入一個X蓄坏，它就輸出一個Y价捧，這個Y與一個閾值比較，根據(jù)比較結(jié)果判定X屬于哪個類別涡戳。例如兩類（w1和w2）分類問題结蟋，如果Y大于閾值，X就屬于類w1渔彰，如果小于閾值就屬于類w2嵌屎。這樣就得到了該X對應(yīng)的類別了推正。

條件概率分布P(Y|X)

你輸入一個X，它通過比較它屬于所有類的概率宝惰，然后輸出概率最大的那個作為該X對應(yīng)的類別舔稀。例如：如果P(w1|X)大于P(w2|X)，那么我們就認(rèn)為X是屬于w1類的掌测。

小結(jié)

兩個模型都可以實現(xiàn)對給定的輸入X預(yù)測相應(yīng)的輸出Y的功能。實際上通過條件概率分布P(Y|X)進(jìn)行預(yù)測也是隱含著表達(dá)成決策函數(shù)Y=f(X)的形式的产园。
而同樣汞斧，很神奇的一件事是，實際上決策函數(shù)Y=f(X)也是隱含著使用P(Y|X)的什燕。因為一般決策函數(shù)Y=f(X)是通過學(xué)習(xí)算法使你的預(yù)測和訓(xùn)練數(shù)據(jù)之間的誤差平方最小化粘勒，而貝葉斯告訴我們，雖然它沒有顯式的運用貝葉斯或者以某種形式計算概率屎即，但它實際上也是在隱含的輸出極大似然假設(shè)（MAP假設(shè)）庙睡。也就是說學(xué)習(xí)器的任務(wù)是在所有假設(shè)模型有相等的先驗概率條件下，輸出極大似然假設(shè)技俐。

生成方法和生成模型

生成模型：無窮樣本==》概率密度模型 = 產(chǎn)生模型==》預(yù)測

生成方法由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X,Y)乘陪，然后求出條件概率分布P(Y|X)=P(X,Y)/P(X)作為預(yù)測的模型。這樣的方法之所以成為生成方法雕擂，是因為模型表示了給定輸入X產(chǎn)生輸出Y的生成關(guān)系啡邑。用于隨機生成的觀察值建模，特別是在給定某些隱藏參數(shù)情況下井赌。典型的生成模型有：樸素貝葉斯法谤逼、馬爾科夫模型、高斯混合模型仇穗。這種方法一般建立在統(tǒng)計學(xué)和Bayes理論的基礎(chǔ)之上流部。

生成方法的特點

• 從統(tǒng)計的角度表示數(shù)據(jù)的分布情況，能夠反映同類數(shù)據(jù)本身的相似度;
• 生成方法還原出聯(lián)合概率分布纹坐，而判別方法不能枝冀；
• 生成方法的學(xué)習(xí)收斂速度更快、即當(dāng)樣本容量增加的時候恰画，學(xué)到的模型可以更快地收斂于真實模型宾茂；
• 當(dāng)存在隱變量時，扔可以用生成方法學(xué)習(xí)拴还，此時判別方法不能用

判別方法和判別模型

判別模型：有限樣本==》判別函數(shù) = 預(yù)測模型==》預(yù)測

判別方法由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(X)或者條件概率分布P(Y|X)作為預(yù)測的模型跨晴，即判別模型。判別方法關(guān)心的是對給定的輸入X片林，應(yīng)該預(yù)測什么樣的輸出Y端盆。典型的判別模型包括：k近鄰法怀骤、感知機、決策樹焕妙、邏輯斯蒂回歸模型蒋伦、最大熵模型、支持向量機焚鹊、boosting方法和條件隨機場等痕届。判別模型利用正負(fù)例和分類標(biāo)簽，關(guān)注在判別模型的邊緣分布末患。

判別方法的特點

• 判別方法尋找不同類別之間的最優(yōu)分類面研叫，反映的是異類數(shù)據(jù)之間的差異;
• 判別方法利用了訓(xùn)練數(shù)據(jù)的類別標(biāo)識信息，直接學(xué)習(xí)的是條件概率P(Y|X)或者決策函數(shù)f(X)璧针，直接面對預(yù)測嚷炉，往往學(xué)習(xí)的準(zhǔn)確率更高；
• 由于直接學(xué)習(xí)條件概率P(Y|X)或者決策函數(shù)f(X)探橱，可以對數(shù)據(jù)進(jìn)行各種程度上的抽象申屹、定義特征并使用特征，因此可以簡化學(xué)習(xí)問題隧膏。
• 缺點是不能反映訓(xùn)練數(shù)據(jù)本身的特性

判別模型和生成模型對比

（1）訓(xùn)練時哗讥，二者優(yōu)化準(zhǔn)則不同
生成模型優(yōu)化訓(xùn)練數(shù)據(jù)的聯(lián)合分布概率；
判別模型優(yōu)化訓(xùn)練數(shù)據(jù)的條件分布概率私植，判別模型與序列標(biāo)記問題有較好的對應(yīng)性忌栅。
（2）對于觀察序列的處理不同
生成模型中，觀察序列作為模型的一部分曲稼；
判別模型中索绪，觀察序列只作為條件，因此可以針對觀察序列設(shè)計靈活的特征贫悄。
（3）訓(xùn)練復(fù)雜度不同
判別模型訓(xùn)練復(fù)雜度較高瑞驱。
（4）是否支持無指導(dǎo)訓(xùn)練
生成模型支持無指導(dǎo)訓(xùn)練。
（5）本質(zhì)區(qū)別
discriminative model 估計的是條件概率分布(conditional distribution)p(class|context)
generative model 估計的是聯(lián)合概率分布（joint probability distribution）p()

另外窄坦，由生成模型可以得到判別模型唤反，但由判別模型得不到生成模型。

對于跟蹤算法

由于之前用Camshift方法做人臉的跟蹤鸭津，這里看到了有關(guān)跟蹤算法的說明彤侍，特此陳述一下。

跟蹤算法一般來說可以分為兩類：基于外觀模型的生成模型或者基于外觀模型的判別模型逆趋。
生成模型：一般是學(xué)習(xí)一個代表目標(biāo)的模型盏阶，然后通過它去搜索圖像區(qū)域，然后最小化重構(gòu)誤差闻书。類似于生成模型描述一個目標(biāo)名斟，然后就是模式匹配了脑慧，在圖像中找到和這個模型最匹配的區(qū)域，就是目標(biāo)了砰盐。
判別模型：將跟蹤問題看成一個二分類問題闷袒，然后找到目標(biāo)和背景的決策邊界。它不管目標(biāo)是怎么描述的岩梳，那只要知道目標(biāo)和背景的差別在哪囊骤，然后你給一個圖像，它看它處于邊界的那一邊冀值，就歸為哪一類淘捡。

參考資料

統(tǒng)計學(xué)習(xí)方法 李航著，清華大學(xué)出版社
CSDN博客 生成模型與判別模型

轉(zhuǎn)載請注明作者Jason Ding及其出處
Github主頁(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.reibang.com/users/2bd9b48f6ea8/latest_articles)