監(jiān)督學(xué)習(xí)可分為生成方法和判別方法症汹，所學(xué)到的模型為生成模型（generative model）和判別模型（discriminative model）
1 生成模型
1.1 定義
由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率密度分布P(X,Y)招狸，然后求出條件概率分布P(Y|X)作為預(yù)測的模型
e.g. 假設(shè)給定動(dòng)物的若干個(gè)特征屬性，我們希望通過這些特征學(xué)習(xí)給定的一個(gè)“個(gè)體”到底是屬于“大象”（y=1）還是“狗”（y=0）岔乔。我們首先觀察“大象”群體，我們可以根據(jù)“大象”群體特征建立模型，然后再觀察“狗”群體特征匕垫，然后再建立“狗”的模型。當(dāng)給定新的未知個(gè)體時(shí)虐呻，我們將該個(gè)體分別于“大象”群體和“狗”群體模型進(jìn)行比較象泵，看這個(gè)個(gè)體更符合哪個(gè)群體模型的特征
1.2 典型模型
樸素貝葉斯寞秃、隱馬爾科夫模型（HMM）等
1.3 優(yōu)點(diǎn)和缺點(diǎn)
優(yōu)點(diǎn)：
- 可以算出聯(lián)合概率分布分布P(X,Y)，從而計(jì)算出條件概率
- 收斂速度比較快偶惠，即當(dāng)樣本數(shù)量較多時(shí)春寿，生成模型能更快地收斂于真實(shí)模型
- 能夠應(yīng)付存在隱變量的情況，比如混合高斯模型
缺點(diǎn)：
- 需要更多的樣本和更多計(jì)算
- 實(shí)踐中多數(shù)情況下判別模型效果更好
2 判別模型
2.1 定義
由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù) Y=f(X) 或者條件概率分布 P(Y|X) 作為預(yù)測的模型忽孽“蟾模基本思想是有限樣本條件下建立判別函數(shù)，不考慮樣本的產(chǎn)生模型扒腕，直接研究預(yù)測模型
e.g. 假設(shè)給定動(dòng)物的若干個(gè)特征屬性绢淀，我們希望通過這些特征學(xué)習(xí)給定的一個(gè)“個(gè)體”到底是屬于“大象”（y=1）還是“狗”（y=0）。如果采用判別模型的思路瘾腰，如邏輯回歸皆的，我們會(huì)根據(jù)訓(xùn)練樣本數(shù)據(jù)學(xué)習(xí)類別分界面，然后對于給定的新樣本數(shù)據(jù)蹋盆，我們會(huì)判斷數(shù)據(jù)落在分界面的哪一側(cè)從而來判斷數(shù)據(jù)究竟是屬于“大象”還是屬于“狗”费薄。在這個(gè)過程中，我們并不會(huì)關(guān)心栖雾，究竟“大象”這個(gè)群體有什么特征楞抡，“狗”這個(gè)群體究竟有什么特征
2.2 典型模型
KNN、感知機(jī)析藕、決策樹召廷、邏輯回歸、最大熵账胧、SVM竞慢、AdaBoost和條件隨機(jī)場等
2.3 優(yōu)點(diǎn)和缺點(diǎn)
優(yōu)點(diǎn)：
- 由于直接學(xué)習(xí)P(Y|X)或f(X)，可以對數(shù)據(jù)進(jìn)行各種程度上的抽象治泥、定義特征并使用特征筹煮，因此可以簡化學(xué)習(xí)問題。即節(jié)省計(jì)算資源居夹，需要的樣本數(shù)量少于生成模型
- 直接面對預(yù)測败潦，準(zhǔn)確率往往較生成模型高
- 反映的是異類數(shù)據(jù)之間的差異
缺點(diǎn)：
- 收斂速度較慢
- 無法應(yīng)付存在隱變量的情況
- 不能反映訓(xùn)練數(shù)據(jù)本身的特性
Reference
https://baike.baidu.com/item/%E5%88%A4%E5%88%AB%E6%A8%A1%E5%9E%8B/16224017?fr=aladdin
https://blog.csdn.net/zouxy09/article/details/8195017
https://blog.csdn.net/weixin_39910711/article/details/89483662
https://blog.csdn.net/Scythe666/article/details/80063694
