介紹
監(jiān)督學(xué)習(xí)的任務(wù)就是學(xué)習(xí)一個(gè)模型（或者得到一個(gè)目標(biāo)函數(shù)）克懊，應(yīng)用這一模型，對給定的輸入預(yù)測相應(yīng)的輸出七蜘。這一模型的一般形式為一個(gè)決策函數(shù)Y=f(X)谭溉，或者條件概率分布P(Y|X)。
監(jiān)督學(xué)習(xí)方法又可以分為生成方法(generative approach)和判別方法(discriminative approach)橡卤。所學(xué)到的模型分別為生成模型(generative model)和判別模型(discriminative model)扮念。
生成方法和生成模型
生成模型：無窮樣本 -> 概率密度模型 -> 產(chǎn)生模型 -> 預(yù)測
生成方法由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X,Y)，然后求出條件概率分布P(Y|X)=P(X,Y)/P(X)作為預(yù)測的模型碧库。這樣的方法之所以成為生成方法柜与，是因?yàn)?b>模型表示了給定輸入X產(chǎn)生輸出Y的生成關(guān)系。用于隨機(jī)生成的觀察值建模嵌灰，特別是在給定某些隱藏參數(shù)情況下旅挤。典型的生成模型有：樸素貝葉斯法、馬爾科夫模型伞鲫、高斯混合模型。這種方法一般建立在統(tǒng)計(jì)學(xué)和Bayes理論的基礎(chǔ)之上签舞。
生成方法的特點(diǎn)
從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布情況秕脓，能夠反映同類數(shù)據(jù)本身的相似度;
生成方法還原出聯(lián)合概率分布，而判別方法不能儒搭；
生成方法的學(xué)習(xí)收斂速度更快吠架、即當(dāng)樣本容量增加的時(shí)候，學(xué)到的模型可以更快地收斂于真實(shí)模型搂鲫；
當(dāng)存在隱變量時(shí)傍药，扔可以用生成方法學(xué)習(xí)，此時(shí)判別方法不能用
判別方法和判別模型
判別模型：有限樣本 -> 判別函數(shù) -> 預(yù)測模型 -> 預(yù)測
判別方法由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(X)或者條件概率分布P(Y|X)作為預(yù)測的模型魂仍，即判別模型拐辽。判別方法關(guān)心的是對給定的輸入X，應(yīng)該預(yù)測什么樣的輸出Y擦酌。典型的判別模型包括：k近鄰法俱诸、感知機(jī)、決策樹赊舶、邏輯斯蒂回歸模型睁搭、最大熵模型赶诊、支持向量機(jī)、boosting方法和條件隨機(jī)場等园骆。判別模型利用正負(fù)例和分類標(biāo)簽舔痪，關(guān)注在判別模型的邊緣分布。
判別方法的特點(diǎn)
判別方法尋找不同類別之間的最優(yōu)分類面锌唾，反映的是異類數(shù)據(jù)之間的差異;
判別方法利用了訓(xùn)練數(shù)據(jù)的類別標(biāo)識(shí)信息锄码，直接學(xué)習(xí)的是條件概率P(Y|X)或者決策函數(shù)f(X)，直接面對預(yù)測鸠珠，往往學(xué)習(xí)的準(zhǔn)確率更高巍耗；
由于直接學(xué)習(xí)條件概率P(Y|X)或者決策函數(shù)f(X)，可以對數(shù)據(jù)進(jìn)行各種程度上的抽象渐排、定義特征并使用特征炬太，因此可以簡化學(xué)習(xí)問題。
缺點(diǎn)是不能反映訓(xùn)練數(shù)據(jù)本身的特性
判別模型和生成模型對比
（1）訓(xùn)練時(shí)驯耻，二者優(yōu)化準(zhǔn)則不同
????????生成模型優(yōu)化訓(xùn)練數(shù)據(jù)的聯(lián)合分布概率亲族；
????????判別模型優(yōu)化訓(xùn)練數(shù)據(jù)的條件分布概率，判別模型與序列標(biāo)記問題有較好的對應(yīng)性可缚。
（2）對于觀察序列的處理不同
????????生成模型中霎迫，觀察序列作為模型的一部分；
????????判別模型中帘靡，觀察序列只作為條件知给，因此可以針對觀察序列設(shè)計(jì)靈活的特征。
（3）訓(xùn)練復(fù)雜度不同
????????判別模型訓(xùn)練復(fù)雜度較高描姚。
（4）是否支持無指導(dǎo)訓(xùn)練
????????生成模型支持無指導(dǎo)訓(xùn)練涩赢。
（5）本質(zhì)區(qū)別
????????discriminative model 估計(jì)的是條件概率分布(conditional distribution)p(class|context)
????????generative model 估計(jì)的是聯(lián)合概率分布（joint probability distribution）p()
????????另外，由生成模型可以得到判別模型轩勘，但由判別模型得不到生成模型筒扒。
