典型代表:
生成式模型典型代表:樸素貝葉斯,隱馬爾可夫模型等
判別式模型典型代表:邏輯回歸,條件隨機(jī)場模型等
各自特點(diǎn):
生成式模型:由聯(lián)合概率 ------->求解類別先驗(yàn)概率和類別條件概率
判別式模型:條件概率分布------->參數(shù)的后驗(yàn)概率最大------->最大似然法
優(yōu)缺點(diǎn)對比:
生成式模型:
優(yōu)點(diǎn):
1/給出了聯(lián)合概率密度,蘊(yùn)含的信息更多
2/訓(xùn)練速度快
3/更加有利于含有隱藏變量的問題
缺點(diǎn):
1/雖然普適,但準(zhǔn)確率多數(shù)情況下不如判別式模型(原因之一為生成式模型條件依存關(guān)系比較復(fù)雜,而人們?yōu)榱吮阌谟?jì)算,則往往會簡化模型,比如樸素貝葉斯)
判別式模型:
優(yōu)點(diǎn):
1/多數(shù)情況下準(zhǔn)確率更高
2/可以抽取特征,因而更容易進(jìn)行一些特征的抽象處理,比如降維處理等
缺點(diǎn):
1/訓(xùn)練速度慢
在面對實(shí)際問題的時(shí)候是選擇判別式模型還是選擇生成式模型還是要根據(jù)數(shù)據(jù)的情況來看,兩者相比較的話,各自的優(yōu)缺點(diǎn)很難說清,可以設(shè)計(jì)一個A/B test來進(jìn)行比較.因?yàn)樗婕暗囊蛩乇容^多,所以也很難說清楚孰優(yōu)孰劣.
