主要區(qū)別在于：要不要生成聯(lián)合分布P(C_k,x)！Ｏ呓拧赐稽！
其中，C_k是類別浑侥，x是數(shù)據(jù)姊舵。
判別模型
- 直接估計(jì)后驗(yàn)概率 P(C_k|x) ，不同估計(jì), 參數(shù)少寓落。
- 效果好括丁。當(dāng)真實(shí)分布和假設(shè)的分布差異很大的時候，直接估計(jì)后驗(yàn)概率效果更好伶选。
- 節(jié)省計(jì)算資源史飞，另外，需要的樣本數(shù)量也少于生成模型仰税。
- 允許我們對輸入進(jìn)行抽象（比如降維构资、構(gòu)造等），從而能夠簡化學(xué)習(xí)問題陨簇。
生成模型
- 收斂速度差異吐绵。It has been shown empirically that for certain generative-discriminative model pairs, such as Naive Bayes versus logistic regression, generative models can achieve faster convergence on discriminative tasks with fewer points, but discriminative models achieve better convergence with more points.
(即，數(shù)據(jù)少河绽，生成模型收斂更快己单；數(shù)據(jù)很多，判別模型收斂更快葵姥。) - 生成模型能夠應(yīng)付存在隱變量的情況荷鼠，比如混合高斯模型就是含有隱變量的生成方法。
- 生成聯(lián)合分布P(C_k,x), 聯(lián)合分布能提供更多信息榔幸。但也需要更多的樣本和更多計(jì)算資源允乐。
思考
k近鄰法矮嫉、感知機(jī)、邏輯斯諦回歸模型牍疏、最大熵模型蠢笋、支持向量機(jī)、隱馬爾可夫模型鳞陨、Boosting昨寞、決策樹、條件隨機(jī)場是什么模型厦滤？
歡迎補(bǔ)充援岩。謝謝！
Reference
[1] Li Deng, Navdeep Jaitly. Deep Discriminative and Generative Models for pattern recognition . https://www.microsoft.com/en-us/research/wp-content/uploads/2016/04/DengJaitly2015-ch1-2.pdf
Andrew Y. Ng, Michael I. Jordan. On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes. NIPS 2002. http://ai.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf
