之前介紹過(guò)了一系列的簡(jiǎn)單線性區(qū)別學(xué)習(xí)算法（discriminative learning algorithm）搂蜓。而生成學(xué)習(xí)算法（generative learning algorithms）不同于此狼荞。前者是通過(guò)訓(xùn)練集訓(xùn)練后，根據(jù)輸入空間X帮碰，將樣本分為{0,1}兩類相味，分類依據(jù)在概率上表示為P(y|x)。而后者殉挽，則是通過(guò)P(x|y)和P(y)丰涉，進(jìn)而通過(guò)貝葉斯公式求得P(y|x)。就好比傳統(tǒng)的貓狗分類問(wèn)題斯碌，前者是在X空間上建立一個(gè)決策邊界一死，這樣，當(dāng)新的樣本進(jìn)來(lái)傻唾，可以直接根據(jù)這個(gè)點(diǎn)落在X輸入空間中的哪一邊來(lái)對(duì)其進(jìn)行分類投慈。而后者則是，首先根據(jù)訓(xùn)練樣本對(duì)貓和狗分別建立一個(gè)特征模型（即貓是什么樣的的冠骄，狗又是什么樣的）伪煤，建立二者的特征分布（x|y的分布），然后猴抹，當(dāng)新樣本進(jìn)來(lái)带族，就觀察它是更像貓還是更像狗。
生成學(xué)習(xí)算法主要有 ：
??????? 1. 高斯判別分析法
??????????????? 必須要基本滿足p(x|y)的分布近似于多維高斯分布蟀给，即y~Bernoulli(φ)蝙砌，x|y=0 ~ N(μ0阳堕，Σ)，x|y=0 ~ N(μ1择克，Σ)恬总，因此該數(shù)據(jù)的對(duì)數(shù)最大似然（就是最大化貝葉斯公公式的分子，即聯(lián)合概率分布）為
????????????????????????
????????????????? 根據(jù)訓(xùn)練集最大化似然估計(jì)肚邢，求得
??????????????????????????????? 最后的決策邊界以 P(y=1|x) = 0.5 為界壹堰。
???????? 2. 樸素貝葉斯
????????????????????? 按照文本分類，樸素貝葉斯方法也如上骡湖，根據(jù)貝葉斯公式來(lái)反向計(jì)算概率贱纠。與高斯判別分析法不同，樸素貝葉斯方法假設(shè)X空間向量的各維分量在y給定的條件下相互獨(dú)立（條件獨(dú)立于y）响蕴。這樣就有
???????????????????
?????????????????????? 它的似然函數(shù)仍然是貝葉斯公式的分子谆焊，也就是聯(lián)合分布似然，如下
?????????
?????????????????????? 最大化似然估計(jì)浦夷，得到三個(gè)參數(shù)的估計(jì)值如下：
????????????????????????????????????????
?????????????????????? 這樣可以求得判別函數(shù)：
??????????????????????????????????
? ? ? ? ? ? ? ? ? ? ? 由于在分類過(guò)程中辖试，文本中可能出現(xiàn)一個(gè)從未出現(xiàn)過(guò)的詞，導(dǎo)致P(xi|y=0)和P(xi|y=1)均為0劈狐，這樣就會(huì)導(dǎo)致p(y=1|x) = 0/0 罐孝，為了防止這種情況發(fā)生，會(huì)加上一個(gè)拉普拉斯平滑肥缔，即改變參數(shù)估計(jì)值如下：
????????????????????????
????????????????????????? 其中分子永遠(yuǎn)是+1莲兢，分母則是加上xi可能取值的所有種類的數(shù)目，此處xi只能取0和1辫继，故分母+2怒见。
? ? ? ???? 3. 文本分類事件模型
? ? ? ? ? ? ? ? ? ? ? ? 對(duì)樸素貝葉斯方法在文本分類中的應(yīng)用加以改進(jìn)俗慈，考慮每個(gè)詞出現(xiàn)的次數(shù)姑宽，這樣會(huì)得到文本分類事件模型。不同于樸素貝葉斯中的x是一個(gè)字典向量闺阱，此處的x是文本向量炮车。樸素貝葉斯中xi代表字典中每個(gè)詞在文本中出現(xiàn)與否（只能取0或者1），而文本分類事件模型中xi代表文本中每個(gè)詞在字典中的index（可取1到字典總長(zhǎng)度|V|）酣溃。因此瘦穆，樸素貝葉斯中的x長(zhǎng)度為字典長(zhǎng)度，而文本分類事件模型中的x長(zhǎng)度為文本長(zhǎng)度赊豌。
? ? ? ? ? ? ? ? ? ? ? ? 這樣文本分類事件模型的似然函數(shù)為
???????????????????????? 最大化似然函數(shù)得到估計(jì)值：
??????????????
???????????????????????????? 為防止冷啟動(dòng)情況扛或，加上拉普拉斯平滑：
?????????????????????????????
這就是幾種常見的生成學(xué)習(xí)算法。
巧合的是碘饼，當(dāng)p(x | y)的分布滿足指數(shù)族分布（上文的三種模型的分布均滿足指數(shù)族分布）時(shí)熙兔，均能將p(y=1 | x)的分布轉(zhuǎn)化為logistic回歸函數(shù)形式悲伶。因此，生成學(xué)習(xí)算法在本質(zhì)上住涉，往往與線性區(qū)別學(xué)習(xí)算法相吻合麸锉。
