每條數(shù)據(jù)包含有若干個(gè)特征xi可霎，模型需要計(jì)算數(shù)據(jù)屬于y個(gè)類別的概率科乎，然后取最大概率對(duì)應(yīng)類別y作為該數(shù)據(jù)的歸屬類別割卖。
假設(shè)前酿，全體數(shù)據(jù)中包含有N個(gè)特征可用于分類，每個(gè)特征對(duì)于決定將數(shù)據(jù)分為哪類的貢獻(xiàn)不同鹏溯。舉例來說罢维，在分詞場(chǎng)景中，"中華民族偉大復(fù)興"中的“華”字具有3個(gè)特征“中華”丙挽、“華”肺孵、“華民”匀借，其中：
（1）特征“中華”對(duì)于將“華”分屬于各類的概率有：S=0.001, B=0.001, E=0.13, M=0.85
（2）特征“華”對(duì)于將“華”分屬于各類的概率有：S=0.001, B=0.13, E=0.25, M=0.65
（3）特征“華民”對(duì)于將“華”分屬于各類的概率有：S=0.000, B=0.00, E=0.005, M=0.995
而“華”字所不具有的其余N-3個(gè)特征不會(huì)對(duì)將“華”字分為哪類產(chǎn)生影響。
最大熵模型主要是對(duì)P(Y|X)建模平窘，因?yàn)閄=(x1,x2,...,xn)吓肋，Y=(y1,y2,...,ym)，給定任意的X初婆，可以根據(jù)其包含的特征對(duì)(xi,yj)計(jì)算出X歸屬于各個(gè)類別Y的概率蓬坡，其本質(zhì)是一個(gè)概率模型，遵從樸素貝葉斯公式：
給定一個(gè)特征x磅叛，它從屬與y類的條件概率：P(y|x) = (P(x|y) * P(y)) / P(x)屑咳，所以，給定一個(gè)組特征X={x1,x2,...,xn}弊琴，它從屬于y類的條件概率：
P(y|X) = P(y|x1,x2,...,xn) = (P(X|y) * P(y)) / P(X) = (P(x1,x2,...,xn|y) * P(y)) / P(x1,x2,...,xn)兆龙，
又因?yàn)樘卣鞯莫?dú)立分布假設(shè)，有：
P(x1,x2,...,xn|y) = P(x1|y)P(x2|y)...* P(xn|y)敲董，
P(x1,x2,...,xn) = P(x1)P(x2)...P(xn)紫皇，
因此：
P(y|X) = (P(x1|y)P(x2|y)... P(xn|y) * P(y)) / (P(x1)P(x2)...*P(xn))，
所以腋寨，未知全部轉(zhuǎn)化為已知聪铺，可以求解。
值得注意的是萄窜，在P(y|X)公式中铃剔，P(xi|y)最為關(guān)鍵，它的值為樣本空間中(xi,y)的數(shù)目除以y的特征總數(shù)目查刻。
在最大熵模型中键兜，使用特征函數(shù)fi()唯一標(biāo)識(shí)一個(gè)特征對(duì)(xi,y)，通過給特征函數(shù)賦予不同的權(quán)值wi穗泵，決定了特征對(duì)(xi,y)對(duì)將數(shù)據(jù)分類為y的貢獻(xiàn)大小普气。
對(duì)于本例，計(jì)算“華”字的分類佃延，即為計(jì)算在三個(gè)特征下的條件概率：p(y|X) = p(y|X={華”现诀、“華”、“華民”})履肃，而各個(gè)特征間是相互獨(dú)立的赶盔，
最大熵模型中的f(x,y)中的x是單獨(dú)的一個(gè)特征，不是一個(gè)n維特征向量榆浓。訓(xùn)練過程中，認(rèn)為訓(xùn)練樣本中出現(xiàn)過的特征對(duì)(x,y)其f(x,y)=1撕攒，未出現(xiàn)的特征對(duì)(x,y)其f(x,y)=0陡鹃。
可以看出烘浦，f(x,y)實(shí)際上表達(dá)了一種先驗(yàn)知識(shí)，標(biāo)識(shí)著訓(xùn)練樣本中某特征是否存在萍鲸，不存在的特征因?yàn)槠鋐(x,y)為0闷叉，這些特征在后續(xù)的概率分布期望計(jì)算過程中被忽略，不參與模型的訓(xùn)練脊阴，以滿足模型的熵最大握侧。
計(jì)算模型期望需要首先求p(y|X)，這個(gè)條件概率可以通過簡(jiǎn)單地將所有(x,y)符合的fi(x,y)和對(duì)應(yīng)的參數(shù)lambda_i乘起來后相加嘿期。
歸一化因子是各個(gè)輸出標(biāo)簽y的p(y|x)的總和品擎。在求得p(y|X)后，要求E_q(f_i)备徐，只需要枚舉所有符合f_i的(x,y)對(duì)應(yīng)的p(y|x)萄传，乘以x出現(xiàn)的次數(shù)再除以N就可以。
