CRF（條件隨機場）
構建步驟
為了建一個條件隨機場歹篓，我們首先要定義一個特征函數(shù)集，每個特征函數(shù)都以整個句子s逸爵，當前位置i券册，位置i和i-1的標簽為輸入频轿。然后為每一個特征函數(shù)賦予一個權重，然后針對每一個標注序列l(wèi)烁焙，對所有的特征函數(shù)加權求和，必要的話耕赘，可以把求和的值轉化為一個概率值骄蝇。
用詞性標注問題解釋CRF
給定一個句子s，比如：“我在公園看到一只貓”操骡，正常標注詞性的結果如下：
- “我”：名詞
- “在”：介詞
- “公園”：名詞
- “看到”：動詞
- “一只貓”：名詞短語
在CRF問題中九火，將（名詞、介詞册招、名詞岔激、動詞、名詞）當成一個可能的序列Z1是掰，其他可能的標注序列也存在（無關乎標注的序列正確與否）虑鼎。CRF就可以解決如何在眾多可能的序列中找出正確概率最大的一個。
定義特征函數(shù)f
特征函數(shù)接受四個參數(shù)：
- 句子：s
- W_i：表示句子中第i個單詞
- Li：表示第i個單詞要標注的詞性
- Li-1：表示第i-1個單詞要標注的詞性
可以理解為第i-1個單詞在特征函數(shù)的作用下對第i個單詞產(chǎn)生的影響键痛，也叫特征值
利用特征函數(shù)集做評分
有了特征函數(shù)的集合之后炫彩，需要給每一個特征函數(shù)賦予一個權重：w_i
。則綜合評分的函數(shù)表達式如下所示：
對上述公式的解釋：
- Z_k：表示一條可能的標注序列
- 外層的求和符號表示多個特征函數(shù)求和的評分結果
- 內(nèi)層求和符號表示句子中每個單詞在不同的特征函數(shù)作用下的特征值
由于每一個句子有很多可能的詞性標注絮短，特征函數(shù)集對每一個可能的詞性標注序列都可以得到一個綜合特征值江兢，對整個綜合特征值做softmax處理，即可得到每一個詞性標注的概率丁频。
softmax：
- l_i：表示一個可能的標注序列
HMM和CRF
HMM(隱馬爾可夫模型)是CRF的一個特例杉允。
在隱馬模型的鏈式法則中，求一個標注序列的概率公式如下：
對上述公式的說明：
- p(Li|Li-1)：表示轉移概率席里，在詞性為Li-1的基礎下出現(xiàn)詞性Li的概率
- p(W_i|L_i): 表示發(fā)射概率叔磷，在詞性為L_i的基礎下，單詞是W_i的概率
對HMM的概率公式取對數(shù):
可以發(fā)現(xiàn)胁勺，HMM取對數(shù)之后的概率公式和CRF的特征集的綜合評分函數(shù)具有相同的形式世澜。
去掉發(fā)射概率，因為此時只關注詞性標注序列
HMM等價于只有一個特征函數(shù)的CRF署穗。
CRF相對HMM具有以下優(yōu)點
- CRF可以定義數(shù)量更多寥裂，種類更豐富的特征函數(shù)嵌洼。HMM模型具有天然具有局部性，就是說封恰，在HMM模型中麻养，當前的單詞只依賴于當前的標簽，當前的標簽只依賴于前一個標簽诺舔。這樣的局部性限制了HMM只能定義相應類型的特征函數(shù)鳖昌，我們在上面也看到了。但是CRF卻可以著眼于整個句子s定義更具有全局性的特征函數(shù)
CRF可以使用任意的權重 將對數(shù)HMM模型看做CRF時低飒，特征函數(shù)的權重由于是log形式的概率许昨，所以都是小于等于0的，而且概率還要滿足相應的限制褥赊，但在CRF中糕档，每個特征函數(shù)的權重可以是任意值，沒有這些限制拌喉。
原文鏈接：[輕松理解條件隨機場（CRF）]
https://www.imooc.com/article/27795
