上一篇介紹了基本的ner任務(wù)勒葱，這篇繼續(xù)介紹下CRF浪汪，最后使用Bert實現(xiàn)Ner任務(wù)。
1凛虽，CRF
????我們先看兩張簡圖死遭。
????圖一是Bilstm也就是上一篇介紹的模型，圖二就是BiLstm+CRF凯旋。對比兩圖不難發(fā)現(xiàn)呀潭，圖二在標(biāo)簽之間也存在著路徑連接，這便是CRF層至非。這里CRF的作用就是對各標(biāo)簽的之間的轉(zhuǎn)移概率進(jìn)行建模钠署，然后在所有的標(biāo)簽序列中，選取一條最優(yōu)結(jié)果(在概率圖中叫最優(yōu)路徑)荒椭，例如谐鼎，詞性標(biāo)注任務(wù)中，形容詞后面接名詞的概率比較大趣惠，所以模型更傾向于在形容詞后面選著一個名詞狸棍。
????而 BiLstm+CRF 網(wǎng)絡(luò) 就是將Bilstm的輸出，也就是每個單詞對應(yīng)標(biāo)簽的值(注意BiLstm的輸出建議不要使用sigmoid味悄、tanh或softmax做轉(zhuǎn)換)輸入到CRF中草戈。在CRF內(nèi)部，首先會隨機初始化一個[tag_size,tag_size]的矩陣A侍瑟，tag_size就是標(biāo)簽的個數(shù)唐片，所以Aij就代表標(biāo)簽i到標(biāo)簽j的轉(zhuǎn)移概率。這個矩陣最后通過學(xué)習(xí)得到涨颜。
????有了這個矩陣我們就可以對一個標(biāo)簽序列計算一個分值费韭。
這里X就是我們觀測到的語句，例如:劉媛被清華大學(xué)錄取咐低。y就是X的標(biāo)簽序列揽思。T代表我們句子的長度袜腥，就代表t-1時刻的標(biāo)簽轉(zhuǎn)移到t時刻標(biāo)簽的值见擦，從標(biāo)簽轉(zhuǎn)移矩陣A中獲得钉汗，
就是t時刻BiLstm的輸出值。so,就是這么簡單鲤屡，一個標(biāo)簽序列的分?jǐn)?shù)损痰，只需簡單的加法就可以得到。但是注意這里
是一個分值酒来，并不是一個概率值卢未。需要用下面的公式將分值轉(zhuǎn)換成概率。
這里 就是當(dāng)前語句
對應(yīng)的所有標(biāo)簽序列
的
之和堰汉。假設(shè)
包含10個單詞辽社，任務(wù)有3個標(biāo)簽，
種標(biāo)簽序列翘鸭。
接下來看下如何訓(xùn)練滴铅，對于語句都有答案序列
，我們求出答案序列y的得分就乓，使用softmax得到其概率汉匙，最后使用最大似然估計來求解，也就是最小化下面的損失函數(shù)：
簡化下公式：
這里就是答案標(biāo)簽序列
對應(yīng)的分值生蚁，這個很容易計算噩翠，麻煩的是
如何計算。其實這里不用太擔(dān)心邦投，因為我們只要求出了
時刻的所有序列的值伤锚，就可以求出
時刻所有序列的值。
下面是簡單說明下：
假設(shè)我們的只有兩個單詞尼摹，所以
可以拆解成
我們用和
來分別代表
所以
而
帶入原式就得到
而s1時刻所有序列的值正是
所以對于求见芹，我們只需將每一時刻的序列總值求出即可。
上面就是在Bidirectional LSTM-CRF Models for Sequence Tagging這篇paper中提到的CRF方法蠢涝，但這并不是CRF的全部玄呛，想要全面的了解CRF需要概率圖模型的知識，這個后期會在做個詳細(xì)的介紹和二。
2,代碼篇
在tensorflow中使用CRF是很方便的一件事徘铝，因為tensorflow已經(jīng)全部封裝好了，一個方法即可調(diào)用惯吕。
log_likelihood, trans = tf.contrib.crf.crf_log_likelihood(
inputs=logits, # logits 就是Bilstm的輸出惕它，每個token對應(yīng)的標(biāo)簽值，[batch_size,seq_len,tag_num]
tag_indices=self.labels,# 每個token對應(yīng)的真實標(biāo)簽
sequence_lengths=self.lengths)# 每個樣本的句子長度
方法返回的log_likelihood就是對應(yīng)的loss值废登，trans 就是標(biāo)簽的轉(zhuǎn)移矩陣淹魄。
建立train_op的時候，注意梯度下降的時候需要tf.reduce_mean(-log_likelihood)
train_op = tf.train.AdamOptimizer(learning_rate).minimize(tf.reduce_mean(-log_likelihood))
預(yù)測階段
預(yù)測的時候就是在所有的標(biāo)簽序列中堡距，找出分值最大的那個甲锡。這里要用到Viterbi算法兆蕉，tensorflow同樣也做好了封裝。
decode_tags, best_score= tf.contrib.crf.crf_decode(potentials=logits, transition_params=trans, sequence_length=self.lengths)
輸入：
logits : 就是Bilstm的輸出缤沦，也就是每個詞對于每個標(biāo)簽的分?jǐn)?shù)虎韵。
transition_params : CRF訓(xùn)練出的標(biāo)簽轉(zhuǎn)移概率矩陣。
sequence_length：預(yù)測樣本的句子長度缸废。
返回：
decode_tags:預(yù)測的最優(yōu)標(biāo)簽序列包蓝。
best_score：預(yù)測的最優(yōu)標(biāo)簽序列對應(yīng)的分值。
3 Bert-Bilstm-CRF
在BERT使用詳解(實戰(zhàn))介紹了Bert的使用方法企量，可以去看下测萎。對于Bert-Bilstm-CRF 其實可以把Bert的輸出看做是詞向量，所以只需把原來詞向量的部分用bert替換即可届巩。
源碼已經(jīng)提交至GIT
