pytorch： https://pytorch.org/tutorials/
Bi-LSTM+CRF： https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html
Bi-LSTM結(jié)構(gòu)（序列標(biāo)注）如下，CRF層用來(lái)學(xué)習(xí)一個(gè)最優(yōu)路徑瘪贱，Bi-LSTM layer的輸出維度是tag size蠢沿，這就相當(dāng)于是每個(gè)詞映射到tag的發(fā)射概率账蓉，
假設(shè)：
Bi-LSTM的輸出矩陣為P掰伸，其中代表詞
映射到
的非歸一化概率。
轉(zhuǎn)移矩陣 汞窗，
代表
轉(zhuǎn)移到
的轉(zhuǎn)移概率趾撵。
輸入序列X對(duì)應(yīng)的輸出序列為
，定義得分為：
對(duì)于輸入施籍，有多種輸出序列
居扒，對(duì)這些結(jié)果，使用
歸一化丑慎。
其中表示所有可能情況的序列
優(yōu)化對(duì)數(shù)似然函數(shù)
image.png
