對(duì)CRF的理解

定義:

條件場(chǎng)是隨機(jī)變量的集合馋贤,這些隨機(jī)變量根據(jù)概率分布被賦予相應(yīng)的值玛痊。

形象比喻:

假設(shè)你有一組關(guān)于 Justin Bieber的日常生活照(你可以想像成Bieber是個(gè)自拍狂究西,經(jīng)常在朋友圈曬自拍),你想標(biāo)注一下這些照片描繪的活動(dòng)場(chǎng)景(比如Bieber是在吃飯、參加舞會(huì)髓窜、開車征讲,還是在睡覺呢)据某,你會(huì)怎么做呢?

一種方法是不考慮照片的發(fā)生先后關(guān)系诗箍,通過svm癣籽、決策樹之類的分類方法,對(duì)每張照片單獨(dú)分類滤祖。比如筷狼,你有事先標(biāo)注的關(guān)于Bieber的一個(gè)月的日常生活照,你可以通過這些標(biāo)注集訓(xùn)練一個(gè)分類器匠童,通過這些標(biāo)注集合埂材,你可能得到一個(gè)這樣的分類器:拍攝于晚上6點(diǎn)之后光線很暗的照片是在睡覺,拍攝于晚上燈光閃爍的照片是在參加舞會(huì).....

通過上述方法雖然也能解決問題汤求,但是會(huì)丟失一些信息俏险,比如有一張照片是bieber嘴的一個(gè)特寫,你怎么判斷他是在吃法還是在唱歌呢首昔?如果你能知道寡喝,這張照片的前一張是關(guān)于Bieber在做飯的照片,那這張嘴的特寫照很可能就是在吃飯勒奇;反之预鬓,前一張照片是在參加舞會(huì),那這張?zhí)貙懢透赡苁窃诔琛?/p>

因此赊颠,為了提高照片標(biāo)注的準(zhǔn)確性格二,我們就需要參考相鄰照片的標(biāo)注,這就是序列標(biāo)注問題竣蹦,也是條件隨機(jī)場(chǎng)能大顯身手的場(chǎng)景顶猜。

Bi-LSTM+CRF應(yīng)用:

在進(jìn)行命名實(shí)體識(shí)別任務(wù)中,該模型有著很好的效果痘括。下圖為該模型的結(jié)構(gòu):
BiLSTM-CRF結(jié)構(gòu)

盡管不需要了解BiLSTM的實(shí)現(xiàn)細(xì)節(jié)长窄,但為了更好的理解CRF層滔吠,我們還是需要知道一下BiLSTM的輸出到底是什么意思。

image

BiLSTM層的輸入表示該單詞對(duì)應(yīng)各個(gè)類別的分?jǐn)?shù)挠日。如W0疮绷,BiLSTM節(jié)點(diǎn)的輸出是1.5 (B-Person), 0.9 (I-Person), 0.1 (B-Organization), 0.08 (I-Organization) and 0.05 (O)。這些分?jǐn)?shù)將會(huì)是CRF層的輸入嚣潜。

所有的經(jīng)BiLSTM層輸出的分?jǐn)?shù)將作為CRF層的輸入冬骚,類別序列中分?jǐn)?shù)最高的類別就是我們預(yù)測(cè)的最終結(jié)果。

即使沒有CRF層懂算,我們照樣可以訓(xùn)練一個(gè)基于BiLSTM的命名實(shí)體識(shí)別模型只冻,如下圖所示


無crf層.jpg

因?yàn)锽iLSTM模型的結(jié)果是單詞對(duì)應(yīng)各類別的分?jǐn)?shù),我們可以選擇分?jǐn)?shù)最高的類別作為預(yù)測(cè)結(jié)果计技。如W0喜德,“B-Person”的分?jǐn)?shù)最高(1.5),那么我們可以選定“B-Person”作為預(yù)測(cè)結(jié)果酸役。同樣的住诸,w1是“I-Person”, w2是“O”,w3是 “B-Organization” ,w4是 “O”涣澡。

但這樣的預(yù)測(cè)結(jié)果不一定總是正確的贱呐,這時(shí)CRF就起到作用了!CRF可以加入一些約束來保證最終預(yù)測(cè)結(jié)果時(shí)有效的入桂。這些約束可以在訓(xùn)練數(shù)據(jù)時(shí)被CRF層自動(dòng)學(xué)習(xí)到奄薇。

其優(yōu)點(diǎn)是為一個(gè)位置進(jìn)行標(biāo)注的過程中可以利用此前已經(jīng)標(biāo)注的信息,利用維特比解碼來得到最優(yōu)序列抗愁。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末馁蒂,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子蜘腌,更是在濱河造成了極大的恐慌沫屡,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,183評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件撮珠,死亡現(xiàn)場(chǎng)離奇詭異沮脖,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)芯急,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門勺届,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人娶耍,你說我怎么就攤上這事免姿。” “怎么了榕酒?”我有些...
    開封第一講書人閱讀 168,766評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵胚膊,是天一觀的道長(zhǎng)故俐。 經(jīng)常有香客問我,道長(zhǎng)紊婉,這世上最難降的妖魔是什么购披? 我笑而不...
    開封第一講書人閱讀 59,854評(píng)論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮肩榕,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘惩妇。我一直安慰自己株汉,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,871評(píng)論 6 398
  • 文/花漫 我一把揭開白布歌殃。 她就那樣靜靜地躺著乔妈,像睡著了一般。 火紅的嫁衣襯著肌膚如雪氓皱。 梳的紋絲不亂的頭發(fā)上路召,一...
    開封第一講書人閱讀 52,457評(píng)論 1 311
  • 那天,我揣著相機(jī)與錄音波材,去河邊找鬼股淡。 笑死,一個(gè)胖子當(dāng)著我的面吹牛廷区,可吹牛的內(nèi)容都是我干的唯灵。 我是一名探鬼主播,決...
    沈念sama閱讀 40,999評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼隙轻,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼埠帕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起玖绿,我...
    開封第一講書人閱讀 39,914評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤敛瓷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后斑匪,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體呐籽,經(jīng)...
    沈念sama閱讀 46,465評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,543評(píng)論 3 342
  • 正文 我和宋清朗相戀三年秤标,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了绝淡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,675評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡苍姜,死狀恐怖牢酵,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情衙猪,我是刑警寧澤馍乙,帶...
    沈念sama閱讀 36,354評(píng)論 5 351
  • 正文 年R本政府宣布布近,位于F島的核電站,受9級(jí)特大地震影響丝格,放射性物質(zhì)發(fā)生泄漏撑瞧。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,029評(píng)論 3 335
  • 文/蒙蒙 一显蝌、第九天 我趴在偏房一處隱蔽的房頂上張望预伺。 院中可真熱鬧,春花似錦曼尊、人聲如沸酬诀。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)瞒御。三九已至,卻和暖如春神郊,著一層夾襖步出監(jiān)牢的瞬間肴裙,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工涌乳, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蜻懦,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,091評(píng)論 3 378
  • 正文 我出身青樓夕晓,卻偏偏與公主長(zhǎng)得像阻肩,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子运授,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,685評(píng)論 2 360

推薦閱讀更多精彩內(nèi)容