題目:Named Entity Recognition and Relation Extraction
using Enhanced Table Filling by Contextualized Representations
摘要:本文提出了一種新的基于table表示的非結(jié)構(gòu)化文本命名實(shí)體和關(guān)系抽取方法宣决,通過(guò)使用上下文的詞嵌入寺滚,該方法無(wú)需復(fù)雜的手工特征或神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)就可以計(jì)算實(shí)體提及和長(zhǎng)距離依賴(lài)的表示鸿摇,我們還調(diào)整了一個(gè)張量點(diǎn)乘積來(lái)同時(shí)預(yù)測(cè)關(guān)系標(biāo)簽伤柄,而不求助于基于歷史的預(yù)測(cè)或搜索策略额湘。實(shí)驗(yàn)結(jié)果表明,該方法在conll04和ACE05數(shù)據(jù)集上的性能優(yōu)于現(xiàn)有的方法。我們還證實(shí),當(dāng)為上下文聚合提供多個(gè)句子時(shí)终议,所提出的方法與ACE05數(shù)據(jù)集上的最先進(jìn)的ne模型具有相當(dāng)?shù)男阅?br>
模型:
- 命名實(shí)體識(shí)別:
我們用BILOU(開(kāi)始、內(nèi)部、最后穴张、外部细燎、單位長(zhǎng)度)表示法來(lái)表示NE的間距。我們認(rèn)為NER是一個(gè)序列標(biāo)注任務(wù)皂甘,其中輸入中的每個(gè)單詞wi在BILOU表示法中都被標(biāo)記為yi玻驻。在本研究中,我們?cè)谝郧暗臅r(shí)間步驟中使用span特征來(lái)增強(qiáng)現(xiàn)有的體系結(jié)構(gòu)偿枕。
特別的击狮,模型預(yù)測(cè)詞wi的NE標(biāo)簽基于以下3個(gè)特征:1)wi的嵌入表示e(wi) 2)在前一時(shí)間步的標(biāo)簽y(i-1)的嵌入l(y(i-1)) 3)前面一個(gè)NE的bert嵌入的最大池化
實(shí)驗(yàn): - 數(shù)據(jù)集:CoNLL04、ACE05益老、CoNLL03
CoNLL04:4種實(shí)體類(lèi)型和5種關(guān)系類(lèi)型
ACE05:包括7種粗粒度實(shí)體類(lèi)型和6種粗粒度關(guān)系類(lèi)型
CoNLL03:包含4種不同的實(shí)體類(lèi)型,我們使用這個(gè)數(shù)據(jù)集來(lái)度量在文檔中使用跨句上下文的NER的性能 -
實(shí)驗(yàn)結(jié)果:
-
消融實(shí)驗(yàn):
-
多句N(xiāo)ER: