一、寫在前面的話
該論文針對(duì)細(xì)顆粒的命名實(shí)體類別分類,主要基于Ultra-Fine Entity Typing所提出的更多顆粒的數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)忠寻。該模型主要的創(chuàng)新在于針對(duì)有層次的實(shí)體類別使用雙曲嵌入的方式生成類別向量焊夸,使其具備層次信息。
二千扶、Named Entity Typing
細(xì)顆粒的命名實(shí)體類別分類本質(zhì)是一個(gè)多標(biāo)簽分類問題,在已知實(shí)體和實(shí)體所在的上下文的情況下對(duì)實(shí)體的類別進(jìn)行分類。
如上圖所示吨述,針對(duì)一個(gè)實(shí)體,會(huì)存在多個(gè)有層次的標(biāo)簽钞脂,例如有粗顆粒的person和較細(xì)顆粒的defendant揣云。
1. An Attentive Neural Architecture for Fine-grained Entity Type Classification
這是一篇較早的基于深度學(xué)習(xí)的細(xì)顆粒的命名實(shí)體類別分類,其整體結(jié)構(gòu)如下圖所示冰啃,模型整體分成兩部分邓夕,實(shí)體表示和實(shí)體所在的上下文表示。實(shí)體就是一個(gè)簡(jiǎn)單的嵌入模型(實(shí)體各個(gè)單詞詞向量的平均值)阎毅,上下文表示部分則是以實(shí)體為界限分成上文部分和下文部分焚刚,兩者結(jié)構(gòu)相同,使用BiLSTM+Attention的結(jié)構(gòu)對(duì)其進(jìn)行編碼再拼接成上下文表示(文中還提到了更簡(jiǎn)單的上下文表示方法扇调,不過當(dāng)然效果欠佳)矿咕。
最后由于是多標(biāo)簽,所以直接取所有的概率大于0.5的輸出。
2. Neural Architectures for Fine-grained Entity Type Classification
該論文的模型結(jié)構(gòu)基本上沿襲上一篇論文(在上一篇的模型結(jié)構(gòu)上引入了一些人工特征)碳柱,主要的創(chuàng)新在于使用了hierarchical label encoding的方法捡絮,即先對(duì)所有的標(biāo)簽使用one-hot生成向量,然后對(duì)有層次的標(biāo)簽進(jìn)行疊加莲镣,例如假設(shè)/person被表征為[1, 0, 0, 0, 0, ...]福稳、/artist被表征為[0, 1, 0, 0, 0, ...]、/actor被表征為[0, 0, 1, 0, 0, ...]瑞侮,又由于/person/artist/actor這樣的層次信息的圆,故/artist被表征為[1, 1, 0, 0, 0, ...]、/actor被表征為[1, 1, 1, 0, 0, ...]半火。使用如下的方法生成類別的低維表示作為最后分類層的參數(shù)略板,進(jìn)行分類。
3. Ultra-Fine Entity Typing
這一篇模型就不講了慈缔,整體結(jié)構(gòu)基本上還是老樣子叮称,分別生成實(shí)體向量和上下文向量再拼接,最后進(jìn)行多標(biāo)簽分類藐鹤。相比模型瓤檐,該論文通過遠(yuǎn)程監(jiān)督和實(shí)體鏈接方法生成了新的數(shù)據(jù)集,包含更多的實(shí)體類別:
同時(shí)挠蛉,作者對(duì)實(shí)體類別的顆粒級(jí)別進(jìn)行了分類,《Fine-Grained Entity Typing in Hyperbolic Space》中也針對(duì)這一點(diǎn)進(jìn)行了優(yōu)化:
三 肄满、Fine-Grained Entity Typing in Hyperbolic Space
1. 模型結(jié)構(gòu)
該模型首先整體結(jié)構(gòu)上創(chuàng)新不多谴古,論文本身也沒重點(diǎn)提這一塊的內(nèi)容(還是BiLSTM+Attention的套路)。主要的亮點(diǎn)在于對(duì)三種顆粒類型分層生成類型向量稠歉。例如對(duì)于coarse向量直接使用實(shí)體向量和上下文向量拼接后的向量進(jìn)行計(jì)算得到掰担,fine向量則是使用coarse向量和使用實(shí)體向量以及上下文向量拼接后的向量進(jìn)行計(jì)算,ultrafine向量則是把coarse向量換成fine向量怒炸。
2. 雙曲嵌入
關(guān)于雙曲嵌入可以參考 淺談機(jī)器學(xué)習(xí)中的表示學(xué)習(xí):從歐式空間到雙曲空間學(xué)習(xí)带饱,簡(jiǎn)單來說就是可以獲得層次信息的向量嵌入。通過這個(gè)方法獲得實(shí)體類別標(biāo)簽的嵌入后阅羹,另一個(gè)問題就是計(jì)算雙曲空間上的距離勺疼。論文為了對(duì)比模型生成的向量和雙曲嵌入獲得的標(biāo)簽向量直接的距離,先通過下式將生成的向量映射到雙曲空間(簡(jiǎn)單來說就是讓生成的向量通過網(wǎng)絡(luò)產(chǎn)生新的向量捏鱼,最后通過網(wǎng)絡(luò)學(xué)習(xí)怎么使用這個(gè)映射是讓生成的向量映射到雙曲空間):
最后計(jì)算兩個(gè)向量直接的距離执庐,其中是余弦距離(具體證明還是參考原論文):
四、實(shí)驗(yàn)結(jié)果
數(shù)據(jù)集:
由于不太熟悉這一領(lǐng)域轨淌,所以看論文的時(shí)候找了很多前置的資料和論文看迂烁,感覺是個(gè)蠻有意思的領(lǐng)域,一些關(guān)于實(shí)體和上下文之間的處理也值得學(xué)習(xí)猿诸。說到這篇論文婚被,模型結(jié)構(gòu)上大體沿襲之前的論文狡忙,但在引入雙曲嵌入和怎么有效地使用雙曲嵌入上文章投入了大量的筆墨梳虽,對(duì)于有層次信息的任務(wù)來說,嘗試引入雙曲空間都是一個(gè)不錯(cuò)的點(diǎn)灾茁,而這篇論文則是在這一方面提供了行之有效的方法窜觉。