ACL2020 文檔級關(guān)系抽取論文
作者構(gòu)造了一個動態(tài)的潛在結(jié)構(gòu)優(yōu)化策略來捕獲非局部上下文信息，從而提取文檔級關(guān)系。他們提出的模型通過自動歸納潛在的文檔層次圖來支持跨句子的關(guān)系推理排惨。不同于以往的靜態(tài)結(jié)構(gòu)，該方法將文檔層次圖當(dāng)作一種變量并通過end-to-end的方式推理得出胚膊。
模型由三個模塊組成 ：
-
節(jié)點構(gòu)造器
對輸入文檔的每個單詞進行編碼（BERT或者Glove或者Bi-LSTM）得到每個單詞的向量表示。然后通過spaCy對文檔中的每個句子生成最短依存路徑想鹰，在路徑上的節(jié)點作為模型的輸入紊婉。其中不同的節(jié)點作者做了三種區(qū)分，entity node辑舷、mention node和MDP node喻犁。其中entity node是聚合了與之相關(guān)的mention node的表達。
-
動態(tài)推理器
作者設(shè)計了一種動態(tài)結(jié)構(gòu)推理方法何缓，通過神經(jīng)網(wǎng)絡(luò)生成非靜態(tài)的結(jié)構(gòu)表達肢础，作為GCN的輸入。
首先對于節(jié)點與節(jié)點
的表達
進行兩層神經(jīng)網(wǎng)絡(luò)的計算得出其
:
對于根節(jié)點碌廓，隨后生成矩陣
首lapulas矩陣的啟發(fā)传轰，將轉(zhuǎn)化為
的形式
替換其中的根節(jié)點得到
最后得到帶權(quán)鄰接矩陣
將作為GCN輸入可以得到其表達為
- 分類器
采用雙向線性函數(shù) 計算每個關(guān)系類別的概率：
這里與
表示實體
與實體
的表達（通過上述步驟計算得出）
總結(jié)
作者采用最短依存樹的方式構(gòu)建了新的輸入圖結(jié)構(gòu)，并基于神經(jīng)網(wǎng)絡(luò)提出了動態(tài)圖結(jié)構(gòu)谷婆，相比于同樣是動態(tài)圖結(jié)構(gòu)的AGGCN模型路召，作者在這篇文章中提出推導(dǎo)的方法更加優(yōu)異。
可參考寫作
Unlike previous work that only ... , we ...
和以往的算法對比波材，寫我們方法的優(yōu)點時可用
Eg Unlike previous work (Liu and Lapata, 2018) that only induces the latent structure once, we repeatedly refine the document-level graph based on the updated representations, allowing the model to infer a more informative structure that goes beyond simple parent-child relations.
We follow ... to ...
Following .... , we
在follow某些工作的時候可以用
Eg We follow (Christopoulou et al., 2019) to split training set of GDA into an 80/20 split for training and development.
... depict the comparisons with ... on ...
描述實驗結(jié)果的時候，除了demostrate,verify,describe,indicate,show以外也可以用該句式
Eg Table 3 depicts the comparisons with state-of- the-art models on the CDR dataset.
Intuitively 直觀的說
Eg: Intuitively, the reasoner induces a shallow structure at early iterations since the information propagates mostly between neighboring nodes.
連接詞
