引用信息：Yan H, Gui L, Pergola G, et al. Position bias mitigation: A knowledge-aware graph model for emotion cause extraction[J]. arXiv preprint arXiv:2106.03518, 2021.
論文地址：https://export.arxiv.org/pdf/2106.03518.pdf
已發(fā)表：ACL2021
背景
情緒原因提茸刹臁（ECE）任務(wù)旨在識別包含文本中表達的特定情緒的情緒喚起信息的從句攀甚。
在數(shù)據(jù)集上訓(xùn)練的情感提取模型在給定一個情感從句時，被用來分類一個從句是否為對應(yīng)的原因從句蒋院。
ECE數(shù)據(jù)集顯示出一種傾向桃焕，即大多數(shù)注釋的原因從句要么直接在其相關(guān)的情感從句之前剑肯，要么是情感從句本身。現(xiàn)有的ECE模型傾向于探索這種相對位置信息观堂，并受到數(shù)據(jù)集偏差的影響让网。
問題與解決辦法
ECE數(shù)據(jù)集通常是通過使用情緒詞作為查詢來檢索相關(guān)上下文作為情緒原因注釋的候選者來構(gòu)建的，這可能會導(dǎo)致強烈的位置偏差（Ding和Kejriwal师痕，2020）溃睹。圖1描述了ECE數(shù)據(jù)集中原因從句相對于情緒從句的位置分布（Gui et al.，2016）胰坟。
我們認為因篇，使用子句相對位置的模型本質(zhì)上會受到數(shù)據(jù)集偏見的影響，因此笔横，當原因子句與情感子句不接近時竞滓，可能無法很好地推廣到看不見的數(shù)據(jù)。例如吹缔，在最近發(fā)布的情緒原因數(shù)據(jù)集中商佑，只有25-27%的原因從句位于情緒從句之前（Poria et al.，2020）厢塘。
為了研究現(xiàn)有ECE模型對從句相對位置的依賴程度茶没，我們提出了一種新的策略來生成對抗性例子，其中相對位置信息不再是原因從句的指示特征俗冻。我們在這種對抗性示例上測試了現(xiàn)有模型的性能礁叔，并觀察到性能顯著下降。
為了緩解位置偏差問題迄薄，我們建議利用常識知識（commonsense knowledge）來增強候選子句和情感子句之間的語義依賴性琅关。更具體地說，我們構(gòu)建了一個子句圖，其節(jié)點特征由子句表示初始化涣易，并具有兩種類型的邊画机，即序列邊（SEdge）和知識邊（K-Edge）。S-Edge鏈接兩個連續(xù)的子句以捕獲子句鄰域信息新症，而K-Edge則將候選子句與情感子句鏈接步氏，如果它們之間存在從概念網(wǎng)提取的知識路徑（Speer et al.，2017）徒爹。我們擴展了關(guān)系GCN（Schlichtkrull et al.荚醒，2018），通過收集兩種類型的邊中編碼的信息來更新圖節(jié)點隆嗅。
最新相關(guān)工作
一種常見的策略是將子句相對位置嵌入與候選子句表示連接起來（Ding等人界阁，2019；Xia等人胖喳，2019年泡躯；Li等人，2019）丽焊。
Zixiang Ding, Huihui He, Mengran Zhang, and Rui Xia. 2019. From independent prediction to reordered prediction: Integrating relative position and global label information to emotion cause identification. In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, pages 6343–6350.
動態(tài)全局標簽增強的相對位置（PAE-DGL）（Ding et al.较剃，2019）根據(jù)從句與目標情感從句的距離對從句進行重新排序，并將周圍從句的信息傳播給其他從句技健。
Zixiang Ding, Huihui He, Mengran Zhang, and Rui Xia. 2019. From independent prediction to reordered prediction: Integrating relative position and global label information to emotion cause identification. In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, pages 6343–6350.
Xu等人（2019）使用情緒依賴和獨立特征對從句進行排序并確定原因写穴。RNN轉(zhuǎn)換器層次網(wǎng)絡(luò)（RTHN）（Xia et al.，2019）認為文檔中的子句之間存在關(guān)系凫乖，并建議同時對多個子句進行分類确垫。
B. Xu, H. Lin, Y. Lin, Y. Diao, L. Yang, and K. Xu. 2019. Extracting emotion causes using learning to rank methods from an information retrieval perspective. IEEE Access, 7:15573–15583.
Li等人（2019）提出了一種基于多注意力的神經(jīng)網(wǎng)絡(luò)（MANN）來對候選從句和情感從句之間的相互作用進行建模弓颈。
Xiangju Li, Shi Feng, Daling Wang, and Yifei Zhang. 2019. Context-aware emotion cause analysis with multi-attention-based neural network. KnowledgeBased Systems, 174:205 – 218.
整體架構(gòu)
如圖 2 所示帽芽，我們的模型中有四個組件：文檔編碼模塊、上下文感知路徑表示學(xué)習(xí)模塊翔冀、基于 GCN 的圖形表示更新模塊导街，最后是用于原因子句分類的 softmax 層。
為了探索候選子句與情感子句之間的因果關(guān)系纤子，我們建議提取將候選子句中的詞與情感子句中帶注釋的情感詞或情感類標簽 Ew 鏈接起來的原因相關(guān)路徑搬瑰。
我們將候選從句中的每個關(guān)鍵字視為頭部實體 eh，將情感從句中的情感詞或情感類標簽視為尾部實體 et控硼。
由于并非 ConceptNet 中的所有關(guān)系都與因果關(guān)系相關(guān)或指示因果關(guān)系泽论，因此我們進一步刪除包含以下四種關(guān)系中的任何一種的路徑：“反義詞”、“不同于”卡乾、“不希望”和“不能”翼悴。 最后，我們按路徑的長度按升序?qū)β窂竭M行排序幔妨，并選擇前 K 個路徑作為每個候選情感子句對的結(jié)果鹦赎。例如 Figure 3.?
The 5-th?clause is annotated as the emotion clause and the emotion class label is 'happiness'. For the keyword, 'adopted', in the first clause, we show two example paths extracted from ConceptNet, each of which links the word 'adopted' with 'happiness'. One such a path is "adopted ?related to→ acceptance ?has subevent→ make better world?causes→ happiness".
實驗
評估指標
Precision (P), Recall (R), and F1-Measure
實驗結(jié)果
在極端情況下谍椅，我們從模型中刪除位置信息。結(jié)果如圖4所示古话〕裕可以觀察到，使用所有模型的相對位置可以獲得最佳結(jié)果陪踩。
Performance under Adversarial Samples
結(jié)果如表2所示杖们。受攻擊的ECE模型僅在原始數(shù)據(jù)集上進行訓(xùn)練。生成的對抗性示例僅用作測試集肩狂。我們可以觀察到現(xiàn)有ECE模型的性能顯著下降了23-32%胀莹，其中一些模型的性能甚至比早期基于規(guī)則的方法差，這表明它們對數(shù)據(jù)集中的位置偏差很敏感婚温。
貢獻
我們調(diào)查了情緒原因提取 (ECE) 數(shù)據(jù)集中的偏差描焰，并提出了一種新的策略來生成對抗性示例，其中候選子句相對于情感子句的位置不再是原因提取的指示性特征栅螟。?
? 我們開發(fā)了一種基于子句圖的新情感原因提取方法荆秦，其中節(jié)點是子句，連接兩個節(jié)點的邊捕獲鄰域信息以及從子句之間的常識知識庫中提取的隱式推理路徑力图。 使用擴展的 Relation-GCN 更新節(jié)點表示步绸。?
? 實驗結(jié)果表明，我們提出的方法在原始 ECE 數(shù)據(jù)集上的性能與現(xiàn)有的最先進方法相當吃媒，并且在對對抗性示例進行評估時更加穩(wěn)健瓤介。
案例
以下是原文中案例，為避免語義發(fā)生變化赘那，這里不進行轉(zhuǎn)譯刑桑，附上：
在圖5.中，這些注意力權(quán)重顯示了推理過程中候選從句和情感從句之間的“距離”募舟。
