? 發(fā)表：ACL 2021 CCF-A
? 引用：Ding Z, Xia R, Yu J. ECPE-2D: Emotion-cause pair extraction based on joint two-dimensional representation, interaction and prediction[C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020: 3161-3170.
? 論文地址：https://aclanthology.org/2020.acl-main.288.pdf
本篇文章的作者同時是 ECPE 任務(wù)的作者鸳粉，基于原有的方法進行了改進庄蹋。

1 背景與問題

文本情感分析領(lǐng)域的子任務(wù)，稱為情感-原因?qū)μ崛?(ECPE)。它旨在提取文檔中潛在的情緒對及其相應(yīng)的原因。為了解決這個問題垄琐，現(xiàn)有研究采用了兩步框架米罚，該框架首先提取單個情感集和原因集髓窜，然后對相應(yīng)的情感和原因進行配對征讲。
但以上的解決辦法存在兩個問題：

1. 建模并不直接提取最終的情感-原因?qū)菽常谠蛱崛≈氨仨毷謩幼⑨屒楦校@極大地限制了其實際應(yīng)用诗箍；
2. 第一步的錯誤會影響第二步的性能癣籽，首先注釋情感然后提取原因的方法忽略了情緒和原因相互存在依賴關(guān)系。

ECPE被定義為細粒度的情感分析任務(wù)滤祖，其目標是在給定由多個子句組成的文檔作為輸入的情況下提取一組有效的情感-原因?qū)昀恰D 1 (a) 顯示了 ECPE 任務(wù)的示例。
此示例由六個子句組成的文檔匠童。第 c4 句包含“happy”的情緒埂材，有兩個對應(yīng)的原因：子句 c2（“a policeman visited the old man with the lost money”），子句 c3（“told him that the thief was caught”）汤求。第 c5 條包含“worried”的情緒俏险，相應(yīng)的原因是子句 c6（“as he doesn't know how to keep so much money”）。最終輸出是在子句級別定義的一組有效的情感-原因?qū)Γ簕c4-c2, c4-c3, c5-c6}扬绪。
ECPE-2Steps 包含兩步驟：
步驟 1 單獨提取情感集和原因集竖独。例如在圖1 (a)中，情感集為{c4, c5}勒奇，原因集為{c2, c3, c6}预鬓；
步驟2根據(jù)步驟1的輸出進行情感-原因配對和過濾巧骚。如圖1 (a)所示赊颠，首先將笛卡爾積應(yīng)用于情感集，得到候選情感-原因?qū)ε耄缓笥?xùn)練一個獨立的過濾器來去除無效對竣蹦。

Figure 1 兩者方法對比

ECPE-2Steps 方法存在的缺點：

1. 作為兩個獨立步驟的管道，ECPE-2Steps 需要兩個預(yù)測步驟來獲得最終的情感-原因?qū)Σ着Ｔ撃Ｐ偷挠?xùn)練并不直接旨在提取最終的情感-原因?qū)Α?/li>
2. 步驟1中的錯誤會影響步驟2的性能痘括。

2 方法

為了解決這些問題，本文提出了一種新的端到端 ECPE 解決方案滔吠，稱為 ECPE-Two-dimension (ECPE-2D)纲菌，通過 2D representation scheme 來表示情感-原因?qū)Γ⑶楦?原因?qū)Ρ硎敬痢⒔换ズ皖A(yù)測集成到聯(lián)合框架中翰舌。如圖 1 (b) 所示。
用 2D representation scheme 來表示方陣形式的情感-原因?qū)ΧВ渲忻總€項目代表一個情感-原因?qū)σ渭Ｆ浯味悖M一步提出了一個 2D Transformer 框架及其兩個變體，window-constrained and cross-road 2D transformers庇麦，以捕獲不同情緒原因?qū)χg的交互计技。最后，我們通過對每種情緒-原因?qū)M行二元分類山橄，基于 2D representation 提取有效的情緒-原因?qū)迕健＿@三個部分被集成到一個統(tǒng)一的框架中并同時訓(xùn)練。
該方法的總體架構(gòu)如圖 2 所示航棱。它由三部分組成：

1. 2D Emotion-Cause Pair Representation;
2. 2D Emotion-Cause Pair Interaction;
3. 2D EmotionCause Pair Prediction.

首先涣澡，首先使用單個 emotion/cause encoding 組件來獲得emotion-specific representation vectors 和 cause-specific representation vectors。應(yīng)用完整的配對將兩個表示向量配對為 2D representation matrix丧诺。然后提出了一個 2D transformer module 來模擬不同情緒原因?qū)χg的交互入桂。對于矩陣中的每個情感-原因?qū)Γ潞蟮谋硎咀罱K被饋送到 softmax 層以預(yù)測該對是否有效驳阎。這三個模塊被集成到一個統(tǒng)一的框架中并同時訓(xùn)練抗愁。

Figure 2 整體架構(gòu)

2.1 2D Emotion-Cause Pair Representation

1 Individual Emotion/Cause Encoding

Clause encoder layer 是為文檔中的每個子句生成一個特定于情感的表示和一個特定于原因的表示。輸入是文檔包含多個子句： 呵晚，每個子句還包含多個單詞 蜘腌。
緊接著接入 Bi-LSTM 模塊組成。使用注意力機制來獲得子句表示 si饵隙。
上層由兩個獨立的組件組成撮珠，目標是分別為每個子句生成特定于情感的表示 和特定于原因的表示 。兩個組件都將子句表示 作為輸入金矛，并使用兩個子句級 BiLSTM 分別獲得 和 芯急。最后，將 remoi 和 rcaci 分別饋入兩個 softmax 層以獲得情緒預(yù)測 并導(dǎo)致預(yù)測 驶俊。即圖二中的綠色框部分娶耍。

2 Emotion-Cause Full Pairing

將 d 中所有可能的子句對視為候選。假設(shè)文檔長度為 |d|饼酿，那么所有可能的對形成一個形狀為 |d|?|d| 的矩陣 M榕酒，其中行和列分別表示情感子句的索引和文檔中的原因子句。
如圖 2 中右側(cè)灰色矩陣部分故俐。

2.2 2D Emotion-Cause Pair Interaction

1 Standard 2D Transformer

The standard 2D transformer (Vaswani et al., 2017) 由 N 層的堆棧組成想鹰。每一層由兩個子層組成：
Multi-head 2D self-attention mechanism
Position-wise Feed Forward Network
以上兩部分在 attention 中專門介紹的。
Computational inefficiency
由于 standard transformer的輸出是|d|?|d|元素药版，每個元素需要計算|d|?|d|注意力權(quán)重辑舷，最終(|d|?|d|)?(|d|?|d|)權(quán)重需要計算和臨時存儲。為了緩解計算負載刚陡，故提出 Transformer 的兩種變體：

1. window-constrained 2D Transformer

2. cross-road 2D 2D Transformer惩妇，如圖 3 所示株汉。

   
   
   Figure 3

Window-constrained 2D Transformer

條件：假設(shè)大多數(shù)原因子句都在情感子句周圍。
而只需要滿足 j - i ∈[?window, window] 的作為輸入歌殃。
優(yōu)點：1 大大降低了資源需求乔妈；2 緩解了類不平衡問題。

Cross-road 2D Transformer

假設(shè)：同一行或列中對的特征表示往往更接近氓皱。

Figure 4

2.3 2D Emotion-Cause Pair Prediction

經(jīng)過 N 個 2D transformer layers 轉(zhuǎn)換之后波材，獲取每對 的最終表示 股淡，進行原因?qū)︻A(yù)測 。
為了獲得更好的情感特定表示和特定原因的表示廷区，本文引入了情感預(yù)測和原因預(yù)測的輔助損失唯灵，文檔 d 的模型的最終損失是具有 L2 正則化項的 輔助損失的加權(quán)和。

實驗

實驗結(jié)果如表 2 數(shù)據(jù)展示隙轻。

Table 2

1. Indep: It is an independent multi-task learning method, in which emotion extraction and cause extraction are independently modeled.
2. Inter-CE: It is an interactive multi-task learning method, in which the predictions of cause extraction are used to improve emotion extraction.
3. Inter-EC: It is another interactive multi-task learning method, in which the predictions of emotion extraction are used to enhance cause extraction.

ECPE-2D

1. "-" indicates that we do not introduce emotioncause pair interaction;
2. "+WC" indicates that we use the windowconstrained 2D transformer for emotion-cause pair interaction;
3. "+CR" indicates that we use the cross-road 2D transformer for emotion-cause pair interaction;

ECPE-2D vs. ECPE-2Steps
The Effectiveness of Auxiliary Supervision

Table 3

貢獻

1. 在本文中埠帕，我們提出了a joint endto-end framework, called ECPE-2D，而不是 two-step pipeline 玖绿，通過 2D representation scheme 來表示情感-原因?qū)α泊桑?D情感-原因?qū)?representation, interaction, 和 prediction集成到一個聯(lián)合框架中。
2. 我們還開發(fā)了兩種 2D Transformer斑匪，即 Window-constrained 和 Cross-road 2D Transformer呐籽，以進一步對不同情感原因?qū)Φ慕换ミM行建模。

基準情感原因語料庫上的實驗結(jié)果表明蚀瘸，除了聯(lián)合建模的優(yōu)勢外狡蝶，本文的方法在 ECPE 任務(wù)的 F1 分數(shù)方面比最先進的方法高出 7.6 個百分點。