論文筆記“Topic-Features for Dialogue Summarization”

Zhang, Z., Li, J. (2022). Topic-Features for Dialogue Summarization. In: Lu, W., Huang, S., Hong, Y., Zhou, X. (eds) Natural Language Processing and Chinese Computing. NLPCC 2022. Lecture Notes in Computer Science(), vol 13551. Springer, Cham. https://doi.org/10.1007/978-3-031-17120-8_26

摘要導讀

像新聞報道和學術(shù)論文這樣的文本基本來自于一個單一的說話者，并且結(jié)構(gòu)良好不撑。而對話往往來自于兩個或更多的說話者用于交換信息务蝠。在這種情況下瞧挤，對話中的主題或意圖可能會發(fā)生變化，而且關(guān)鍵信息往往分散在不同說話人的話語中茎芭，這給抽象化的對話總結(jié)帶來了挑戰(zhàn)普碎。由于噪音太大，加上對話的固有特點乌叶，傳統(tǒng)的話題建模方法很難應用。為了有效地對整個對話進行建模并捕捉各種話題信息柒爸，本文提出了一種基于神經(jīng)話題模型的話題特征方法准浴，包括詞級嵌入和對話級表示。首先捎稚，提出的方法引入了神經(jīng)主題模型（NTM）乐横，它由兩個子模塊組成：推理模塊和生成模塊。推理模塊利用神經(jīng)網(wǎng)絡(luò)來推斷每個輸入文本的話題分布今野，而生成模塊則應用它來重構(gòu)輸入葡公。基于輸入對話的話題分布應該與相應的摘要一致這一假設(shè)条霜，本文通過Kullback-Leibler（KL）散度來約束話題分布信息催什。其次，為了獲得話題信息并從不同層面提取語義話題宰睡，本文從詞層面和對話層面提取面向話題的嵌入信息蒲凶，并將其應用于序列到序列模型的嵌入層气筋。

對話摘要任務：其目的是壓縮對話，將其中的主要信息提煉成更短的信息豹爹，這可以幫助人們有效地捕捉對話的重點裆悄，而不需要耗費時間進行對話閱讀和理解。

問題形式化定義

給定對話 $\mathcal{D}$ 臂聋，模型的目標是輸出對話的總結(jié) $\mathcal{S}$ ，其中 $\mathcal{D}$ 包含 $|\mathcal{D}|$ 個對話 $[u_1, u_2, \cdots, u_{|\mathcal{D}|}]$ , $\mathcal{S}$ 則是由 $|\mathcal{S}|$ 個詞構(gòu)成的總結(jié)或南。 $u$ -th對話可表示為詞序列的形式：

<s>和</s>分別是對話的開始和結(jié)束標簽孩等。除此之外，每個

u_i

和每個參與對話的人

p_i

相關(guān)聯(lián)采够，最終每個對話

\mathcal{D}

可以形式化為：

方法淺析

傳統(tǒng)NTM

其中inference stage是傳統(tǒng)VAE的encoder部分肄方，用于生成輸入文檔的主題分布 $\hat{\theta} \in \mathbb{R}^K$ ，在generation stage則是則額外引入了主題表示 $\phi \in \mathbb{R}^{K \times H}$ （隨機初始化）和詞表示 $e \in \mathbb{R}^{|V| \times H}$ 用于生成主題-詞分布 $\beta \in \mathbb{R}^{K \times |V|}$ ：

那么對于給定樣本其生成的Loss函數(shù)如下：
模型結(jié)構(gòu)

通過改進NTM引入詞級別和對話級別的語義表示在主題表示上的對齊蹬癌，然后輸入到BART中得到更好的編碼表示：

本文有一個基本的假設(shè)：輸入對話的主題分布應該與相應的摘要一致权她。首先給傳統(tǒng)的NTM兩個輸入： $d_s$ 代表由詞袋模型表示的對話， $d_t$ 表示對應的目標句子逝薪，即總結(jié)隅要。這兩個的主題表示應該是一致的：

除此之外，本文使用BART的詞表示對 $e$ 進行初始化董济，然后在生成階段利用 $\beta, \phi$ 和 $\theta$ 得到詞級別的主題表示和對話級別的主題表示：

具體在生成模塊的操作如下：

這一部分的Loss函數(shù)如下：
在第二階段步清，具有Transformer結(jié)構(gòu)的Seq2Seq模型被廣泛用于對話總結(jié)任務中。編碼器模塊用于對輸入的對話進行編碼虏肾，而解碼器則生成摘要廓啊。
而從前序的NTM中，一方面可以得到詞級別的話題嵌入封豪，為每個詞分配一個話題表示谴轮。另一方面，可以得到對話級別的話題表示吹埠，它總結(jié)了整個對話的話題信息第步。
a, 首先，整合詞級別的主題嵌入信息

詞級別的主題嵌入表示作為一種額外的信息藻雌，分別加入了source和target中雌续。以source這邊的輸入為例，具體可以表示為：

涉及到的嵌入表示分別為詞嵌入Token Embedding胯杭，位置嵌入 Position Embedding和詞級別主題表示 Topic Word Embedding驯杜。target側(cè)的輸入也是如此。
b做个，對話級別的主題嵌入信息
對話級別的主題嵌入信息給出了輸入對話的概況鸽心。因此滚局，在source這邊，本文在引入詞級別的主題信息之后顽频，還融入了對話級別的主題嵌入表示藤肢，將其輸入更新為：
最終的兩個階段的聯(lián)合損失函數(shù)如下：

本文通過改進NTM引入了不同級別的主題信息，使模型利用了數(shù)據(jù)集中所有的語義信息糯景。妙班胰Α！