文章名稱
【AAAI-2022】【Tencent AI Platform Department】CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
核心要點(diǎn)
文章旨在抽象摘要生成方法存在的事實(shí)不一致的問題善镰，利用對(duì)比學(xué)習(xí)機(jī)制胧砰，代替原有的后處理和機(jī)制涤伐，保證生成的摘要具有factual-consistent性質(zhì)趴久。對(duì)比學(xué)習(xí)分別作用域seq2seq的encoder和decoder冒窍。encoder部分的對(duì)比學(xué)習(xí)幫助模型重視原始文本中的事實(shí)信息绞幌，decoder部分的對(duì)比學(xué)習(xí)幫助生成的事實(shí)一致的摘要减响。
上節(jié)講解了脚囊，作者針對(duì)摘要生成中事實(shí)錯(cuò)誤的問題提出的解決方案框架转晰，以及負(fù)樣本生成的思路芦拿。本節(jié)繼續(xù)介紹在編碼器和解碼器上的對(duì)比學(xué)習(xí)。
方法細(xì)節(jié)
問題引入
生成符合要求的負(fù)樣本后查邢，需要利用合理的訓(xùn)練方法蔗崎，讓模型重視原始文本中的事實(shí)信息。
作者分別在encoder和decoder兩個(gè)階段進(jìn)行對(duì)比學(xué)習(xí)扰藕，并采用BART[1]作為基礎(chǔ)的seq2seq模型缓苛。輸入的平行語料為，其中
為輸入的原始文本和目標(biāo)摘要邓深，每個(gè)摘要的長度為
（可以是padding后的長度未桥，也可以不是padding）。
seq2seq優(yōu)化的目標(biāo)是cross-entropy芥备，是給定原始文本后冬耿，輸出對(duì)應(yīng)詞的條件概率。
具體做法
回顧一下CO2Sum的整體框架萌壳，
- 在編碼器上進(jìn)行對(duì)比學(xué)習(xí)亦镶。該模塊的目標(biāo)是在對(duì)文本進(jìn)行嵌入表示的時(shí)候，能夠把原始文本和事實(shí)正確的groudth的距離拉進(jìn)讶凉，而拉遠(yuǎn)其與負(fù)采樣樣本的距離染乌。由于負(fù)采樣和groudth之間的重點(diǎn)區(qū)別是事實(shí)正確性，因此encoder上的對(duì)比學(xué)習(xí)能夠保證模型對(duì)事實(shí)給予足夠的關(guān)注度懂讯，從而保證生成的摘要事實(shí)上是正確的荷憋。其示意如下圖所示。
intuitive of contrastive learning encoder
給定triplet樣本褐望，encoder的優(yōu)化目標(biāo)如下圖所示勒庄。其中
表示對(duì)原始文本、groudth和負(fù)采樣的encoding瘫里。值得注意的是实蔽，這個(gè)嵌入式表示是文本上所有詞的嵌入的平均值。
分別表示負(fù)采樣的樣本數(shù)量以及softmax的temperature hyper-parameter谨读。
的值越大區(qū)分正和負(fù)樣本的難度越大局装。
encoder contrastive loss- 在解碼器上進(jìn)行對(duì)比學(xué)習(xí)。該模塊的目標(biāo)是糾正解碼過程中出現(xiàn)的事實(shí)錯(cuò)誤。作者借鑒[2]中的方法铐尚，利用正負(fù)樣本優(yōu)化max-margin loss拨脉。然而，[2]分別利用正負(fù)樣本計(jì)算詞平均CE損失宣增，但是作者發(fā)現(xiàn)這樣的實(shí)現(xiàn)會(huì)導(dǎo)致不穩(wěn)定玫膀，因?yàn)檎?fù)樣本中的大多數(shù)詞是相同的。因此爹脾，作者提出Position Masked (PM) max-margin loss帖旨，只在負(fù)樣本中替換的事實(shí)上計(jì)算損失（其實(shí)就是只計(jì)算那些事實(shí)上有錯(cuò)誤的地方的損失，忽略相同的方灵妨，省的混淆模型）解阅。對(duì)比損失的具體公式如下圖所示。其中闷串，
表示所有替換的位置瓮钥。
decoder contrastive loss
具體例子如下圖所示筋量，其中烹吵，groudth中位置3的詞“l(fā)etter”在負(fù)樣本中被替換為"request”，我們只需要關(guān)注這種詞桨武，而不應(yīng)該關(guān)注其他相同詞的損失（不要錯(cuò)誤的回傳梯度）肋拔。
case of contrastive learning decoder
至此，我們得到了模型的全部的損失呀酸，具體公式如下圖所示凉蜂。其中CE仍然要繼續(xù)使用，負(fù)責(zé)生成語句連貫一致的摘要性誉。
心得體會(huì)
Position Masked (PM) max-margin loss
前兩天讀SimBert的博開窿吩，再看到這里，確實(shí)感覺“bert入戲错览，mask是演技”纫雁。個(gè)人感覺，就想微積分一樣倾哺，MLM需要學(xué)得不僅僅是它訓(xùn)練語言模型的思路轧邪，更是如何在多種場(chǎng)合想到利用masked技巧來達(dá)到需要實(shí)現(xiàn)的目的，畢竟只有mask做好了羞海，Transformer才能體現(xiàn)出序列性質(zhì)忌愚。
哦，多說一句却邓，感覺還有position encoding硕糊，這個(gè)前邊一些生成的文章里已經(jīng)講到了。
文章引用
[1] Lewis, M.; Liu, Y.; Goyal, N.; Ghazvininejad, M.; Mo- hamed, A.; Levy, O.; Stoyanov, V.; and Zettlemoyer, L. 2020. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Compre- hension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 7871–7880.
[2] Yang, Z.; Cheng, Y.; Liu, Y.; and Sun, M. 2019. Reduc- ing Word Omission Errors in Neural Machine Translation: A Contrastive Learning Approach. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 6191–6196.
[*] 魚與熊掌兼得：融合檢索和生成的SimBERT模型
[*] 然語言生成工具箱 - SOW-REAP（一）
