兩個(gè)衡量標(biāo)準(zhǔn)：語(yǔ)義相關(guān)性和壓縮比
語(yǔ)義分布相關(guān)性 Semantic Distribution Correlation (SDC）：自回歸語(yǔ)言模型
有一個(gè)文檔 D = {x1, x2, ..., xn}宁脊，將聯(lián)合概率因式分解為條件概率的乘積，并以此表示D彼宠，式子如下
在自回歸語(yǔ)言模型中澜公，以此作為D的語(yǔ)義信息恶座，但這里我們用p(xt|x<t)來(lái)表示xt的語(yǔ)義并且使用一個(gè)向量P(D)來(lái)表示由語(yǔ)言模型生成的D的語(yǔ)義分布核蘸，如式（2）所示：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
摘要S由令牌y組成，使用語(yǔ)言模型以S為提示來(lái)預(yù)測(cè)D呻右。摘要越好哑子，文章的還原效果越好舅列。我們根據(jù)S計(jì)算D的語(yǔ)義分布：
? ? ? ? ? ? ? ? ??
將P(D)與P(D|S)之間的相關(guān)性作為對(duì)摘要S的評(píng)估分?jǐn)?shù)：
其中Corr用的是皮爾遜相關(guān)系數(shù)奉芦，這個(gè)系數(shù)是用于度量?jī)蓚€(gè)變量X和Y之間的相關(guān)性（線(xiàn)性相關(guān)），其值介于-1與1之間剧蹂。W(D, S)表示通過(guò)給定摘要S能預(yù)測(cè)出源文本D的程度声功。生成的摘要越好，W(D, S)分?jǐn)?shù)越高宠叼，注意先巴，其中Cnorm ∈ [0, 1)，在計(jì)算的過(guò)程中需要進(jìn)行歸一化處理冒冬。因此伸蚯，SDC的值越大，生成摘要的質(zhì)量越好简烤。
帶壓縮比的SDC
壓縮比反映了生成摘要的難度剂邮，計(jì)算公式為CR(D, S) = L(S) / L(D)，其中横侦，L表示文本的長(zhǎng)度挥萌，即壓縮比等于摘要的長(zhǎng)度除以源文本的長(zhǎng)度。如果L(S)大于L(D)枉侧，CR(D, S)的值為1引瀑。顯然，生成的摘要越短難度越高榨馁，下面我們將壓縮比引入SDC的計(jì)算：
上面的式子使得有較高語(yǔ)義分布相關(guān)性和較低壓縮比的摘要在模型中獲得較高的分?jǐn)?shù)憨栽。
實(shí)驗(yàn)方法
1、數(shù)據(jù)集：由源文本翼虫、基于不同模型生成的摘要和人工注釋的分?jǐn)?shù)組成的兩個(gè)數(shù)據(jù)集屑柔，分別為CNN/Daily Mail (CNNDM)、TAC 2010 (TAC)
2珍剑、基線(xiàn)：4個(gè)基于參考的評(píng)價(jià)指標(biāo)掸宛，ROUGE-1 (R-1),ROUGE-2 (R-2) 和 ROUGE-L (R-L)的F1分?jǐn)?shù)、BLEU次慢、METEOR (MET.)旁涤、BERTScore(BERT.)翔曲，2個(gè)無(wú)參考的評(píng)價(jià)指標(biāo)迫像，BLANC (BLA.)、Shannon (Shan.)瞳遍。
參考文獻(xiàn)：Reference-free Summarization Evaluation via Semantic Correlation and Compression Ratio
