當(dāng)一些數(shù)據(jù)集是由人自己創(chuàng)造出來的悯嗓，比如bug report的summary，這里就涉及到那個人做的東西別人是否認(rèn)可的問題妄辩，如果好幾個人一起做春瞬，可以讓他們互相對對方的結(jié)果進(jìn)行agreement的評估凳寺。
2010ICSM paper：Generating natural language summaries for crosscutting source code concerns 的Gail C. Murphy她們有一篇summarize bug report的文章，可以用kappa test來衡量其agreement的程度彤侍。
這篇文章中提到對text 進(jìn)行summarize的classifier的EM和EMC肠缨。基于普通的email threads和meeting data盏阶。
paired t-test用來驗證2隊結(jié)果是否顯著不同
