下載地址
https://www.cs.cmu.edu/~glai1/data/race/
論文地址
Race: Large-scale reading comprehension dataset from examinations
github地址
https://github.com/qizhex/RACE_AR_baselines
數(shù)據(jù)集說(shuō)明
簡(jiǎn)要介紹
該數(shù)據(jù)集來(lái)自中國(guó)12-18歲之間的初中和高中英語(yǔ)考試閱讀理解,包含28,000個(gè)短文赵颅、接近100,000個(gè)問(wèn)題隘弊。包含用于評(píng)估學(xué)生理解能力的多種多樣的主題沪么。該數(shù)據(jù)集中的問(wèn)題中需要推理的比例比其他數(shù)據(jù)集更高键耕,也就是說(shuō)咧叭,精度更高葱跋、難度更大。
數(shù)據(jù)示例
相關(guān)指標(biāo)
閱讀理解任務(wù)中订歪,該數(shù)據(jù)集的天花板是:95%脖祈,論文發(fā)表時(shí),模型最好效果:43%刷晋,目前最好效果已達(dá)到90.9%(近兩年進(jìn)展神速)
問(wèn)題的推理類(lèi)型
1.詞匹配
2.釋義
3.單句推理
4.多句推理
5.不恰當(dāng)?shù)?有歧義的:?jiǎn)栴}無(wú)答案或者基于給定的短文盖高,答案不唯一
各推理類(lèi)型所占比例:(隨機(jī)選擇100個(gè)短文共500個(gè)問(wèn)題,找人標(biāo)注)
推理類(lèi)型細(xì)分
1.內(nèi)容推理
2.全文理解
3.文章總結(jié)
4.態(tài)度分析
5.外部知識(shí)(world knowledge)
相關(guān)實(shí)驗(yàn)
論文在RACE和其他數(shù)據(jù)集中進(jìn)行了閱讀理解任務(wù)的實(shí)驗(yàn)眼虱,可以看到喻奥,各個(gè)模型在RACE上的效果通常低于其他數(shù)據(jù)集,說(shuō)明了該數(shù)據(jù)集的難度更大捏悬,更有挑戰(zhàn)撞蚕。
上圖是部分模型在不同推理類(lèi)型的問(wèn)題上的效果
其他
帶有不同推理類(lèi)型標(biāo)簽的數(shù)據(jù)好像沒(méi)有開(kāi)放
其他信息也可參考:https://www.zybuluo.com/songying/note/1312964