RACE數(shù)據(jù)集

下載地址

https://www.cs.cmu.edu/~glai1/data/race/

論文地址

Race: Large-scale reading comprehension dataset from examinations

github地址

https://github.com/qizhex/RACE_AR_baselines

數(shù)據(jù)集說(shuō)明

簡(jiǎn)要介紹

該數(shù)據(jù)集來(lái)自中國(guó)12-18歲之間的初中和高中英語(yǔ)考試閱讀理解,包含28,000個(gè)短文赵颅、接近100,000個(gè)問(wèn)題隘弊。包含用于評(píng)估學(xué)生理解能力的多種多樣的主題沪么。該數(shù)據(jù)集中的問(wèn)題中需要推理的比例比其他數(shù)據(jù)集更高键耕,也就是說(shuō)咧叭,精度更高葱跋、難度更大。

數(shù)據(jù)示例

相關(guān)指標(biāo)

閱讀理解任務(wù)中订歪,該數(shù)據(jù)集的天花板是:95%脖祈,論文發(fā)表時(shí),模型最好效果:43%刷晋,目前最好效果已達(dá)到90.9%(近兩年進(jìn)展神速)

問(wèn)題的推理類(lèi)型

1.詞匹配
2.釋義
3.單句推理
4.多句推理
5.不恰當(dāng)?shù)?有歧義的:?jiǎn)栴}無(wú)答案或者基于給定的短文盖高,答案不唯一
各推理類(lèi)型所占比例:(隨機(jī)選擇100個(gè)短文共500個(gè)問(wèn)題,找人標(biāo)注)


推理類(lèi)型細(xì)分

1.內(nèi)容推理
2.全文理解
3.文章總結(jié)
4.態(tài)度分析
5.外部知識(shí)(world knowledge)

相關(guān)實(shí)驗(yàn)


論文在RACE和其他數(shù)據(jù)集中進(jìn)行了閱讀理解任務(wù)的實(shí)驗(yàn)眼虱,可以看到喻奥,各個(gè)模型在RACE上的效果通常低于其他數(shù)據(jù)集,說(shuō)明了該數(shù)據(jù)集的難度更大捏悬,更有挑戰(zhàn)撞蚕。



上圖是部分模型在不同推理類(lèi)型的問(wèn)題上的效果

其他

帶有不同推理類(lèi)型標(biāo)簽的數(shù)據(jù)好像沒(méi)有開(kāi)放
其他信息也可參考:https://www.zybuluo.com/songying/note/1312964

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市过牙,隨后出現(xiàn)的幾起案子甥厦,更是在濱河造成了極大的恐慌,老刑警劉巖寇钉,帶你破解...
    沈念sama閱讀 212,718評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件刀疙,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡扫倡,警方通過(guò)查閱死者的電腦和手機(jī)谦秧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)撵溃,“玉大人疚鲤,你說(shuō)我怎么就攤上這事≡堤簦” “怎么了集歇?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,207評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)语淘。 經(jīng)常有香客問(wèn)我鬼悠,道長(zhǎng),這世上最難降的妖魔是什么亏娜? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,755評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮蹬挺,結(jié)果婚禮上维贺,老公的妹妹穿的比我還像新娘。我一直安慰自己巴帮,他們只是感情好溯泣,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,862評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布虐秋。 她就那樣靜靜地躺著,像睡著了一般垃沦。 火紅的嫁衣襯著肌膚如雪客给。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 50,050評(píng)論 1 291
  • 那天肢簿,我揣著相機(jī)與錄音靶剑,去河邊找鬼。 笑死池充,一個(gè)胖子當(dāng)著我的面吹牛桩引,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播收夸,決...
    沈念sama閱讀 39,136評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼坑匠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了卧惜?” 一聲冷哼從身側(cè)響起厘灼,我...
    開(kāi)封第一講書(shū)人閱讀 37,882評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎咽瓷,沒(méi)想到半個(gè)月后设凹,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,330評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡忱详,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,651評(píng)論 2 327
  • 正文 我和宋清朗相戀三年围来,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片匈睁。...
    茶點(diǎn)故事閱讀 38,789評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡监透,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出航唆,到底是詐尸還是另有隱情胀蛮,我是刑警寧澤,帶...
    沈念sama閱讀 34,477評(píng)論 4 333
  • 正文 年R本政府宣布糯钙,位于F島的核電站粪狼,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏任岸。R本人自食惡果不足惜再榄,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,135評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望享潜。 院中可真熱鬧困鸥,春花似錦、人聲如沸剑按。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,864評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至猬腰,卻和暖如春鸟废,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背姑荷。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,099評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工盒延, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人厢拭。 一個(gè)月前我還...
    沈念sama閱讀 46,598評(píng)論 2 362
  • 正文 我出身青樓兰英,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親供鸠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子畦贸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,697評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容