任務(wù)三：司法考試
1. 任務(wù)介紹
司法考試作為我國(guó)最難的考試吗讶，也是法律工作者生涯中極其重要的考試缸剪，其難度以及淘汰率都是有目共睹的。因此息楔，本任務(wù)是針對(duì)司法考試的問(wèn)答提出的任務(wù)。
具體來(lái)說(shuō)扒披，我們會(huì)提供司法考試的題面以及選項(xiàng)值依，選手的任務(wù)是輸出最后的題目的答案。
我們?cè)试S選手使用任何外部資料作為知識(shí)來(lái)幫助模型碟案，但是我們要求選手在預(yù)測(cè)過(guò)程中不能夠進(jìn)行聯(lián)網(wǎng)的操作愿险，
更多的詳細(xì)信息以及下文提到的資源都可以參考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/sfks。
2. 數(shù)據(jù)介紹
本任務(wù)技術(shù)評(píng)測(cè)使用的訓(xùn)練集摊崭、驗(yàn)證集1來(lái)自于論文JEC-QA: A Legal-Domain Question Answering Dataset哼绑，包含大約26,000道司法考試的題目，均為選擇題笨鸡。數(shù)據(jù)的更多細(xì)節(jié)可以參考該篇論文扮叨。驗(yàn)證集2來(lái)自于由專業(yè)人士新出的司法考試題缤弦，最終測(cè)試集會(huì)使用2020年的司法考試作為測(cè)試集。
3. 評(píng)價(jià)方式
本任務(wù)采用準(zhǔn)確率進(jìn)行評(píng)估彻磁。
對(duì)于每個(gè)問(wèn)題碍沐，需要給定這個(gè)題的答案，即A,B,C,D中的哪幾項(xiàng)是正確的兵迅。當(dāng)且僅當(dāng)給定的答案與標(biāo)準(zhǔn)答案完全一致時(shí)才認(rèn)為是正確的答案抢韭。
我們會(huì)額外給出選手模型在不同類型題目上的分?jǐn)?shù)。
4. 基線系統(tǒng)
我們將提供兩組基線模型恍箭，包括隨機(jī)模型和BERT的分類模型刻恭。
5. 參賽方式
參賽對(duì)象 : 本次技術(shù)競(jìng)賽面向除開(kāi)冪律智能科技有限公司的全社會(huì)開(kāi)放，相關(guān)領(lǐng)域的個(gè)人扯夭、科研機(jī)構(gòu)鳍贾、高等院校、企業(yè)單位等人員均可報(bào)名參加交洗。
報(bào)名方式 : 競(jìng)賽網(wǎng)站將于2020年05月15日開(kāi)放注冊(cè)報(bào)名骑科，登錄網(wǎng)站主頁(yè)即可報(bào)名，完善相關(guān)信息构拳，即可報(bào)名參賽咆爽。
報(bào)名時(shí)間 : 2020年05月15日至2020年07月14日。（可能根據(jù)參賽隊(duì)伍情況調(diào)整置森，具體時(shí)間請(qǐng)關(guān)注官方網(wǎng)站公告欄）
6. 賽程安排
第一階段
（2020.05.15-2020.07.14）:
開(kāi)啟本任務(wù)比賽報(bào)名斗埂，發(fā)放CAIL2020-SFKS訓(xùn)練集，用于編寫模型進(jìn)行訓(xùn)練和測(cè)試凫海。每周限提交3次呛凶，開(kāi)放排行榜；第二階段
（2020.07.15-2020.08.18）：
開(kāi)放第二階段測(cè)試行贪。對(duì)于高于任務(wù)預(yù)設(shè)基準(zhǔn)算法成績(jī)的隊(duì)伍漾稀，我們將開(kāi)放第二階段的測(cè)試提交，第二階段的最終成績(jī)以各參賽隊(duì)伍在第二階段結(jié)束之前選擇的三個(gè)模型中的在第二階段測(cè)試集上的最高分?jǐn)?shù)作為最終成績(jī)建瘫。第三階段
（2020.08.19-2020.09.15）:
封閉評(píng)測(cè)崭捍，第二階段結(jié)束時(shí)，所有參賽者需要選擇三個(gè)在第二階段提交成功的模型作為最終模型啰脚。同時(shí)缕贡，主辦方將使用今年的司法考試題目作為新的測(cè)試集，對(duì)各參賽者的模型進(jìn)行封閉評(píng)測(cè)，得到最終成績(jī)晾咪，三個(gè)模型取最高值收擦。
挑戰(zhàn)賽的最終成績(jī)計(jì)算方式：最終成績(jī) = 第二階段的成績(jī) * 0.3 + 第三階段的成績(jī) * 0.7。第四階段
（2020.09.15-2020.12.31）:
公布最終成績(jī)谍倦，并開(kāi)展技術(shù)交流和頒獎(jiǎng)活動(dòng)塞赂。
7. 獎(jiǎng)項(xiàng)設(shè)置
挑戰(zhàn)賽將對(duì)司法考試任務(wù)評(píng)出一等獎(jiǎng)1名，二等獎(jiǎng)2名昼蛀，三等獎(jiǎng)4名宴猾。由主辦方中國(guó)中文信息學(xué)會(huì)（CIPS）為獲獎(jiǎng)?wù)咛峁s譽(yù)證書(shū)認(rèn)證；由北京冪律智能科技有限責(zé)任公司和中國(guó)司法大數(shù)據(jù)研究院為獲獎(jiǎng)?wù)咛峁┆?jiǎng)勵(lì)和參會(huì)交流贊助叼旋。
一等獎(jiǎng) 20000
二等獎(jiǎng) 10000
三等獎(jiǎng) 5000
-
說(shuō)明：
以上所有提及金額均為稅前金額仇哆。
獲獎(jiǎng)算法與系統(tǒng)的知識(shí)產(chǎn)權(quán)歸參賽隊(duì)伍所有，僅要求獲獎(jiǎng)團(tuán)隊(duì)提供算法與系統(tǒng)報(bào)告（包括方法說(shuō)明夫植、數(shù)據(jù)處理讹剔、參考文獻(xiàn)和使用開(kāi)源工具等信息）及團(tuán)隊(duì)成員名單，供頒獎(jiǎng)會(huì)技術(shù)交流详民。
