任務(wù)二:司法摘要
1. 任務(wù)介紹
裁判文書是人民法院公開審判活動(dòng)芽狗、裁判理由把将、裁判依據(jù)和裁判結(jié)果的重要載體焰枢。司法摘要則是對(duì)裁判文書的內(nèi)容進(jìn)行壓縮、歸納和總結(jié)徽级,反映案件審理過程中的裁判過程气破、事實(shí)、理由和判決依據(jù)等餐抢。裁判文書司法摘要對(duì)我國(guó)法治建設(shè)具有現(xiàn)實(shí)意義與必要性现使。
具體來說,我們會(huì)提供裁判文書的原文旷痕,選手的任務(wù)是輸出對(duì)應(yīng)的司法摘要文本碳锈。
我們?cè)试S選手使用任何外部資料作為知識(shí)來幫助模型,但是我們要求選手在預(yù)測(cè)過程中不能夠進(jìn)行聯(lián)網(wǎng)的操作欺抗,
更多的詳細(xì)信息以及下文提到的資源都可以參考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/sfzy售碳。
2. 數(shù)據(jù)介紹
本任務(wù)技術(shù)評(píng)測(cè)使用的訓(xùn)練集、驗(yàn)證集绞呈、測(cè)試集來自由北京司法大數(shù)據(jù)院提供并標(biāo)注的法院裁判文書贸人,包含大約10000
篇裁判文書以及對(duì)應(yīng)的司法摘要,其中所涉及到的裁判文書均為民事一審判決書佃声。
2. 評(píng)價(jià)方式
本任務(wù)采用ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
評(píng)價(jià)評(píng)價(jià)艺智。
ROUGE指標(biāo)將自動(dòng)生成的摘要與參考摘要進(jìn)行比較, 其中ROUGE-1衡量unigram
匹配情況,ROUGE-2衡量bigram
匹配圾亏,ROUGE-L記錄最長(zhǎng)的公共子序列十拣。
3. 基線系統(tǒng)
我們將提供BERT摘要基準(zhǔn)模型。
4. 參賽方式
參賽對(duì)象 : 本次技術(shù)競(jìng)賽面向除開擎盾數(shù)據(jù)的全社會(huì)開放召嘶,相關(guān)領(lǐng)域的個(gè)人父晶、科研機(jī)構(gòu)哮缺、高等院校弄跌、企業(yè)單位等人員均可報(bào)名參加。
報(bào)名方式 : 競(jìng)賽網(wǎng)站將于2020年05月15日開放注冊(cè)報(bào)名尝苇,登錄網(wǎng)站主頁即可報(bào)名铛只,完善相關(guān)信息,即可報(bào)名參賽糠溜。
報(bào)名時(shí)間 : 2020年05月15日至2020年07月14日淳玩。(可能根據(jù)參賽隊(duì)伍情況調(diào)整,具體時(shí)間請(qǐng)關(guān)注官方網(wǎng)站公告欄)
5. 賽程安排
第一階段
(2020.05.15-2020.07.14)
:
開啟本任務(wù)比賽報(bào)名非竿,發(fā)放CAIL2020-SFZY訓(xùn)練集蜕着,用于編寫模型進(jìn)行訓(xùn)練和測(cè)試。每周限提交3次,開放排行榜承匣;第二階段
(2020.07.15-2020.08.18)
:
開放第二階段測(cè)試蓖乘。對(duì)于高于任務(wù)預(yù)設(shè)基準(zhǔn)算法成績(jī)的隊(duì)伍,我們將開放第二階段的測(cè)試提交韧骗,第二階段的最終成績(jī)以各參賽隊(duì)伍在第二階段結(jié)束之前選擇的三個(gè)模型中的在第二階段測(cè)試集上的最高分?jǐn)?shù)作為最終成績(jī)嘉抒。第三階段
(2020.08.19-2020.09.15)
:
封閉評(píng)測(cè),第二階段結(jié)束時(shí)袍暴,所有參賽者需要選擇三個(gè)在第二階段提交成功的模型作為最終模型些侍。同時(shí),主辦方將使用今年的司法考試題目作為新的測(cè)試集政模,對(duì)各參賽者的模型進(jìn)行封閉評(píng)測(cè)岗宣,得到最終成績(jī),三個(gè)模型取最高值淋样。
挑戰(zhàn)賽的最終成績(jī)計(jì)算方式:最終成績(jī) = 第二階段的成績(jī) * 0.3 + 第三階段的成績(jī) * 0.7狈定。第四階段
(2020.09.15-2020.12.31)
:
公布最終成績(jī),并開展技術(shù)交流和頒獎(jiǎng)活動(dòng)习蓬。
6. 獎(jiǎng)項(xiàng)設(shè)置
挑戰(zhàn)賽將對(duì)司法考試任務(wù)評(píng)出一等獎(jiǎng)1
名纽什,二等獎(jiǎng)2
名,三等獎(jiǎng)4
名躲叼。由主辦方中國(guó)中文信息學(xué)會(huì)(CIPS)為獲獎(jiǎng)?wù)咛峁s譽(yù)證書認(rèn)證芦缰;由擎盾數(shù)據(jù)和中國(guó)司法大數(shù)據(jù)研究院為獲獎(jiǎng)?wù)咛峁┆?jiǎng)勵(lì)和參會(huì)交流贊助。
一等獎(jiǎng) 15000
二等獎(jiǎng) 7500
三等獎(jiǎng) 5000
-
說明:
以上所有提及金額均為稅前金額枫慷。
獲獎(jiǎng)算法與系統(tǒng)的知識(shí)產(chǎn)權(quán)歸參賽隊(duì)伍所有让蕾,僅要求獲獎(jiǎng)團(tuán)隊(duì)提供算法與系統(tǒng)報(bào)告(包括方法說明、數(shù)據(jù)處理或听、參考文獻(xiàn)和使用開源工具等信息)及團(tuán)隊(duì)成員名單探孝,供頒獎(jiǎng)會(huì)技術(shù)交流。