中文文本語料庫整理(不定時更新2015-10-24).md

聲明:資源全部源自網(wǎng)絡(luò),如有侵權(quán)匀谣,請聯(lián)系我將及時刪除照棋。

最近在網(wǎng)上找語料,多比較雜亂不全振定,所以這里做一次整理必怜,方便大家。
如果大家手里有可以分享的語料資源后频,歡迎分享出來梳庆,我會一并整理到此文。


2015-10-24 : 初版


中文語料卑惜,我把它們分為這樣幾種膏执;

1. 原始語料,比如某某新聞露久,微博合集更米,一些未經(jīng)處理的原始語料;

這個是xml格式毫痕,包含很多meta

2. 分詞庫(語料)征峦,最常見的比如搜狗分詞庫迟几,結(jié)巴詞庫;

這種詞庫比較好找栏笆,也比較雜亂类腮,這里我整理了幾個不錯的,在這里:all@百度盤
此處盡量按照『文本組成@詞數(shù)量_出處』格式進行文件命名蛉加,如下:

分詞詞庫列表

  • 這里比較推薦分詞_頻數(shù)_詞性@35萬_結(jié)巴.txt分詞_拼音@4萬_搜狗.txt兩個詞庫蚜枢。如果你有一些比如拼音需求,也可以選擇對應(yīng)文本针饥;
  • 需要注意的一點是厂抽,有一個分類_分詞@12大類5485文本1127萬_搜狗.20151022.tar.gz文件,這個是搜狗細胞詞庫所有的詞了丁眼,里面包含非常多的各行業(yè)詞匯筷凤,如下圖,在針對特定行業(yè)ML時候苞七,這些分詞應(yīng)該是比較有幫助的嵌施,特別是帶有【官方推薦】名字的,都非常不錯莽鸭。
    分類_分詞@12大類5485文本1127萬_搜狗.20151022.tar.gz

3. 詞性標注庫(語料),比如98年人民日報詞性標注庫@百度盤吃靠;

此處盡量按照『詞性標注@行數(shù)量_出處』格式進行文件命名硫眨。
相較于上面兩種語料,此語料人工標注成本太高巢块,所以也比較少礁阁。目前我也只有98年人民日報詞性標注庫。不過網(wǎng)上說人民日報2014年詞性標注庫也已經(jīng)有了族奢,但是需要授權(quán)姥闭,我也沒拿到。


98年人民日報詞性標注庫

需要說明的幾點:

  • 除了維基中文dump(比較大)是在他們服務(wù)器上越走,其他我都整理在了我的百度盤上了棚品,大家自行使用。
  • 對于分類1中的語料庫廊敌,大家可以嘗試從數(shù)據(jù)堂找到更多資源铜跑。

我的中文文本語料庫百度盤:http://pan.baidu.com/s/1gdJJ1FP


update:

另:博主建了一個NLP的QQ群,希望有興趣的朋友加入骡澈,群號: 451175756

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末锅纺,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子肋殴,更是在濱河造成了極大的恐慌囤锉,老刑警劉巖坦弟,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異官地,居然都是意外死亡酿傍,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進店門区丑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來拧粪,“玉大人,你說我怎么就攤上這事沧侥】肾” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵宴杀,是天一觀的道長癣朗。 經(jīng)常有香客問我,道長旺罢,這世上最難降的妖魔是什么旷余? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮扁达,結(jié)果婚禮上正卧,老公的妹妹穿的比我還像新娘。我一直安慰自己跪解,他們只是感情好炉旷,可當我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著叉讥,像睡著了一般窘行。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上图仓,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天罐盔,我揣著相機與錄音,去河邊找鬼救崔。 笑死惶看,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的六孵。 我是一名探鬼主播碳竟,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼狸臣!你這毒婦竟也來了莹桅?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎诈泼,沒想到半個月后懂拾,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡铐达,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年岖赋,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片瓮孙。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡泡嘴,死狀恐怖在张,靈堂內(nèi)的尸體忽然破棺而出现诀,到底是詐尸還是另有隱情阶牍,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布偏灿,位于F島的核電站丹诀,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏翁垂。R本人自食惡果不足惜铆遭,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望沿猜。 院中可真熱鬧枚荣,春花似錦、人聲如沸啼肩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽疟游。三九已至,卻和暖如春痕支,著一層夾襖步出監(jiān)牢的瞬間颁虐,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工卧须, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留另绩,地道東北人。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓花嘶,卻偏偏與公主長得像笋籽,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子椭员,可洞房花燭夜當晚...
    茶點故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容