jieba 中文分詞教程

【嵌牛導讀】 jieba 中文分詞教程

【嵌牛鼻子】jieba? 中文分詞

【嵌牛提問】如何使用jieba 進行中文分詞鸟雏?

【嵌牛正文】

參考文章:http://www.reibang.com/p/883c2171cdb5

jieba是目前最好的 Python 中文分詞組件裙士,它主要有以下 3 種特性:

1.支持 3 種分詞模式:精確模式豪墅、全模式兼耀、搜索引擎模式

2.支持繁體分詞

3.支持自定義詞典


第一步 導入模塊

可使用jieba.cut和jieba.cut_for_search方法進行分詞应又,兩者所返回的結構都是一個可迭代的 generator鸯乃,可使用 for 循環(huán)來獲得分詞后得到的每一個詞語(unicode)剖张,或者直接使用jieba.lcut以及jieba.lcut_for_search直接返回 list。其中:

jieba.cut和jieba.lcut接受 3 個參數(shù):

需要分詞的字符串(unicode 或 UTF-8 字符串诬留、GBK 字符串)

cut_all 參數(shù):是否使用全模式斜纪,默認值為False

HMM 參數(shù):用來控制是否使用 HMM 模型,默認值為True


jieba.cut_for_search和jieba.lcut_for_search接受 2 個參數(shù):

需要分詞的字符串(unicode 或 UTF-8 字符串故响、GBK 字符串)

HMM 參數(shù):用來控制是否使用 HMM 模型傀广,默認值為True

# 盡量不要使用 GBK 字符串,可能無法預料地錯誤解碼成 UTF-8


第二步 全模式分詞

【全模式】:他/ 來到/ 上海/ 上海交通大學/ 交通/ 大學


第二步 精確模式分詞

【精確模式】:他/ 來到/ 上海交通大學

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末彩届,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子誓酒,更是在濱河造成了極大的恐慌樟蠕,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,591評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件靠柑,死亡現(xiàn)場離奇詭異寨辩,居然都是意外死亡,警方通過查閱死者的電腦和手機歼冰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評論 3 392
  • 文/潘曉璐 我一進店門靡狞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人隔嫡,你說我怎么就攤上這事甸怕「蚀” “怎么了?”我有些...
    開封第一講書人閱讀 162,823評論 0 353
  • 文/不壞的土叔 我叫張陵梢杭,是天一觀的道長温兼。 經(jīng)常有香客問我,道長武契,這世上最難降的妖魔是什么募判? 我笑而不...
    開封第一講書人閱讀 58,204評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮咒唆,結果婚禮上届垫,老公的妹妹穿的比我還像新娘。我一直安慰自己全释,他們只是感情好敦腔,可當我...
    茶點故事閱讀 67,228評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著恨溜,像睡著了一般符衔。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上糟袁,一...
    開封第一講書人閱讀 51,190評論 1 299
  • 那天判族,我揣著相機與錄音,去河邊找鬼项戴。 笑死形帮,一個胖子當著我的面吹牛,可吹牛的內容都是我干的周叮。 我是一名探鬼主播辩撑,決...
    沈念sama閱讀 40,078評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼仿耽!你這毒婦竟也來了合冀?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,923評論 0 274
  • 序言:老撾萬榮一對情侶失蹤项贺,失蹤者是張志新(化名)和其女友劉穎君躺,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體开缎,經(jīng)...
    沈念sama閱讀 45,334評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡棕叫,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,550評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了奕删。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片俺泣。...
    茶點故事閱讀 39,727評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出伏钠,到底是詐尸還是另有隱情横漏,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評論 5 343
  • 正文 年R本政府宣布贝润,位于F島的核電站绊茧,受9級特大地震影響,放射性物質發(fā)生泄漏打掘。R本人自食惡果不足惜华畏,卻給世界環(huán)境...
    茶點故事閱讀 41,022評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望尊蚁。 院中可真熱鬧亡笑,春花似錦、人聲如沸横朋。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽琴锭。三九已至晰甚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間决帖,已是汗流浹背厕九。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留地回,地道東北人扁远。 一個月前我還...
    沈念sama閱讀 47,734評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像刻像,于是被迫代替她去往敵國和親畅买。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,619評論 2 354

推薦閱讀更多精彩內容

  • 0 引言 ??jieba 是目前最好的 Python 中文分詞組件细睡,它主要有以下 3 種特性: 支持 3 種分詞模...
    Gaius_Yao閱讀 117,592評論 3 82
  • 前言 從本文開始谷羞,我們進入實戰(zhàn)部分。首先纹冤,我們按照中文自然語言處理流程的第一步獲取語料洒宝,然后重點進行中文分詞的學習...
    Element靜婷閱讀 880評論 0 0
  • 前言 從本文開始,我們進入實戰(zhàn)部分萌京。首先,我們按照中文自然語言處理流程的第一步獲取語料宏浩,然后重點進行中文分詞的學習...
    lanlantian123閱讀 5,351評論 0 2
  • “結巴”中文分詞:做最好的 Python中文分詞組件 1 jieba中文分詞簡介: 中文分詞是中文NLP的第一步知残,...
    黃平東閱讀 1,162評論 1 6
  • 1、生活換位思考比庄,珍惜才配擁有 生活本來不容易 求妹,當你覺得容易的時候乏盐,肯定是有人在替你承擔屬于你的那份不容易,...
    祖敏閱讀 540評論 0 0