前言

從本文開(kāi)始钞啸，我們進(jìn)入實(shí)戰(zhàn)部分逾一。首先铸本，我們按照中文自然語(yǔ)言處理流程的第一步獲取語(yǔ)料，然后重點(diǎn)進(jìn)行中文分詞的學(xué)習(xí)遵堵。中文分詞有很多種箱玷，常見(jiàn)的比如有中科院計(jì)算所 NLPIR、哈工大 LTP鄙早、清華大學(xué) THULAC 汪茧、斯坦福分詞器、Hanlp 分詞器限番、jieba 分詞舱污、IKAnalyzer 等。這里針對(duì) jieba 和 HanLP 分別介紹不同場(chǎng)景下的中文分詞應(yīng)用弥虐。

jieba 分詞

jieba 安裝

（1）Python 2.x 下 jieba 的三種安裝方式扩灯，如下：

全自動(dòng)安裝：執(zhí)行命令easy_install jieba或者pip install jieba/pip3 install jieba媚赖，可實(shí)現(xiàn)全自動(dòng)安裝。

半自動(dòng)安裝：先下載 jieba珠插，解壓后運(yùn)行python setup.py install惧磺。

手動(dòng)安裝：將 jieba 目錄放置于當(dāng)前目錄或者 site-packages 目錄。

安裝完通過(guò)import jieba驗(yàn)證安裝成功與否捻撑。

（2）Python 3.x 下的安裝方式磨隘。

Github 上 jieba 的 Python3.x 版本的路徑是：https://github.com/fxsjy/jieba/tree/jieba3k。

通過(guò)git clone https://github.com/fxsjy/jieba.git命令下載到本地顾患，然后解壓番捂，再通過(guò)命令行進(jìn)入解壓目錄，執(zhí)行python setup.py install命令江解，即可安裝成功设预。

jieba 的分詞算法

主要有以下三種：

基于統(tǒng)計(jì)詞典，構(gòu)造前綴詞典犁河，基于前綴詞典對(duì)句子進(jìn)行切分鳖枕，得到所有切分可能，根據(jù)切分位置桨螺，構(gòu)造一個(gè)有向無(wú)環(huán)圖（DAG）宾符；

基于DAG圖，采用動(dòng)態(tài)規(guī)劃計(jì)算最大概率路徑（最有可能的分詞結(jié)果）彭谁，根據(jù)最大概率路徑分詞吸奴；

對(duì)于新詞(詞庫(kù)中沒(méi)有的詞），采用有漢字成詞能力的 HMM 模型進(jìn)行切分缠局。

jieba 分詞

下面我們進(jìn)行 jieba 分詞練習(xí)，第一步首先引入 jieba 和語(yǔ)料:

importjieba? ? content ="現(xiàn)如今考润，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)帶動(dòng)人工智能飛速的發(fā)展狭园，并在圖片處理、語(yǔ)音識(shí)別領(lǐng)域取得巨大成功糊治。"

（1）精確分詞

精確分詞：精確模式試圖將句子最精確地切開(kāi)唱矛，精確分詞也是默認(rèn)分詞。

segs_1 = jieba.cut(content, cut_all=False)print("/".join(segs_1))

其結(jié)果為：

現(xiàn)如今/井辜，/機(jī)器/學(xué)習(xí)/和/深度/學(xué)習(xí)/帶動(dòng)/人工智能/飛速/的/發(fā)展/绎谦，/并/在/圖片/處理/、/語(yǔ)音/識(shí)別/領(lǐng)域/取得/巨大成功/粥脚。

（2）全模式

全模式分詞：把句子中所有的可能是詞語(yǔ)的都掃描出來(lái)窃肠，速度非常快刷允，但不能解決歧義冤留。

segs_3 = jieba.cut(content, cut_all=True)print("/".join(segs_3))

結(jié)果為：

現(xiàn)如今/如今///機(jī)器/學(xué)習(xí)/和/深度/學(xué)習(xí)/帶動(dòng)/動(dòng)人/人工/人工智能/智能/飛速/的/發(fā)展///并/在/圖片/處理///語(yǔ)音/識(shí)別/領(lǐng)域/取得/巨大/巨大成功/大成/成功//

（3）搜索引擎模式

搜索引擎模式：在精確模式的基礎(chǔ)上碧囊，對(duì)長(zhǎng)詞再次切分，提高召回率纤怒，適合用于搜索引擎分詞糯而。

segs_4 = jieba.cut_for_search(content)print("/".join(segs_4))

結(jié)果為：

如今/現(xiàn)如今/，/機(jī)器/學(xué)習(xí)/和/深度/學(xué)習(xí)/帶動(dòng)/人工/智能/人工智能/飛速/的/發(fā)展/泊窘，/并/在/圖片/處理/熄驼、/語(yǔ)音/識(shí)別/領(lǐng)域/取得/巨大/大成/成功/巨大成功/。

（4）用 lcut 生成 list

jieba.cut 以及jieba.cut_for_search返回的結(jié)構(gòu)都是一個(gè)可迭代的 Generator烘豹，可以使用 for 循環(huán)來(lái)獲得分詞后得到的每一個(gè)詞語(yǔ)（Unicode）谜洽。jieba.lcut 對(duì) cut 的結(jié)果做了封裝，l 代表 list吴叶，即返回的結(jié)果是一個(gè) list 集合阐虚。同樣的，用jieba.lcut_for_search也直接返回 list 集合蚌卤。

segs_5 = jieba.lcut(content)print(segs_5)

結(jié)果為：

['現(xiàn)如今', '实束，', '機(jī)器', '學(xué)習(xí)', '和', '深度', '學(xué)習(xí)', '帶動(dòng)', '人工智能', '飛速', '的', '發(fā)展', '，', '并', '在', '圖片', '處理', '逊彭、', '語(yǔ)音', '識(shí)別', '領(lǐng)域', '取得', '巨大成功', '咸灿。']

（5）獲取詞性

jieba 可以很方便地獲取中文詞性，通過(guò) jieba.posseg 模塊實(shí)現(xiàn)詞性標(biāo)注侮叮。

importjieba.possegaspsg? ? print([(x.word,x.flag)forxinpsg.lcut(content)])

結(jié)果為：

[('現(xiàn)如今', 't'), ('避矢，', 'x'), ('機(jī)器', 'n'), ('學(xué)習(xí)', 'v'), ('和', 'c'), ('深度', 'ns'), ('學(xué)習(xí)', 'v'), ('帶動(dòng)', 'v'), ('人工智能', 'n'), ('飛速', 'n'), ('的', 'uj'), ('發(fā)展', 'vn'), ('，', 'x'), ('并', 'c'), ('在', 'p'), ('圖片', 'n'), ('處理', 'v'), ('囊榜、', 'x'), ('語(yǔ)音', 'n'), ('識(shí)別', 'v'), ('領(lǐng)域', 'n'), ('取得', 'v'), ('巨大成功', 'nr'), ('审胸。', 'x')]

（6）并行分詞

并行分詞原理為文本按行分隔后，分配到多個(gè) Python 進(jìn)程并行分詞卸勺，最后歸并結(jié)果砂沛。

用法：

jieba.enable_parallel(4)# 開(kāi)啟并行分詞模式，參數(shù)為并行進(jìn)程數(shù) 曙求。jieba.disable_parallel()# 關(guān)閉并行分詞模式 碍庵。

注意： 并行分詞僅支持默認(rèn)分詞器 jieba.dt 和 jieba.posseg.dt。目前暫不支持 Windows悟狱。

（7）獲取分詞結(jié)果中詞列表的 top n

fromcollectionsimportCounter? ? top5= Counter(segs_5).most_common(5)? ? print(top5)

結(jié)果為：

[('静浴，', 2), ('學(xué)習(xí)', 2), ('現(xiàn)如今', 1), ('機(jī)器', 1), ('和', 1)]

（8）自定義添加詞和字典

默認(rèn)情況下，使用默認(rèn)分詞挤渐，是識(shí)別不出這句話(huà)中的“鐵甲網(wǎng)”這個(gè)新詞苹享，這里使用用戶(hù)字典提高分詞準(zhǔn)確性。

txt ="鐵甲網(wǎng)是中國(guó)最大的工程機(jī)械交易平臺(tái)挣菲。"print(jieba.lcut(txt))

結(jié)果為：

['鐵甲', '網(wǎng)是', '中國(guó)', '最大', '的', '工程機(jī)械', '交易平臺(tái)', '富稻。']

如果添加一個(gè)詞到字典掷邦，看結(jié)果就不一樣了。

jieba.add_word("鐵甲網(wǎng)")print(jieba.lcut(txt))

結(jié)果為：

['鐵甲網(wǎng)', '是', '中國(guó)', '最大', '的', '工程機(jī)械', '交易平臺(tái)', '椭赋。']

但是抚岗，如果要添加很多個(gè)詞，一個(gè)個(gè)添加效率就不夠高了哪怔，這時(shí)候可以定義一個(gè)文件宣蔚，然后通過(guò)load_userdict()函數(shù)，加載自定義詞典认境，如下：

jieba.load_userdict('user_dict.txt')print(jieba.lcut(txt))

結(jié)果為：

['鐵甲網(wǎng)', '是', '中國(guó)', '最大', '的', '工程機(jī)械', '交易平臺(tái)', '胚委。']

注意事項(xiàng)：

jieba.cut 方法接受三個(gè)輸入?yún)?shù): 需要分詞的字符串；cut_all參數(shù)用來(lái)控制是否采用全模式叉信；HMM 參數(shù)用來(lái)控制是否使用 HMM 模型亩冬。

jieba.cut_for_search方法接受兩個(gè)參數(shù)：需要分詞的字符串；是否使用 HMM 模型硼身。該方法適合用于搜索引擎構(gòu)建倒排索引的分詞硅急，粒度比較細(xì)。

HanLP 分詞

pyhanlp 安裝

其為 HanLP 的 Python 接口佳遂，支持自動(dòng)下載與升級(jí) HanLP营袜，兼容 Python2、Python3丑罪。

安裝命令為pip install pyhanlp荚板，使用命令 hanlp 來(lái)驗(yàn)證安裝。

pyhanlp 目前使用 jpype1 這個(gè) Python 包來(lái)調(diào)用 HanLP吩屹，如果遇到：

building '_jpype' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft VisualC++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools

則推薦利用輕量級(jí)的 Miniconda 來(lái)下載編譯好的 jpype1跪另。

? ? conda install -c conda-forge jpype1

? ? pip install pyhanlp

未安裝 Java 時(shí)會(huì)報(bào)錯(cuò)：

jpype.jvmfinder.JVMNotFoundException: No JVM shared library file (jvm.dll) found. Try setting up the JAVAHOME environment variable properly.

HanLP 主項(xiàng)目采用 Java 開(kāi)發(fā)，所以需要 Java 運(yùn)行環(huán)境祟峦，請(qǐng)安裝 JDK罚斗。

命令行交互式分詞模式

在命令行界面，使用命令 hanlp segment 進(jìn)入交互分詞模式宅楞，輸入一個(gè)句子并回車(chē)，HanLP 會(huì)輸出分詞結(jié)果：

HanlP分詞1.png

HanLp分詞2.png

可見(jiàn)袱吆，pyhanlp 分詞結(jié)果是帶有詞性的厌衙。

服務(wù)器模式

通過(guò) hanlp serve 來(lái)啟動(dòng)內(nèi)置的 HTTP 服務(wù)器，默認(rèn)本地訪(fǎng)問(wèn)地址為：http://localhost:8765绞绒。

Hanlp分詞3.png

enter image description here

也可以訪(fǎng)問(wèn)官網(wǎng)演示頁(yè)面：http://hanlp.hankcs.com/婶希。

通過(guò)工具類(lèi) HanLP 調(diào)用常用接口

通過(guò)工具類(lèi) HanLP 調(diào)用常用接口，這種方式應(yīng)該是我們?cè)陧?xiàng)目中最常用的方式蓬衡。

（1）分詞

frompyhanlpimport*? ? content ="現(xiàn)如今喻杈，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)帶動(dòng)人工智能飛速的發(fā)展彤枢，并在圖片處理、語(yǔ)音識(shí)別領(lǐng)域取得巨大成功筒饰。"print(HanLP.segment(content))

結(jié)果為：

[現(xiàn)如今/t, 缴啡，/w, 機(jī)器學(xué)習(xí)/gi, 和/cc, 深度/n, 學(xué)習(xí)/v, 帶動(dòng)/v, 人工智能/n, 飛速/d, 的/ude1, 發(fā)展/vn, ，/w, 并/cc, 在/p, 圖片/n, 處理/vn, 瓷们、/w, 語(yǔ)音/n, 識(shí)別/vn, 領(lǐng)域/n, 取得/v, 巨大/a, 成功/a, 业栅。/w]

（2）自定義詞典分詞

在沒(méi)有使用自定義字典時(shí)的分詞。

txt ="鐵甲網(wǎng)是中國(guó)最大的工程機(jī)械交易平臺(tái)谬晕。"print(HanLP.segment(txt))

結(jié)果為：

[鐵甲/n, 網(wǎng)/n, 是/vshi, 中國(guó)/ns, 最大/gm, 的/ude1, 工程/n, 機(jī)械/n, 交易/vn, 平臺(tái)/n, 碘裕。/w]

添加自定義新詞：

CustomDictionary.add("鐵甲網(wǎng)")? ? CustomDictionary.insert("工程機(jī)械","nz 1024")? ? CustomDictionary.add("交易平臺(tái)","nz 1024 n 1")print(HanLP.segment(txt))

結(jié)果為：

[鐵甲網(wǎng)/nz, 是/vshi, 中國(guó)/ns, 最大/gm, 的/ude1, 工程機(jī)械/nz, 交易平臺(tái)/nz, 。/w]

當(dāng)然了攒钳，jieba 和 pyhanlp 能做的事還有很多帮孔，關(guān)鍵詞提取、自動(dòng)摘要不撑、依存句法分析文兢、情感分析等，后面章節(jié)我們將會(huì)講到燎孟，這里不再贅述禽作。

文章來(lái)源于米飯超人的博客