目錄
1.認(rèn)識(shí)中文分詞包
2.分詞方法與效果分析
3.分詞包背后的分詞算法學(xué)習(xí)
4.分詞結(jié)果提交
5.基于分詞結(jié)果的詞云分析
<p>1.認(rèn)識(shí)中文分詞包
本次的中文分詞包學(xué)習(xí)我使用的是mmseg4j分詞器患整，資料查得砖顷，mmseg4j用Chih-Hao Tsai 的MMSeg算法實(shí)現(xiàn)的中文分詞器涩嚣，并實(shí)現(xiàn)lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。 MMSeg 算法有三種分詞方法：MaxWord省核、Simple和Complex稿辙，都是基于正向最大匹配。
- <p>solr +mmseg4j中文分詞
此方法是在solr下配置中文分詞器mmeseg4j气忠，在配置前邻储，需要安裝好java運(yùn)行環(huán)境未桥。配置jdk。
solr下載：http://www-eu.apache.org/dist/lucene/solr/6.5.1/
下載solr后本地便可以使用芥备，運(yùn)行cmd冬耿，進(jìn)入下載的solr文件中的bin文件夾中，通過solr start命令運(yùn)行solr
solrstart.png
如此萌壳，便可在本地打開solr：http://localhost:8983/solr/#/
隨后亦镶，下載mmseg4j配置在solr中。
mmseg4j下載：http://download.csdn.net/search?keywords=mmseg4j
整合mmseg4j：
（1）mmseg4j支持Solr需要使用附件的mmseg4j-solr-x.x.x.jar以及mmseg4j-core-x.x.jar（x是多少取決于下載的solr的版本）袱瓮，將這兩個(gè)jar包放在類似于這樣的目錄下：
../solr/server/solr-webapp/webapp/WEB-INF/lib
（2）在cmd中缤骨，創(chuàng)建一個(gè)core：solr create -c abc（abc為自定義）
（3）進(jìn)入目錄：../solr/server/solr/abc/conf，修改其中managed-schem
<!-- mmseg4j-->
<field name="mmseg4j_complex_name" type="text_mmseg4j_complex" indexed="true" stored="true"/>
<field name="mmseg4j_maxword_name" type="text_mmseg4j_maxword" indexed="true" stored="true"/>
<field name="mmseg4j_simple_name" type="text_mmseg4j_simple" indexed="true" stored="true"/>
<fieldType name="text_mmseg4j_complex" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="D:\solr\solr-6.5.1\server\solr\abc\conf"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
</analyzer>
</fieldType>
<fieldType name="text_mmseg4j_maxword" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="D:\solr\solr-6.5.1\server\solr\abc\conf"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
</analyzer>
</fieldType>
<fieldType name="text_mmseg4j_simple" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="D:\solr\solr-6.5.1\server\solr\abc\conf"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
</analyzer>
</fieldType>
<!-- mmseg4j-->
注意：dicPath中的值應(yīng)修改為相應(yīng)的值尺借。
重啟Solr 后绊起，即可在新創(chuàng)建的abc這個(gè)core的Analysis中看到mmseg4j新增的field
到這個(gè)時(shí)候便可以開始輸入字段進(jìn)行分詞了。但這里我卻遇到很大的問題燎斩。如下圖虱歪，當(dāng)我輸入一段文字以后，點(diǎn)擊分詞卻毫無反應(yīng)栅表，也不知道是什么問題笋鄙，到處都修改了一遍甚至重新安裝了一遍還是同樣的錯(cuò)誤。前前后后弄了好幾個(gè)小時(shí)怪瓶。
我也很崩潰萧落，特別崩潰。后來已經(jīng)是純屬亂弄了洗贰，然而當(dāng)我點(diǎn)了右上角那個(gè)Use <u>original UI</u>后找岖，竟莫名其妙地可以了，很奇怪的地方敛滋，我也不懂為什么许布。但是再看右上角的文字，說是該用戶界面過時(shí)矛缨，隱隱擔(dān)心可能后續(xù)步驟會(huì)進(jìn)行不下去爹脾。知道其中緣由的還望求解帖旨。
<p>
- <p>本地cmd中mmseg4j中文分詞
這個(gè)步驟倒是不需要solr箕昭，直接一個(gè)命令后就可以進(jìn)行分詞操作了。好處是方便操作解阅，不好的地方是所分詞的文字需要復(fù)制粘貼進(jìn)去落竹，而分好的內(nèi)容需要復(fù)制粘貼出來，而且無法對(duì)文件分詞货抄，它只能對(duì)復(fù)制或輸入的文字進(jìn)行分詞述召。
進(jìn)入mmseg4j所在文件夾朱转，輸入：java -cp mmseg4j-core-1.10.0.jar com.chenlb.mmseg4j.example.MaxWord（用哪種分詞方法就寫哪種）+ 所要分詞的字符串，如此便可得到結(jié)果积暖。
<p>2.分詞方法與效果分析
最近又大火的歡樂頌藤为，我就用歡樂頌的簡(jiǎn)介進(jìn)行分詞。分詞內(nèi)容為：
從外地來上海打拼的樊勝美（蔣欣飾）夺刑、關(guān)雎爾（喬欣飾）缅疟、邱瑩瑩（楊紫飾）三個(gè)女生合租一套房，與高智商海歸金領(lǐng)安迪（劉濤飾）遍愿、魅力超群的富家女曲筱綃（王子文飾）存淫，同住在一個(gè)名叫“歡樂頌”的中檔小區(qū)22樓，五個(gè)女人性格迥異沼填，各自攜帶著來自工作桅咆、愛情和家庭的困難與不如意，因?yàn)猷従雨P(guān)系而相識(shí)相知坞笙，從互相揣測(cè)對(duì)方到漸漸接納彼此并互相敞開心扉岩饼，在這一過程中齊心協(xié)力解決了彼此生活中發(fā)生的種種問題和困惑，并見證彼此在上海這座“魔都”的成長(zhǎng)與蛻變薛夜。 不離不棄忌愚、手拉手、團(tuán)結(jié)一心却邓、克服困難硕糊、目標(biāo)一致。
這是solr上的分詞結(jié)果腊徙，可以看出简十，其無法看到完整的分詞內(nèi)容（或許有解決方法但至今我還沒有找到），所以我決定在cmd內(nèi)進(jìn)行分詞撬腾。
<p>maxword方法：
complex方法：
simple方法：
分詞效果分析：
可以看出三個(gè)方法的分詞結(jié)果不盡相同螟蝙，歸納出三種方法的不一樣處及正確分詞方法：
除此之外，三種分詞方法存在著一些同樣的錯(cuò)誤民傻。
人名錯(cuò)誤：樊勝美胰默、蔣欣、關(guān)雎爾漓踢、喬欣牵署、邱瑩瑩、楊紫喧半、安迪奴迅、劉濤、曲筱綃挺据、王子文取具。
其他錯(cuò)誤：
- 錯(cuò)誤：一 | 套房
正確：一套房 - 錯(cuò)誤：高 | 智商
正確：高智商 - 錯(cuò)誤：海 | 歸
正確：海歸 - 錯(cuò)誤：金 | 領(lǐng)
正確：金領(lǐng) - 錯(cuò)誤：魅力 | 超群
正確：魅力超群 - 錯(cuò)誤：富 | 家 | 女
正確：富家女 - 錯(cuò)誤：魔 | 都
正確：魔都 - 錯(cuò)誤：團(tuán)結(jié) | 一心
正確：團(tuán)結(jié)一心 - 錯(cuò)誤：目標(biāo) | 一致
正確：目標(biāo)一致
綜上所述可以看出脖隶，complex這一分詞方法的準(zhǔn)確率最高。
存在分詞錯(cuò)誤時(shí)暇检，便需要進(jìn)行改進(jìn)产阱。改進(jìn)的方法是設(shè)置自定義詞庫(kù)包，再將詞庫(kù)包放入詞庫(kù)目錄下块仆。cmd中還需要配置環(huán)境心墅，較為麻煩，所以我決定在solr進(jìn)行詞庫(kù)的添加榨乎。
首先怎燥，我創(chuàng)建相應(yīng)的詞庫(kù)包：words-test-my.dic（需以words開頭，擴(kuò)展名為dic）蜜暑。
隨后铐姚，將該詞庫(kù)包放入詞庫(kù)目錄下。
..\solr\server\solr\abc\conf
在此肛捍，還需要在managed-schem添加字段（度娘上看到的教程隐绵，我也不知道這段文字是干什么的）。
<requestHandler name="/mmseg4j/reloadwords" class="com.chenlb.mmseg4j.solr.MMseg4jHandler">
<lst name="defaults">
<str name="dicPath">D:\solr\solr-6.5.1\server\solr\abc\conf</str>
<str name="check">true</str>
<str name="reload">true</str>
</lst>
</requestHandler>
同樣拙毫，dicPath中的值應(yīng)修改為相應(yīng)的值依许。
<p>
以上為增加詞庫(kù)后的分詞結(jié)果，將就看吧缀蹄。
3.分詞包背后的分詞算法學(xué)習(xí)
mmseg4j使用的是Chih-Hao Tsai 的MMSeg算法
其算法原文：http://technology.chtsai.org/mmseg/
Simple算法：
Simple算法是簡(jiǎn)單最大匹配算法峭跳，其基本形式是解析單個(gè)單詞的歧義性。例如缺前，假設(shè)C1,C2,….代表一個(gè)字符串中的漢字蛀醉。我們首先位于字符串的開頭并想知道如何區(qū)分單詞。我們首先搜索詞典衅码，看 C1是否為一個(gè)單個(gè)漢字組成的單詞拯刁，然后搜索 C1C2來看是否為一個(gè)兩個(gè)漢字組成的單詞，以下類推逝段。直至找到字典中最長(zhǎng)的匹配垛玻。最可能的單詞就是最長(zhǎng)的匹配。我們?nèi)∵@個(gè)單詞奶躯，然后繼續(xù)這個(gè)過程直至字符串中的最后一個(gè)單詞被識(shí)別出來帚桩。Complex算法
Complex算法是復(fù)雜最大匹配算法。最大匹配規(guī)則是最大長(zhǎng)度的三個(gè)詞塊合理的分割巫糙，當(dāng)存在模糊分割時(shí)(比如朗儒， C1 是一個(gè)詞，但 C1C2 也是一個(gè)詞)参淹，此時(shí)將向前兩個(gè)單詞找出所有可能的以C1 或 C1C2的詞塊醉锄，進(jìn)行匹配。
例如：
你 | 是 | 不
你 | 是 | 不是
你是 | 不 | 是
你是 | 不 | 是傻
你是 | 不是 | 傻消除歧義規(guī)則
（1）最大匹配浙值，包括簡(jiǎn)單最大匹配及復(fù)雜最大匹配恳不。
（2）最大平均字長(zhǎng)度
（3）單詞長(zhǎng)度的最小方差
（4）單字單詞的語(yǔ)素自由度的最大和
4.分詞結(jié)果提交
我進(jìn)行了政府工作報(bào)告的分詞。詳情可見：
政府工作報(bào)告原文http://www.reibang.com/p/9dab71d520e6
政府工作報(bào)告分詞原文（Complex分詞）http://www.reibang.com/p/a0a89ed0918d
政府工作報(bào)告分詞（修改分詞后）http://www.reibang.com/p/1f93a0d4bdfb
5.基于分詞結(jié)果的詞云分析（詞頻統(tǒng)計(jì)+可視化）
使用的是在線詞頻制作進(jìn)行政府工作報(bào)告的詞頻統(tǒng)計(jì)开呐。
