Jieba使用實(shí)驗(yàn)
本文嘗試了jieba的三種分詞模式碟绑、自定義字典、計(jì)算頻數(shù)并將頻數(shù)較高的分詞結(jié)果存入csv文件颅眶。
1. 配置
安裝jieba
pip install jieba
2. jieba三種分詞模式嘗試
jieba的分詞一般用cut函數(shù)完成寥院，函數(shù)定義如下：
def cut(sentence,cut_all=False,HMM=True):
其中sentence是需要分詞的句子樣本掰盘；cut_all是分詞的模式欠橘，默認(rèn)是false是精準(zhǔn)模式矩肩；HMM就是隱馬爾可夫鏈，這個(gè)是在分詞的理論模型中用到的肃续，默認(rèn)是開(kāi)啟的黍檩。
jieba分詞的模式分為三種：
- 精確模式，試圖將句子最精確地切開(kāi)始锚，適合文本分析刽酱；
- 全模式，把句子中所有的可以成詞的詞語(yǔ)都掃描出來(lái), 速度非城瓢疲快棵里，但是不能解決歧義；
- 搜索引擎模式姐呐，在精確模式的基礎(chǔ)上殿怜，對(duì)長(zhǎng)詞再次切分，提高召回率皮钠，適合用于搜索引擎分詞稳捆。
由于本組的課程設(shè)計(jì)為導(dǎo)師搜索引擎，所以本次實(shí)驗(yàn)的分詞對(duì)象選用了四川大學(xué)公共管理學(xué)院官網(wǎng)的夏志強(qiáng)教師的簡(jiǎn)介文本：
實(shí)現(xiàn)jieba三種分詞模式的python代碼如下：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
#全模式
seg_list = jieba.cut(text,cut_all=True)
print "[全模式]: ","/ ".join(seg_list)
#精確模式
seg_list = jieba.cut(text,cut_all=False)
print "[精確模式]: ","/ ".join(seg_list)
#搜索引擎模式
seg_list = jieba.cut_for_search(text)
print "[搜索引擎模式]: ","/ ".join(seg_list)
運(yùn)行結(jié)果如下：
3. 自定義字典
從結(jié)果中我們可以看出麦轰，專有名詞"公共管理學(xué)院乔夯、"博士生導(dǎo)師"、"政治學(xué)類"可能因分詞而分開(kāi)款侵，這也是很多分詞工具的又一個(gè)缺陷末荐。但是Jieba分詞支持開(kāi)發(fā)者使用自定定義的詞典，以便包含jieba詞庫(kù)里沒(méi)有的詞語(yǔ)新锈。雖然結(jié)巴有新詞識(shí)別能力甲脏，但自行添加新詞可以保證更高的正確率，尤其是專有名詞妹笆。
- 新建dict.txt
在代碼中引入自定義字典：
jieba.load_userdict("dict.txt") #自定義字典-
結(jié)果：
我們可以看到由于添加了自定義詞典块请，“公共管理學(xué)院”、“博士生導(dǎo)師”拳缠、“副主任”等詞被連起來(lái)了墩新。
4. 計(jì)算詞頻并存入文件后，得到最終結(jié)果
為實(shí)現(xiàn)計(jì)數(shù)并存入文件窟坐，我使用了python的Counter模塊對(duì)分詞結(jié)果列表進(jìn)行計(jì)數(shù)海渊，使用了csv模塊將結(jié)果寫(xiě)入csv編輯。
最終代碼如下：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
import csv
from collections import Counter
import codecs
jieba.load_userdict("dict.txt") #自定義字典
def word_frequency(text):
seg_list = [seg for seg in jieba.cut(text,cut_all=False) if len(seg)>=2] #字符串長(zhǎng)度為2及以上的精確分詞的list
count = Counter(seg_list) #計(jì)數(shù)
csv =open('result.csv','w') #打開(kāi)或新建一個(gè)csv文件
csv.write(codecs.BOM_UTF8) #防止亂碼
for wordcount in count.most_common(50):
word,freq=wordcount
csv.write(word+','+str(freq)+'\n') #寫(xiě)入csv文件
print (word,freq)
if __name__=='__main__':
with open('text1.txt','r') as t:
text=t.read() #打開(kāi)待分詞文本文件
word_frequency(text)
運(yùn)行結(jié)果哲鸳，輸出了50個(gè)頻次最高的分詞及其對(duì)應(yīng)的頻數(shù)：
順便用在線工具按詞頻做了一個(gè)詞云：
IK Analyzer使用實(shí)驗(yàn)
配置
1. 安裝Apache Solr
wget [http://mirror.bit.edu.cn/apache/lucene/solr/7.3.1/solr-7.3.1.tgz](http://mirror.bit.edu.cn/apache/lucene/solr/7.3.1/solr-7.3.1.tgz)
tar zxvf solr-7.3.1.tgz
啟動(dòng)solr服務(wù)
sudo ./solr start -p 8983 -force
啟動(dòng)成功（圖中是8080端口臣疑，但實(shí)際上我們最后用的是8983）
2. 配置IK Analyzer
- 將IK分詞器 JAR 包拷貝到../server/solr-webapp/webapp/WEB-INF/lib下
- 將詞典配置文件拷貝到 ../server/solr-webapp/webapps/solr/WEB-INF/classes下
- 新建core
sudo ./solr create -c hyjcore -p 8983 -force
在core下，conf中放的是配置文件徙菠，stopwords中放的是停用詞 - 修改conf下的managed-schema配置文件讯沈，添加ik analyzer的相關(guān)配置
- 在bin下重啟solr服務(wù)
sudo ./solr start -p 8983 -force
進(jìn)行分詞
使用chrome瀏覽器進(jìn)入http://139.199.177.192:8983（公網(wǎng)ip和solr運(yùn)行端口）/solr/#/
運(yùn)行結(jié)果：
從分詞結(jié)果來(lái)看，IK Analyzer和Jieba的全模式和搜索引擎模式結(jié)果較為相似婿奔，但從語(yǔ)義上來(lái)看精確度不如Jieba的精確模式芙盘。
