打算繪制中文詞云圖春锋？那你得先學(xué)會如何做中文文本分詞矫膨。跟著我們的教程，一步步用Python來動手實踐吧期奔。
需求
在《如何用Python做詞云》一文中侧馅，我們介紹了英文文本的詞云制作方法。大家玩兒得可還高興呐萌？
文中提過施禾，選擇英文文本作為示例，是因為處理起來最簡單搁胆。但是很快就有讀者嘗試用中文文本做詞云了弥搞。按照前文的方法，你成功了嗎渠旁？
估計是不成功的攀例。因為這里面缺了一個重要的步驟。
觀察你的英文文本顾腊。你會發(fā)現(xiàn)英文單詞之間采用空格作為強制分隔符粤铭。
例如：
Yes Minister is a satirical British sitcom written by Sir Antony Jay and Jonathan Lynn that was first transmitted by BBC Television between 1980 and 1984, split over three seven-episode series.
但是，中文的文本就沒有這種空格區(qū)隔了杂靶。為了做詞云梆惯，我們首先需要知道中文文本里面都有哪些“詞”酱鸭。
你可能覺得這根本不是問題——我一眼就能看出詞和詞之間的邊界！
對垛吗，你當(dāng)然可以凹髓。你可以人工處理1句、100句怯屉，甚至是10000句話蔚舀。但是如果給你100萬句話呢？
這就是人工處理和電腦自動化處理的最顯著區(qū)別——規(guī)模锨络。
別那么急著放棄啊赌躺，你可以用電腦來幫忙。
你的問題應(yīng)該是：如何用電腦把中文文本正確拆分為一個個的單詞呢羡儿？
這種工作礼患，專業(yè)術(shù)語叫做分詞。
在介紹分詞工具及其安裝之前掠归，請確認(rèn)你已經(jīng)閱讀過《如何用Python做詞云》一文缅叠，并且按照其中的步驟做了相關(guān)的準(zhǔn)備工作，然后再繼續(xù)依照本文的介紹一步步實踐拂到。
分詞
中文分詞的工具有很多種。有的免費码泞，有的收費兄旬。有的在你的筆記本電腦里就能安裝使用，有的卻需要聯(lián)網(wǎng)做云計算余寥。
今天給大家介紹的领铐，是如何利用Python，在你的筆記本電腦上宋舷，免費做中文分詞绪撵。
我們采用的工具，名稱很有特點祝蝠，叫做“ 結(jié)巴分詞 ”音诈。
為什么叫這么奇怪的名字？
讀完本文绎狭，你自己應(yīng)該就能想明白了细溅。
我們先來安裝這款分詞工具±芩唬回到你的“終端”或者“命令提示符”下喇聊。
進入你之前建立好的demo文件夾。
輸入以下命令：
pip install jieba
好了蹦狂，現(xiàn)在你電腦里的Python已經(jīng)知道該如何給中文分詞了誓篱。
數(shù)據(jù)
在《如何用Python做詞云》一文中朋贬，我們使用了英劇”Yes, minister“的維基百科介紹文本。這次我們又從維基百科上找到了這部英劇對應(yīng)的中文頁面窜骄。翻譯名稱叫做《是锦募，大臣》。
將網(wǎng)頁正文拷貝下來之后啊研，存入文本文件yes-minister-cn.txt御滩，并且將這個文件移動到我們的工作目錄demo下面。
好了党远，我們有了用于分析的中文文本數(shù)據(jù)了削解。
先別忙著編程序。正式輸入代碼之前沟娱，我們還需要做一件事情氛驮，就是下載一份中文字體文件。
請到 這個網(wǎng)址 下載simsun.ttf济似。
下載后矫废，將這個ttf字體文件也移動到demo目錄下，跟文本文件放在一起砰蠢。
代碼
在命令行下蓖扑，執(zhí)行：
jupyter notebook
瀏覽器會自動開啟，并且顯示如下界面台舱。
這里還有上一次詞云制作時咱們的勞動成果律杠。此時目錄下多了一個文本文件，是"Yes, Minister"的中文介紹信息竞惋。
打開這個文件柜去，瀏覽一下內(nèi)容。
我們確認(rèn)中文文本內(nèi)容已經(jīng)正確存儲拆宛。
回到Jupyter筆記本的主頁面嗓奢。點擊New按鈕，新建一個筆記本(Notebook)浑厚。在Notebooks里面股耽，請選擇Python 2選項。
系統(tǒng)會提示我們輸入Notebook的名稱钳幅。為了和上次的英文詞云制作筆記本區(qū)別豺谈，就叫它wordcloud-cn好了。
我們在網(wǎng)頁里唯一的代碼文本框里贡这，輸入以下3條語句。輸入后，按Shift+Enter鍵執(zhí)行丽惭。
filename = "yes-minister-cn.txt"
with open(filename) as f:
mytext = f.read()
然后我們嘗試顯示mytext的內(nèi)容击奶。輸入以下語句之后，還是得按Shift+Enter鍵執(zhí)行。
print(mytext)
顯示的結(jié)果如下圖所示叫潦。
既然中文文本內(nèi)容讀取沒有問題傻咖，我們就開始分詞吧硬纤。輸入以下兩行語句：
import jieba
mytext = " ".join(jieba.cut(mytext))
系統(tǒng)會提示一些信息溪王，那是結(jié)巴分詞第一次啟用的時候需要做的準(zhǔn)備工作莹菱。忽略就可以了蜜徽。
分詞的結(jié)果如何砚嘴？我們來看看图毕。輸入：
print(mytext)
你就可以看到下圖所示的分詞結(jié)果了。
單詞之間已經(jīng)不再緊緊相連，而是用空格做了區(qū)隔嘱朽，就如同英文單詞間的自然劃分一樣。
你是不是迫不及待要用分詞后的中文文本作詞云了庇绽？
可以弛槐，輸入以下語句：
from wordcloud import WordCloud
wordcloud = WordCloud().generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off"
激動地期待著中文詞云的出現(xiàn)？
可惜响鹃，你看到的詞云是這個樣子的驾霜。
你是不是非常憤怒，覺得這次又掉坑里了买置？
別著急粪糙，出現(xiàn)這樣的結(jié)果，并不是分詞或者詞云繪制工具有問題忿项，更不是因為咱們的教程步驟有誤蓉冈，只是因為字體缺失。詞云繪制工具wordcloud默認(rèn)使用的字體是英文的轩触，不包含中文編碼寞酿，所以才會方框一片。解決的辦法脱柱，就是把你之前下載的simsun.ttf伐弹，作為指定輸出字體。
輸入以下語句：
from wordcloud import WordCloud
wordcloud = WordCloud(font_path="simsun.ttf").generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
這次你看到的輸出圖形就變成了這個樣子：
這樣一來榨为，我們就通過中文詞云的制作過程惨好，體會到了中文分詞的必要性了。
這里給你留個思考題随闺，對比一下此次生成的中文詞云日川，和上次做出的英文詞云：
這兩個詞云對應(yīng)的文本都來自維基百科，描述的是同樣一部劇矩乐，它們有什么異同龄句？從這種對比中，你可以發(fā)現(xiàn)維基百科中英文介紹內(nèi)容之間，有哪些有趣的規(guī)律分歇？
討論
掌握了本方法后透葛，你自己做出了一張什么樣的中文詞云圖？除了做詞云以外卿樱，你還知道中文分詞的哪些其他應(yīng)用場景僚害？歡迎留言，分享給大家繁调。我們共同交流討論萨蚕。
喜歡請點贊。還可以微信關(guān)注和置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)蹄胰。
如果你對數(shù)據(jù)科學(xué)感興趣岳遥，不妨閱讀我的系列教程索引貼《如何高效入門數(shù)據(jù)科學(xué)？》裕寨，里面還有更多的有趣問題及解法浩蓉。
