用jieba分詞提取關(guān)鍵詞做漂亮的詞云


早上看到簡友@向右奔跑 的文章超簡單:快速制作一款高逼格詞云圖,試了一下介紹的工具真心好用,近期剛好想爬些數(shù)據(jù)做詞云藻肄,就嘗試了一下jieba分詞提取txt關(guān)鍵詞生成詞云。
先上效果圖:

用到的工具

  1. 原始數(shù)據(jù):《白夜行》小說拒担,txt格式(我是用calibre把原來mobi格式的書轉(zhuǎn)成txt的)嘹屯。后期可以用爬蟲爬點網(wǎng)頁數(shù)據(jù)做原始數(shù)據(jù)。為簡單就先用txt練手好了从撼。
  2. 提取關(guān)鍵詞:jieba分詞州弟、停用詞表
  3. 在線詞云生成工具:TAGUL

簡單分析一下

生成詞云最關(guān)鍵的問題是中文分詞,統(tǒng)計分析各個詞的權(quán)重(權(quán)重較高的字體顯示較大)低零。這些問題jieba分詞已經(jīng)幫我們解決了婆翔。我們只需要import jieba.analyse,使用jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())方法即可掏婶,當然只是提取關(guān)鍵詞還是不夠的啃奴,因為有些沒有意義的常用詞諸如“我的”、“或者”雄妥、“一個”等詞最蕾,會出現(xiàn)在結(jié)果里面,還需要一個“停用詞表”來幫我們過濾結(jié)果老厌。
我們的目標是提取關(guān)鍵詞瘟则,并得到“關(guān)鍵詞+制表符+權(quán)重”的文本,這里關(guān)鍵詞和權(quán)重用制表符隔開是為了在用在線工具的時候枝秤,能順利導入權(quán)重的值醋拧,決定詞的大小(size)淀弹。


關(guān)鍵詞和size中間用制表符分開


步驟:

  1. 安裝jieba pip install jieba
  2. 準備好txt文件和停用詞表(網(wǎng)上可以下載到丹壕,txt格式即可)
  3. 編寫代碼
import jieba.analyse

path = '你的txt文件路徑'
file_in = open(path, 'r')
content = file_in.read()

try:
    jieba.analyse.set_stop_words('你的停用詞表路徑')
    tags = jieba.analyse.extract_tags(content, topK=100, withWeight=True)
    for v, n in tags:
        #權(quán)重是小數(shù),為了湊整垦页,乘了一萬
        print v + '\t' + str(int(n * 10000))

finally:
    file_in.close()

運行結(jié)果如下:


4.打開TAGUL雀费,開始制作詞云干奢,把結(jié)果貼進import words里


5.選個shape(詞云輪廓)

6.在fonts中痊焊,導入一個中文字體,我用的微軟雅黑:

7.點擊visualize即可生成

8.Download and Share里面可以下載需要的格式。

參考文章:

1.TF-IDF與余弦相似性的應用(一):自動提取關(guān)鍵詞
2.超簡單:快速制作一款高逼格詞云圖
3.jieba的github

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末薄啥,一起剝皮案震驚了整個濱河市辕羽,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌垄惧,老刑警劉巖刁愿,帶你破解...
    沈念sama閱讀 216,544評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異到逊,居然都是意外死亡铣口,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,430評論 3 392
  • 文/潘曉璐 我一進店門觉壶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來脑题,“玉大人,你說我怎么就攤上這事铜靶∈逅欤” “怎么了?”我有些...
    開封第一講書人閱讀 162,764評論 0 353
  • 文/不壞的土叔 我叫張陵争剿,是天一觀的道長已艰。 經(jīng)常有香客問我,道長蚕苇,這世上最難降的妖魔是什么哩掺? 我笑而不...
    開封第一講書人閱讀 58,193評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮涩笤,結(jié)果婚禮上疮丛,老公的妹妹穿的比我還像新娘。我一直安慰自己辆它,他們只是感情好誊薄,可當我...
    茶點故事閱讀 67,216評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著锰茉,像睡著了一般呢蔫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上飒筑,一...
    開封第一講書人閱讀 51,182評論 1 299
  • 那天片吊,我揣著相機與錄音,去河邊找鬼协屡。 笑死俏脊,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的肤晓。 我是一名探鬼主播爷贫,決...
    沈念sama閱讀 40,063評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼认然,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了漫萄?” 一聲冷哼從身側(cè)響起卷员,我...
    開封第一講書人閱讀 38,917評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎腾务,沒想到半個月后毕骡,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,329評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡岩瘦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,543評論 2 332
  • 正文 我和宋清朗相戀三年未巫,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片启昧。...
    茶點故事閱讀 39,722評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡橱赠,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出箫津,到底是詐尸還是另有隱情狭姨,我是刑警寧澤,帶...
    沈念sama閱讀 35,425評論 5 343
  • 正文 年R本政府宣布苏遥,位于F島的核電站饼拍,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏田炭。R本人自食惡果不足惜师抄,卻給世界環(huán)境...
    茶點故事閱讀 41,019評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望教硫。 院中可真熱鬧叨吮,春花似錦、人聲如沸瞬矩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,671評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽景用。三九已至涵叮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間伞插,已是汗流浹背割粮。 一陣腳步聲響...
    開封第一講書人閱讀 32,825評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留媚污,地道東北人舀瓢。 一個月前我還...
    沈念sama閱讀 47,729評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像耗美,于是被迫代替她去往敵國和親京髓。 傳聞我的和親對象是個殘疾皇子航缀,可洞房花燭夜當晚...
    茶點故事閱讀 44,614評論 2 353

推薦閱讀更多精彩內(nèi)容