“不忘初心芙贫,牢記使命,高舉中國特色社會主義偉大旗幟锄禽,決勝全面建成小康社會潜必,奪取新時代中國特色社會主義偉大勝利,為實現(xiàn)中華民族偉大復興的中國夢不懈奮斗沃但〈殴觯”
十九大召開已過去近一個月,我國社會主要矛盾已經轉變宵晚,中國特色社會主義進入了新時代垂攘,中國人民實現(xiàn)了從站起來,富起來到強起來淤刃,我們國家已經走近世界舞臺的中央晒他。國家強盛,民族自豪逸贾,為了中國夢陨仅,戮力前行。
考研的同學應該此刻也在對著十九大報告埋頭苦背吧铝侵,作為一只有中國夢和愛國心的程序猿灼伤,這份報告也必須熟讀了解啊,萬一有機會考研就用到了呢咪鲜。
出于對技術的熱愛和好奇心狐赡,Python大法立時出現(xiàn)在腦海,網上也曾有人用詞云解讀過報告嗜诀,人生苦短猾警,何不用Python來自己解讀一下這份報告孔祸,加深映像呢。
詞云
偶有看到有人實現(xiàn)用詞云展示十九大報告關鍵詞发皿,這里就利用自己掌握的技術實現(xiàn)一下詞云解讀報告崔慧。先來看看生成的詞云圖:
是不是還是蠻有趣的,報告中的高頻詞匯都清晰地以徽標的形狀映射出來了穴墅,詞頻越高惶室,詞匯也就越大。
也許也有很多同學想要學習一下這么酷炫的小技巧玄货,在自己的ppt和匯報中show一下皇钞,這里就將具體實現(xiàn)過程分享給大家。
首先要裝好python環(huán)境松捉,然后裝好幾個python的常用庫夹界,包括詞云庫wordcloud,繪圖庫matplotlib隘世,中文分詞庫jieba可柿,圖像處理庫PIL和科學計算庫numpy。
這么多庫一個個裝也會麻煩些丙者,其實下載Anaconda就可以了复斥,很多庫都直接集成在里面了。裝了Anaconda的話械媒,只需再裝個詞云庫就可以了目锭,可以在終端或者cmd輸入下面命令安裝,如果要在已有python環(huán)境安裝其他庫也可以用這個命令纷捞,具體安裝過程也可以搜索一下教程痢虹。
pip install wordcloud
準備好環(huán)境可以開始做詞云圖了,首先準備好報告全文主儡,另存為純文本文件如shijiuda.txt世分。
第一步,導入所需的庫和報告全文缀辩,path為文本文件路徑。
用jieba庫對全文分詞踪央,分詞結果以字符串形式存入alldata中臀玄,注意格式為“詞語1 詞語2 詞語3”,詞語之間用空格隔開畅蹂。
import wordcloud as wc
import matplotlib.pyplot as plt
import jieba
from PIL import Image
from numpy import array
path="D:/.../shijiuda.txt"
#從路徑讀取報告全文健无,存為data
data=open(path,"r",encoding="UTF-8").read()
#使用jieba分詞
cutdata=jieba.cut(data)
alldata=""
for i in cutdata:
alldata=alldata+" "+str(i)
第二步,選取生成詞云所需的中文字體font液斜,一般為.ttf文件累贤,windos系統(tǒng)在目錄C:\WINDOWS\Fonts下叠穆,mac在/System/Library/Fonts或/Library/Fonts目錄下,這里選了常規(guī)簡體中文黑體臼膏。
然后準備好一張背景圖片硼被,如dang.jpg,用輪廓越清晰渗磅,質量越高的圖片生成的詞云圖效果越好,對于上面做的詞云圖我找的背景圖是下面這張嚷硫。
用PIL的Image方法讀取圖片,將圖片轉為數(shù)組始鱼,然后用分好的詞alladata生成詞云圖仔掸。
font=r"/System/Library/Fonts/STHeiti Medium.ttc"
#讀圖片
pic=Image.open("D:/.../dang.jpg")
#圖片轉數(shù)組
picarray=array(pic)
#collocations=False表示是否歸并詞,傳入字體路徑医清,圖片數(shù)組起暮,設置背景顏色為白色,用alldata生成詞云
mywc=wc.WordCloud(collocations=False, font_path=font,mask=picarray,background_color="white").generate(alldata)
#畫布大小
fig = plt.figure(figsize=(10,10))
#展示圖片
plt.imshow(mywc)
#去掉坐標軸
plt.axis('off')
plt.show()
然后就可以換幾個圖片背景看看其他詞云效果了会烙。
可以看到較大較明顯的詞都是十九大報告中的高頻關鍵詞负懦。
詞頻統(tǒng)計
如果想更深入了解具體詞頻情況,可以繼續(xù)做詞頻統(tǒng)計持搜。比如我想把出現(xiàn)最多的前20個詞拿出來比對一下密似,詞云圖無法展示哪20個詞出現(xiàn)最多,這時可以用條形圖對比分析葫盼。
這個圖也是完全用Python做統(tǒng)計分析后實現(xiàn)的残腌。從這個對比圖就非常清楚的看出“社會”、“發(fā)展”贫导、“人民”抛猫、“中國”、“建設“孩灯、社會主義”等詞出現(xiàn)頻率最高闺金,都出現(xiàn)過150次以上。
首先從分詞后的數(shù)據(jù)中找出出現(xiàn)次數(shù)最多的前20個詞峰档,以及它們的詞頻败匹。
from jieba.analyse import extract_tags
import numpy as npy
#extract_tags提取詞頻前20的關鍵詞存為列表tags中
tags = extract_tags(sentence=alldata, topK=20)
#全切詞,分別統(tǒng)計出這20個關鍵詞出現(xiàn)次數(shù)讥巡,即詞頻掀亩,存為字典words_freq中
words = [word for word in jieba.cut(data, cut_all=True)]
words_freq = {}
for tag in tags:
freq = words.count(tag)
words_freq[tag] = freq
#將該字典按詞頻排序
usedata=sorted(words_freq.items(), key=lambda d:d[1])
#字典轉為numpy數(shù)組并作矩陣轉置,方便畫圖取用
tmp= npy.array(usedata).T
print(tmp)
tmp即為統(tǒng)計后的前20個數(shù)據(jù)欢顷,存有兩個列表槽棍,詞語和對應的詞頻,輸出如下:
然后利用統(tǒng)計好的數(shù)據(jù)作圖,作圖代碼如下:
#導入繪圖庫
from numpy import arange
import matplotlib
#畫布大小
fig,ax = plt.subplots(figsize=(10,10))
#輸出中文字體
myfont = matplotlib.font_manager.FontProperties(fname="/System/Library/Fonts/STHeiti Medium.ttc")
#圖表標題設置炼七,想要標題居中可以去掉x缆巧,y的設置
plt.title(u'十九大報告詞頻統(tǒng)計',fontproperties=myfont,fontsize=20,x=0.001,y=1.02)
#圖表x軸設置
ax.set_xlabel(u'出現(xiàn)次數(shù)',fontproperties=myfont,fontsize=20,x=0.06,y=1.02,color="gray")
#邊框線設置,去除上方右方的框線豌拙,左下框線置灰融入背景
ax.spines['bottom'].set_color('grey')
ax.spines['left'].set_color('grey')
ax.spines['top'].set_color('white')
ax.spines['right'].set_color('white')
#傳入詞語陕悬,y軸顯示20個標記位置,設置字體大小姆蘸,顏色為灰色
tick_positions = range(1,21)
ax.set_yticks(tick_positions)
ax.set_yticklabels(tmp[0],fontproperties=myfont,fontsize=18,color="gray")
#設置數(shù)據(jù)條的間隔
bar_positions = arange(20) + 0.75
#導入數(shù)據(jù)并做圖展示
ax.barh(bar_positions, tmp[1], 0.5,align="edge")
plt.show()
這樣就實現(xiàn)了完全用python繪制出上面的詞頻統(tǒng)計圖了墩莫。
利用上面的方法就可以畫其他文本比如小說、文章逞敷、評論的詞云或者詞頻統(tǒng)計圖啦狂秦。