用Python制作酷炫詞云圖递惋,原來這么簡單柔滔!

一、簡介

詞云圖是文本挖掘中用來表征詞頻的數(shù)據(jù)可視化圖像萍虽,通過它可以很直觀地展現(xiàn)文本數(shù)據(jù)中地高頻詞:睛廊!

圖1 詞云圖示例

在Python中有很多可視化框架可以用來制作詞云圖,如pyecharts杉编,但這些框架并不是專門用于制作詞云圖的超全,因此并不支持更加個性化的制圖需求咆霜,要想創(chuàng)作出更加美觀個性的詞云圖,需要用到一些專門繪制詞云圖的第三方模塊卵迂,本文就將針對其中較為優(yōu)秀易用的wordcloud以及stylecloud的用法進(jìn)行介紹和舉例說明裕便。

二、利用wordcloud繪制詞云圖

wordcloud是Python中制作詞云圖比較經(jīng)典的一個模塊见咒,賦予用戶高度的自由度來創(chuàng)作詞云圖:

圖2 wordcloud制作詞云圖示例

2.1 從一個簡單的例子開始

這里我們使用到來自wordcloud官方文檔中的constitution.txt來作為可視化的數(shù)據(jù)素材:

圖3 constitution.txt

  首先我們讀入數(shù)據(jù)并將數(shù)據(jù)清洗成空格分隔的長字符串:

importre

withopen(‘constitution.txt’)asc:

‘’’抽取文本中的英文部分并小寫化偿衰,并將空格作為分隔拼接為長字符串’’’

text =‘ ‘.join([word.group().lower()forwordinre.finditer(‘[a-zA-Z]+’, c.read())])

‘’’查看前100個字符’’’

text[:500]

圖4 清洗后的片段文本

接著使用wordcloud中用于生成詞云圖的類WordCloud配合matplotlib,在默認(rèn)參數(shù)設(shè)置下生成一張簡單的詞云圖:

fromwordcloudimportWordCloud

importmatplotlib.pyplotasplt

%matplotlib inline

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud().generate(text)

plt.figure(figsize=[12,10])

plt.imshow(wordcloud)

plt.axis(‘off’)

plt.show()

生成的詞云圖:

圖5 默認(rèn)參數(shù)下的詞云圖

  畢竟是在默認(rèn)參數(shù)下生成的詞云圖改览,既丑陋又模糊下翎,為了繪制好看的詞云圖,接下來我們來對wordcloud繪制詞云圖的細(xì)節(jié)內(nèi)容進(jìn)行介紹宝当,并不斷地對圖5進(jìn)行升級改造视事。

2.2 WordCloud

作為wordcloud繪制詞云圖最核心的類,WordCloud的主要參數(shù)及說明如下:

fontpath:字符型庆揩,用于傳入本地特定字體文件的路徑(ttf或otf文件)從而影響詞云圖的字體族

width:int型俐东,用于控制詞云圖畫布寬度,默認(rèn)為400

height:int型订晌,用于控制詞云圖畫布高度虏辫,默認(rèn)為200

prefer_horizontal:float型,控制所有水平顯示的文字相對于豎直顯示文字的比例锈拨,越小則詞云圖中豎直顯示的文字越多

mask:傳入蒙版圖像矩陣砌庄,使得詞云的分布與傳入的蒙版圖像一致

contour:float型,當(dāng)mask不為None時奕枢,contour參數(shù)決定了蒙版圖像輪廓線的顯示寬度娄昆,默認(rèn)為0即不顯示輪廓線

contour_color:設(shè)置蒙版輪廓線的顏色,默認(rèn)為’black’

scale:當(dāng)畫布長寬固定時缝彬,按照比例進(jìn)行放大畫布萌焰,如scale設(shè)置為1.5,則長和寬都是原來畫布的1.5倍

min_font_size:int型谷浅,控制詞云圖中最小的詞對應(yīng)的字體大小杆怕,默認(rèn)為4

max_font_size:int型,控制詞云圖中最大的詞對應(yīng)的字體大小壳贪,默認(rèn)為200

max_words:int型陵珍,控制一張畫布中最多繪制的詞個數(shù),默認(rèn)為200

stopwords:控制繪圖時忽略的停用詞违施,即不繪制停用詞中提及的詞互纯,默認(rèn)為None,即調(diào)用自帶的停用詞表(僅限英文磕蒲,中文需自己提供并傳入)

background_color:控制詞云圖背景色留潦,默認(rèn)為’black’

mode:當(dāng)設(shè)置為’RGBA’且background_color設(shè)置為None時只盹,背景色變?yōu)橥该鳎J(rèn)為’RGB’

relative_scaling:float型兔院,控制詞云圖繪制字的字體大小與對應(yīng)字詞頻的一致相關(guān)性殖卑,當(dāng)設(shè)置為1時完全相關(guān),當(dāng)為0時完全不相關(guān)坊萝,默認(rèn)為0.5

color_func:傳入自定義調(diào)色盤函數(shù)孵稽,默認(rèn)為None

colormap:對應(yīng)matplotlib中的colormap調(diào)色盤,默認(rèn)為viridis十偶,這個參數(shù)與參數(shù)color_func互斥菩鲜,當(dāng)color_func有函數(shù)傳入時本參數(shù)失效

repeat:bool型,控制是否允許一張詞云圖中出現(xiàn)重復(fù)詞惦积,默認(rèn)為False即不允許重復(fù)詞

random_state:控制隨機(jī)數(shù)水平接校,傳入某個固定的數(shù)字之后每一次繪圖文字布局將不會改變

  了解了上述參數(shù)的意義之后,首先我們修改背景色為白色狮崩,增大圖床的長和寬蛛勉,加大scale以提升圖片的精細(xì)程度,并使得水平顯示的文字盡可能多:

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud(background_color=‘white’,# 背景色為白色

height=400,# 高度設(shè)置為400

width=800,# 寬度設(shè)置為800

scale=20,# 長寬拉伸程度設(shè)置為20

prefer_horizontal=0.9999).generate(text)

plt.figure(figsize=[8,4])

plt.imshow(wordcloud)

plt.axis(‘off’)

‘’’保存到本地’’’

plt.savefig(‘圖6.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)

plt.show()

圖6

  可以看到相較于圖5睦柴,在美觀程度上有了很大的進(jìn)步诽凌,接下來,我們在圖6的基礎(chǔ)上添加美國本土地圖蒙版:

圖7 美國本土地圖蒙版

  利用PIL模塊讀取我們的美國本土地圖蒙版.png文件并轉(zhuǎn)換為numpy數(shù)組爱只,作為WordCloud的mask參數(shù)傳入:

fromPILimportImage

importnumpyasnp

usa_mask = np.array(Image.open(‘美國本土地圖蒙版.png’))

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud(background_color=‘white’,# 背景色為白色

height=4000,# 高度設(shè)置為400

width=8000,# 寬度設(shè)置為800

scale=20,# 長寬拉伸程度程度設(shè)置為20

prefer_horizontal=0.9999,

mask=usa_mask# 添加蒙版

).generate(text)

plt.figure(figsize=[8,4])

plt.imshow(wordcloud)

plt.axis(‘off’)

‘’’保存到本地’’’

plt.savefig(‘圖8.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)

plt.show()

圖8

  可以看到圖8在圖6的基礎(chǔ)上進(jìn)一步提升了美觀程度,接下來我們利用wordcloud中用于從圖片中提取調(diào)色方案的類ImageColorGenerator來從下面的星條旗美國地圖蒙版中提取色彩方案招刹,進(jìn)而反饋到詞云圖上:

圖9 美國地圖蒙版星條旗色

fromPILimportImage

importnumpyasnp

fromwordcloudimportImageColorGenerator

usamask = np.array(Image.open(‘美國地圖蒙版星條旗色.png’))

image_colors = ImageColorGenerator(usa_mask)

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud(background_color=‘white’,# 背景色為白色

height=400,# 高度設(shè)置為400

width=800,# 寬度設(shè)置為800

scale=20,# 長寬拉伸程度程度設(shè)置為20

prefer_horizontal=0.2,# 調(diào)整水平顯示傾向程度為0.2

mask=usa_mask,# 添加蒙版

max_words=1000,# 設(shè)置最大顯示字?jǐn)?shù)為1000

relative_scaling=0.3,# 設(shè)置字體大小與詞頻的關(guān)聯(lián)程度為0.3

max_font_size=80# 縮小最大字體為80

).generate(text)

plt.figure(figsize=[8,4])

plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)

plt.axis(‘off’)

‘’’保存到本地’’’

plt.savefig(‘圖10.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)

plt.show()

圖10

2.3 中文詞云圖

  相較于英文文本語料恬试,中文語料處理起來要麻煩一些辞色,我們需要先進(jìn)行分詞等預(yù)處理才能進(jìn)行下一步的處理新蟆,這里我們使用某外賣平臺用戶評論數(shù)據(jù),先讀取進(jìn)來看看:

importpandasaspd

importjieba

‘’’讀入原始數(shù)據(jù)’’’

raw_comments = pd.read_csv(‘waimai_10k.csv’);raw_comments.head()

圖11

接下來我們利用re锅知、jieba以及pandas中的apply對評論列進(jìn)行快速清洗:

‘’’導(dǎo)入停用詞表’’’

withopen(‘stopwords.txt’)ass:

stopwords = set([line.replace(‘\n’,‘’)forlineins])

‘’’傳入apply的預(yù)處理函數(shù)妇拯,完成中文提取幻馁、分詞以及多余空格剔除’’’

defpreprocessing(c):

c = [wordforwordinjieba.cut(‘ ‘.join(re.findall(‘[\u4e00-\u9fa5]+’, c)))ifword !=‘ ‘a(chǎn)ndwordnotinstopwords]

return‘ ‘.join(c)

‘’’將所有語料按空格拼接為一整段文字’’’

comments =‘ ‘.join(raw_comments[‘review’].apply(preprocessing));comments[:500]

得到的結(jié)果如圖12:

圖12

這時我們就得到所需的文本數(shù)據(jù),接下來我們用美團(tuán)外賣的logo圖片作為蒙版繪制詞云圖:

圖13 美團(tuán)外賣logo蒙版

fromPILimportImage

importnumpyasnp

fromwordcloudimportImageColorGenerator

waimai_mask = np.array(Image.open(‘美團(tuán)外賣logo蒙版.png’))

image_colors = ImageColorGenerator(waimai_mask)

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud(background_color=‘white’,# 背景色為白色

height=400,# 高度設(shè)置為400

width=800,# 寬度設(shè)置為800

scale=20,# 長寬拉伸程度程度設(shè)置為20

prefer_horizontal=0.2,# 調(diào)整水平顯示傾向程度為0.2

mask=waimai_mask,# 添加蒙版

max_words=1000,# 設(shè)置最大顯示字?jǐn)?shù)為1000

relative_scaling=0.3,# 設(shè)置字體大小與詞頻的關(guān)聯(lián)程度為0.3

max_font_size=80# 縮小最大字體為80

).generate(comments)

plt.figure(figsize=[8,4])

plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)

plt.axis(‘off’)

‘’’保存到本地’’’

plt.savefig(‘圖14.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)

plt.show()

這時我們會發(fā)現(xiàn)詞云圖上繪制出的全是亂碼越锈,這是因為matplotlib默認(rèn)字體是不包含中文的:

圖14 中文亂碼問題

這時我們只需要為WordCloud傳入font_path參數(shù)即可仗嗦,這里我們選擇SimHei字體:

fromPILimportImage

importnumpyasnp

fromwordcloudimportImageColorGenerator

waimai_mask = np.array(Image.open(‘美團(tuán)外賣logo蒙版.png’))

image_colors = ImageColorGenerator(waimai_mask)

‘’’從文本中生成詞云圖’’’

wordcloud = WordCloud(font_path=‘SimHei.ttf’,# 定義SimHei字體文件

background_color=‘white’,# 背景色為白色

height=400,# 高度設(shè)置為400

width=800,# 寬度設(shè)置為800

scale=20,# 長寬拉伸程度程度設(shè)置為20

prefer_horizontal=0.2,# 調(diào)整水平顯示傾向程度為0.2

mask=waimai_mask,# 添加蒙版

max_words=1000,# 設(shè)置最大顯示字?jǐn)?shù)為1000

relative_scaling=0.3,# 設(shè)置字體大小與詞頻的關(guān)聯(lián)程度為0.3

max_font_size=80# 縮小最大字體為80

).generate(comments)

plt.figure(figsize=[8,4])

plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)

plt.axis(‘off’)

‘’’保存到本地’’’

plt.savefig(‘圖15.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)

plt.show()

圖15

三、利用stylecloud繪制詞云圖

stylecloud是一個較為嶄新的模塊甘凭,它基于wordcloud稀拐,添加了一系列的嶄新特性譬如漸變顏色等,可以支持更為個性化的詞云圖創(chuàng)作:

圖16 styleword制作詞云圖示例

3.1 從一個簡單的例子開始

這里我們沿用上一章節(jié)中使用過的處理好的text來繪制詞云圖:

importstylecloud

fromIPython.displayimportImage# 用于在jupyter lab中顯示本地圖片

‘’’生成詞云圖’’’

stylecloud.gen_stylecloud(text=text,

size=512,

output_name=‘圖17.png’)

‘’’顯示本地圖片’’’

Image(filename=‘圖17.png’)

圖17

可以看出丹弱,styleword生成詞云圖的方式跟wordcloud不同德撬,它直接就將原始文本轉(zhuǎn)換成本地詞云圖片文件铲咨,下面我們針對其繪制詞云圖的細(xì)節(jié)內(nèi)容進(jìn)行介紹。

3.2 gen_stylecloud

在stylecloud中繪制詞云圖只需要gen_stylecloud這一個函數(shù)即可蜓洪,其主要參數(shù)及說明如下:

text:字符串纤勒,格式同WordCloud中的generate()方法中傳入的text

gradient:控制詞云圖顏色漸變的方向,’horizontal’表示水平方向上漸變隆檀,’vertical’表示豎直方向上漸變摇天,默認(rèn)為’horizontal’

size:控制輸出圖像文件的分辨率(因為stylecloud默認(rèn)輸出方形圖片,所以size傳入的單個整數(shù)代表長和寬)刚操,默認(rèn)為512

icon_name:這是stylecloud中的特殊參數(shù)闸翅,通過傳遞對應(yīng)icon的名稱,你可以使用多達(dá)1544個免費圖標(biāo)來作為詞云圖的蒙版菊霜,點擊這里查看你可以免費使用的圖標(biāo)蒙版樣式坚冀,默認(rèn)為’fas fa-flag’

palette:控制調(diào)色方案,stylecloud的調(diào)色方案調(diào)用了palettable鉴逞,這是一個非常實用的模塊记某,其內(nèi)部收集了數(shù)量驚人的大量的經(jīng)典調(diào)色方案,默認(rèn)為’cartocolors.qualitative.Bold_5’

background_color:字符串构捡,控制詞云圖底色液南,可傳入顏色名稱或16進(jìn)制色彩,默認(rèn)為’white’

max_font_size:同wordcloud

max_words:同wordcloud

stopwords:bool型勾徽,控制是否開啟去停用詞功能滑凉,默認(rèn)為True,調(diào)用自帶的英文停用詞表

custom_stopwords:傳入自定義的停用詞List喘帚,配合stopwords共同使用

output_name:控制輸出詞云圖文件的文件名畅姊,默認(rèn)為stylecloud.png

font_path:傳入自定義字體*.ttf文件的路徑

random_state:同wordcloud

  對上述參數(shù)有所了解之后,下面我們在圖17的基礎(chǔ)上進(jìn)行改良吹由,首先我們將圖標(biāo)形狀換成炸彈的樣子若未,接著將配色方案修改為scientific.diverging.Broc_3:

‘’’生成詞云圖’’’

stylecloud.gen_stylecloud(text=text,

size=1024,

output_name=‘圖18.png’,

palette=‘scientific.diverging.Broc_3’,# 設(shè)置配色方案

icon_name=‘fas fa-bomb’# 設(shè)置圖標(biāo)樣式

)

‘’’顯示本地圖片’’’

Image(filename=‘圖18.png’)

圖18

3.3 繪制中文詞云圖

在wordcloud中繪制中文詞云圖類似wordcloud只需要注意傳入支持中文的字體文件即可,下面我們使用一個微博語料數(shù)據(jù)weibo_senti_100k.csv來舉例:

weibo = pd.read_csv(‘weibo_senti_100k.csv’)

weibo_text = [wordforwordinjieba.cut(‘ ‘.join(re.findall(‘[\u4e00-\u9fa5]+’,‘ ‘.join(weibo[‘review’].tolist()))))ifword !=‘ ‘a(chǎn)ndwordnotinstopwords]

weibo_text[:10]

圖19

  接著我們將蒙版圖標(biāo)樣式換成新浪微博倾鲫,將色彩方案換成colorbrewer.sequential.Reds_3:

‘’’生成詞云圖’’’

‘’’生成詞云圖’’’

stylecloud.gen_stylecloud(text=‘ ‘.join(weibo_text),

size=1024,

output_name=‘圖20.png’,

palette=‘colorbrewer.sequential.Reds_3’,# 設(shè)置配色方案為https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3

icon_name=‘fab fa-weibo’,# 設(shè)置圖標(biāo)樣式

gradient=‘horizontal’,# 設(shè)置顏色漸變方向為水平

font_path=‘SimHei.ttf’,

collocations=False

)

‘’’顯示本地圖片’’’

Image(filename=‘圖20.png’)

圖20

  以上就是本文的全部內(nèi)容粗合,如有筆誤望指出!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末乌昔,一起剝皮案震驚了整個濱河市隙疚,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌磕道,老刑警劉巖甚淡,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡贯卦,警方通過查閱死者的電腦和手機(jī)资柔,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來撵割,“玉大人贿堰,你說我怎么就攤上這事》缺颍” “怎么了羹与?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長庶灿。 經(jīng)常有香客問我纵搁,道長,這世上最難降的妖魔是什么往踢? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任腾誉,我火速辦了婚禮,結(jié)果婚禮上峻呕,老公的妹妹穿的比我還像新娘利职。我一直安慰自己,他們只是感情好瘦癌,可當(dāng)我...
    茶點故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布猪贪。 她就那樣靜靜地躺著,像睡著了一般讯私。 火紅的嫁衣襯著肌膚如雪热押。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天斤寇,我揣著相機(jī)與錄音桶癣,去河邊找鬼。 笑死抡驼,一個胖子當(dāng)著我的面吹牛鬼廓,可吹牛的內(nèi)容都是我干的肿仑。 我是一名探鬼主播致盟,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼尤慰!你這毒婦竟也來了馏锡?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤伟端,失蹤者是張志新(化名)和其女友劉穎杯道,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體责蝠,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡党巾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年萎庭,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片齿拂。...
    茶點故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡驳规,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出署海,到底是詐尸還是另有隱情吗购,我是刑警寧澤,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布砸狞,位于F島的核電站捻勉,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏刀森。R本人自食惡果不足惜踱启,卻給世界環(huán)境...
    茶點故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望撒强。 院中可真熱鬧禽捆,春花似錦、人聲如沸飘哨。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽芽隆。三九已至浊服,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間胚吁,已是汗流浹背牙躺。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留腕扶,地道東北人孽拷。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像半抱,于是被迫代替她去往敵國和親脓恕。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,440評論 2 359

推薦閱讀更多精彩內(nèi)容