Python爬蟲(chóng)入門(mén)-jieba庫(kù)制作詞云圖

在簡(jiǎn)書(shū)上看了很多人分享高大上的詞云圖的制作赎瑰,在研究了一番之后薄声,決定自己也動(dòng)手試一試当船,奈何小白一個(gè),中間碰到問(wèn)題老是卡殼老半天默辨,寫(xiě)一寫(xiě)制作過(guò)程生年,啥什么忘了我再來(lái)看看。

在看了 向右奔跑大哥的文章后廓奕,知道了詞云制作過(guò)程大致可以分為這么幾個(gè)過(guò)程:

1抱婉、利用Python進(jìn)行數(shù)據(jù)的抓取

2、進(jìn)行分詞(例如利用jieba)

3桌粉、進(jìn)行分類(lèi)匯總(例如利用excel)

4蒸绩、使用詞云工具生成詞云圖(例如利用TAGUL(現(xiàn)在的WordArt.com))

第一步沒(méi)有寫(xiě)爬蟲(chóng),我呢铃肯,利用電腦上面一份oridinary_world.txt拿來(lái)練手:

1.錢(qián)當(dāng)然很重要患亿,這我不是不知道;我一天何嘗不為錢(qián)而受熬苦押逼!可是步藕,我又覺(jué)得,人活這一輩子挑格,還應(yīng)該有些另外的什么才對(duì)……

2.我認(rèn)為咙冗,每個(gè)人都有一個(gè)覺(jué)醒期,但覺(jué)醒的早晚決定個(gè)人的命運(yùn)漂彤。

3.在這個(gè)世界上雾消,不是所有合理的和美好的都能按照自己的愿望存在或?qū)崿F(xiàn)。

4.生命里有著多少的無(wú)奈和惋惜,又有著怎樣的愁苦和感傷?雨浸風(fēng)蝕的落寞與蒼楚一定是水,靜靜地流過(guò)青春奮斗的日子和觸摸理想的歲月挫望。

5.人和社會(huì)立润,一切斗爭(zhēng)的總結(jié)局也許都是中庸而已。與其認(rèn)真媳板,不如隨便桑腮,采菊東籬下,悠然見(jiàn)南山蛉幸。有錢(qián)就尋一醉破讨,無(wú)錢(qián)就尋一睡旨巷,與過(guò)無(wú)爭(zhēng),隨遇而安添忘。

6.既不懈的追求生活采呐,又不敢奢望生活過(guò)多的報(bào)酬和寵愛(ài),而是理智而清醒的面對(duì)著現(xiàn)實(shí)搁骑。

7.其實(shí)我們每個(gè)人的生活都是一個(gè)世界斧吐,即使最平凡的人也要為他生活的那個(gè)世界而奮斗。

8.命運(yùn)總是不如人愿仲器。但往往是在無(wú)數(shù)的痛苦中煤率,在重重的矛盾和艱辛中,才使人成熟起來(lái)乏冀。

9.生活包含著更廣闊的意義蝶糯,而不在于我們實(shí)際得到了什么;關(guān)鍵是我們的心靈是否充實(shí)

10.人們寧愿去關(guān)心一個(gè)蹩腳電影演員的吃喝拉撒和雞毛蒜皮辆沦,而不愿了解一個(gè)普通人波濤洶涌的內(nèi)心世界……

11.無(wú)論精神多么獨(dú)立的人昼捍,感情卻總是在尋找一種依附,尋找一種歸宿。

12.真正的愛(ài)情不是利己的,而應(yīng)該是利他的妻率。

13.一個(gè)平凡而普通的人,時(shí)時(shí)都會(huì)感到被生活的波濤巨浪所淹沒(méi)乍钻。你會(huì)被淹沒(méi)嗎?除非你甘心就此而沉淪铭腕!

14.人生啊银择,是這樣不可預(yù)測(cè),沒(méi)有永恒的痛苦累舷,也沒(méi)有永恒的幸福浩考,生活象流水一般,有時(shí)是那么平展笋粟,有時(shí)又是那么曲折怀挠。

15.人之所以痛苦析蝴,在于追求錯(cuò)誤的東西害捕。如果你不給自己煩惱,別人也永遠(yuǎn)不可能給你煩惱闷畸。因?yàn)槟阕约旱膬?nèi)心尝盼,你放不下。好好的管教你自己佑菩,不要管別人盾沫。

16.人的生命力裁赠,是在痛苦的煎熬中強(qiáng)大起來(lái)的。

17.生活不能等待別人來(lái)安排赴精,要自己去爭(zhēng)取與奮斗佩捞!

18.你永遠(yuǎn)要寬恕眾生,不論他有多壞蕾哟,甚至他傷害過(guò)你一忱,你一定要放下,才能得到真正的快樂(lè)

19.要知道,春天的道路依然充滿(mǎn)泥濘!

20.既要腳踏實(shí)地于現(xiàn)實(shí)生活谭确,又要不時(shí)跳出現(xiàn)實(shí)到理想的高臺(tái)上張望一眼帘营。在精神世界里建立起一套豐滿(mǎn)的體系,引領(lǐng)我們不迷失不懈怠逐哈。待我們一覺(jué)醒來(lái)芬迄,跌落在現(xiàn)實(shí)中的時(shí)候,可以毫無(wú)怨言地勇敢地承擔(dān)起生活重?fù)?dān)昂秃。這是孫少平教給我的道理禀梳。只能永遠(yuǎn)把艱辛的勞動(dòng)看做生命的必要,即使沒(méi)有收獲的指望肠骆,也心平氣靜地繼續(xù)耕種出皇。要做到這一點(diǎn),路還好長(zhǎng)哗戈。

21.是的郊艘,小時(shí)候,我們常常把“親戚”看得多么美好和重要唯咬。一旦長(zhǎng)大成人纱注,開(kāi)始獨(dú)立生活,我們便很快知道胆胰,親戚關(guān)系常常是庸俗的狞贱;互相設(shè)法沾光,沾不上光就翻白眼蜀涨;甚至你生活中最大的困難也常常是親戚們?cè)斐傻南规遥簧钔瑯訒?huì)告訴你,親戚往往不如朋友對(duì)你真誠(chéng)厚柳。

22.喜歡海氧枣,不管湛藍(lán)或是光燦,不管平靜或是波濤洶涌别垮,那起伏蕩漾的便监,那絲絲的波動(dòng);喜歡聽(tīng)海的聲音,不管是浪擊礁石烧董,或是浪濤翻滾毁靶,那輕柔的,那澎湃的逊移;喜歡看海预吆,不管心情是舒暢的或是沉悶的,不管天氣是晴朗的或是陰沉的胳泉,那舒心的啡浊,那松弛的……

23.連偉人的一生都充滿(mǎn)了那么大的艱辛,一個(gè)平凡的人吃點(diǎn)苦又算得了什么呢胶背?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ......

第二步:利用jieba進(jìn)行分詞

在網(wǎng)上找了一份停用表巷嚣,保存為txt格式,然后利用jiba庫(kù)(當(dāng)然首先你要先安裝這個(gè)庫(kù))編寫(xiě)相關(guān)分詞代碼:

import jieba.analyse

f=open('待分析文件路徑'钳吟,'r',encoding='utf-8')

content=f.read()

try:

? ? jieba.analyse.set_stop_words('停用表路徑')

? ? tags=jieba.analyse.extract_tags(content,topK=100,withWeight=True)? ? #topK 為返回幾個(gè) TF/IDF 權(quán)重最大的關(guān)鍵詞廷粒,默認(rèn)值為 20;withWeight 為是否一并返回關(guān)鍵詞權(quán)重值,默認(rèn)值為 False

? ? for i,j in tags:

? ? ? ? print(i+'\t'+str(int(j*10000)))

finally:

? ? f.close()

運(yùn)行以后老是拋出一個(gè)編碼的異常:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 66: invalid start byte

對(duì)于編碼红且、解碼問(wèn)題一直很懵坝茎,我花了一個(gè)上午也沒(méi)搞清楚是怎么回事,最后發(fā)現(xiàn)前面兩份.txt文件有問(wèn)題暇番,于是將兩份.txt重新都另存為嗤放,然后在彈出的對(duì)話框中在編碼的選項(xiàng)卡里面選為“UTF-8”問(wèn)題終于解決了,我的老天1诔辍(此處深深的談了一口氣)

跑起來(lái)的結(jié)果次酌,大概是這樣子的:

生活 854

生命 673

一個(gè) 482

世界 479

自己 402

我們 387

痛苦 369

什么 344

平凡 310

奮斗 289

多么 279

沒(méi)有 273

普通人 271

這樣 269

幸福 268

這個(gè) 266

親戚 262

永遠(yuǎn) 245

人生 240

常常 239

自然法則 234

? ...

第三步:暫時(shí)還沒(méi)用到

第四步:使用在線詞云工具生成詞云圖

1、進(jìn)入https://wordart.com/create

2舆乔、Words:Import words 導(dǎo)入前面生成的關(guān)鍵詞和詞頻

3岳服、Shapes:選擇詞云圖形狀,也可以自己添加

4希俩、Fonts:選擇字體吊宋,由于默認(rèn)的是英文字體,要生成中文字體需要自行在C:\windows\Fonts添加字體颜武,我選了雅黑璃搜。

5、Layout:選擇文字的方向

6鳞上、點(diǎn)擊右側(cè)‘Visualize’ 生成詞云圖

7这吻、點(diǎn)擊底部‘Download and Share’下載圖片

生成的詞云圖就像這樣子的:

生命里有著多少的無(wú)奈和惋惜,又有著怎樣的愁苦和感傷?雨浸風(fēng)蝕的落寞與蒼楚一定是水,靜靜地流過(guò)青春奮斗的日子和觸摸理想的歲月。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?——《平凡的世界》

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末因块,一起剝皮案震驚了整個(gè)濱河市橘原,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌涡上,老刑警劉巖趾断,帶你破解...
    沈念sama閱讀 219,188評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異吩愧,居然都是意外死亡芋酌,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)雁佳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)脐帝,“玉大人,你說(shuō)我怎么就攤上這事糖权《赂梗” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,562評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵星澳,是天一觀的道長(zhǎng)疚顷。 經(jīng)常有香客問(wèn)我,道長(zhǎng)禁偎,這世上最難降的妖魔是什么腿堤? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,893評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮如暖,結(jié)果婚禮上笆檀,老公的妹妹穿的比我還像新娘。我一直安慰自己盒至,他們只是感情好酗洒,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著枷遂,像睡著了一般寝蹈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上登淘,一...
    開(kāi)封第一講書(shū)人閱讀 51,708評(píng)論 1 305
  • 那天箫老,我揣著相機(jī)與錄音,去河邊找鬼黔州。 笑死耍鬓,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的流妻。 我是一名探鬼主播牲蜀,決...
    沈念sama閱讀 40,430評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼绅这!你這毒婦竟也來(lái)了涣达?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,342評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎度苔,沒(méi)想到半個(gè)月后匆篓,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,801評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡寇窑,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評(píng)論 3 337
  • 正文 我和宋清朗相戀三年鸦概,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片甩骏。...
    茶點(diǎn)故事閱讀 40,115評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡窗市,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出饮笛,到底是詐尸還是另有隱情咨察,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評(píng)論 5 346
  • 正文 年R本政府宣布福青,位于F島的核電站摄狱,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏素跺。R本人自食惡果不足惜二蓝,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望指厌。 院中可真熱鬧刊愚,春花似錦、人聲如沸踩验。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,008評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)箕憾。三九已至牡借,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間袭异,已是汗流浹背钠龙。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,135評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留御铃,地道東北人碴里。 一個(gè)月前我還...
    沈念sama閱讀 48,365評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像上真,于是被迫代替她去往敵國(guó)和親咬腋。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容