教你用Python進(jìn)行中文詞頻統(tǒng)計(jì)

Python是用于數(shù)據(jù)挖掘的利器

用Python可以用來(lái)做很多很好玩的東西,下面就來(lái)用Python來(lái)進(jìn)行詞頻統(tǒng)計(jì)

最近我們單位在學(xué)習(xí)十九大報(bào)告劝枣,我就把報(bào)告進(jìn)行了詞頻統(tǒng)計(jì)汤踏,統(tǒng)計(jì)結(jié)果如下圖





可以看出倡缠,發(fā)展仍是中國(guó)目前最需要的。

1茎活、用到了那些東西昙沦?

其實(shí),我們這里用到的只不過(guò)是強(qiáng)大的Python擴(kuò)展中的?jieba载荔。

想要詳細(xì)了解大家可以搜索一下盾饮。我這里只用到了它們的基本功能。

安裝就不再贅述了懒熙,大家應(yīng)該都比較熟了


2丘损、具體操作


是不是很簡(jiǎn)單。

前面四行是引入相應(yīng)的擴(kuò)展或?qū)ο?/p>

然后獲取當(dāng)前執(zhí)行文件的路徑工扎,

打開(kāi)我們的文件徘钥,如果想練技術(shù)可以從網(wǎng)上爬蟲(chóng)一下生成這個(gè)報(bào)告。path.join 合成文件路徑

調(diào)用jieba函數(shù)進(jìn)行分詞肢娘,轉(zhuǎn)化成list對(duì)象

調(diào)用Couter對(duì)象的函數(shù)呈础,統(tǒng)計(jì)每個(gè)詞出現(xiàn)的次數(shù),并且取最高的50個(gè) 轉(zhuǎn)化為dict?

循環(huán)data 寫(xiě)入新的文件

OK 結(jié)束?

進(jìn)入我們的環(huán)境?

source xxxx/bin/activate

python xxx.py

運(yùn)行成功橱健。

作為新手而钞,從這段代碼中可以學(xué)習(xí)拓展一下幾個(gè)知識(shí)點(diǎn)

(1)????python 對(duì)文件的讀寫(xiě)

常用的是?

with open("文件",'操作方式','編碼方式') as fw #注意 編碼方式使用不當(dāng)可能會(huì)引起中文亂碼

(2) ? ?list dict的轉(zhuǎn)換

list() dict()

(3) ? ?dict循環(huán)

for key, value in dict.items()

3、learn more

大家可能看到了word_cloud拘荡,這是一個(gè)好玩有趣的東西

用了它


是不是Cool多了

具體代碼



上面代碼中牽涉到幾個(gè)知識(shí)點(diǎn)

(1)字符串前加r是為了防止轉(zhuǎn)義臼节。保留特殊字符

(2)wordcloud 默認(rèn)不支持中文,可以引用一個(gè)本機(jī)的字體文件珊皿,mac默認(rèn)路徑就是這個(gè)

?后面就是引用的一些擴(kuò)展中函數(shù)的使用网缝,就不展開(kāi)介紹了。

大家想研究可以去clone它們的Github

Good Good Study Day Day up

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蟋定,一起剝皮案震驚了整個(gè)濱河市粉臊,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌溢吻,老刑警劉巖维费,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件果元,死亡現(xiàn)場(chǎng)離奇詭異促王,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)而晒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)蝇狼,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人倡怎,你說(shuō)我怎么就攤上這事迅耘〖妫” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵颤专,是天一觀的道長(zhǎng)纽哥。 經(jīng)常有香客問(wèn)我,道長(zhǎng)栖秕,這世上最難降的妖魔是什么春塌? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮簇捍,結(jié)果婚禮上只壳,老公的妹妹穿的比我還像新娘。我一直安慰自己暑塑,他們只是感情好吼句,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著事格,像睡著了一般惕艳。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上驹愚,一...
    開(kāi)封第一講書(shū)人閱讀 51,688評(píng)論 1 305
  • 那天尔艇,我揣著相機(jī)與錄音,去河邊找鬼么鹤。 笑死终娃,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蒸甜。 我是一名探鬼主播棠耕,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼柠新!你這毒婦竟也來(lái)了窍荧?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤恨憎,失蹤者是張志新(化名)和其女友劉穎蕊退,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體憔恳,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡瓤荔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了钥组。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片输硝。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖程梦,靈堂內(nèi)的尸體忽然破棺而出点把,到底是詐尸還是另有隱情橘荠,我是刑警寧澤,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布郎逃,位于F島的核電站哥童,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏褒翰。R本人自食惡果不足惜如蚜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望影暴。 院中可真熱鬧错邦,春花似錦、人聲如沸型宙。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)妆兑。三九已至魂拦,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間搁嗓,已是汗流浹背芯勘。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留腺逛,地道東北人荷愕。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像棍矛,于是被迫代替她去往敵國(guó)和親安疗。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容