Python自然語言處理:Jieba分詞烙荷、textrank4zh

運用場景

1.當(dāng)我們遇到一篇文章并且想要快速瀏覽了解文章的信息(提取文章摘要)
2.當(dāng)我們分析一篇文章的類型(提取關(guān)鍵字)
所以我們這里只寫了一些實用的方法,并沒有對這兩種解析方法進(jìn)行更深入的分析

相關(guān)模塊的安裝

pip install jieba 
pip install textrank4zh

Jieba分詞提取關(guān)鍵詞

  • 這里引用了朱自清的《春》檬寂,大家應(yīng)該都學(xué)過终抽。

data = "盼望著,盼望著桶至,東風(fēng)來了昼伴,春天的腳步近了。

一切都像剛睡醒的樣子镣屹,欣欣然張開了眼圃郊。山朗潤起來了,水漲起來了女蜈,太陽的臉紅起來了持舆。

小草偷偷地從土里鉆出來,嫩嫩的伪窖,綠綠的逸寓。園子里,田野里覆山,瞧去竹伸,一大片一大片滿是的。坐著簇宽,躺著勋篓,打兩個滾吧享,踢幾腳球,賽幾趟跑譬嚣,捉幾回迷藏耙蔑。風(fēng)輕悄悄的,草軟綿綿的孤荣。

桃樹、杏樹须揣、梨樹盐股,你不讓我,我不讓你耻卡,都開滿了花趕趟兒疯汁。紅的像火,粉的像霞卵酪,白的像雪幌蚊。花里帶著甜味兒溃卡,閉了眼溢豆,樹上仿佛已經(jīng)滿是桃兒、杏兒瘸羡、梨兒漩仙。花下成千成百的蜜蜂嗡嗡地鬧著犹赖,大小的蝴蝶飛來飛去队他。野花遍地是:雜樣兒,有名字的峻村,沒名字的麸折,散在花叢里,像眼睛粘昨,像星星垢啼,還眨呀眨的。

“吹面不寒楊柳風(fēng)”雾棺,不錯的膊夹,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息捌浩,混著青草味兒放刨,還有各種花的香,都在微微潤濕的空氣里醞釀尸饺。鳥兒將巢安在繁花嫩葉當(dāng)中进统,高興起來了助币,呼朋引伴地賣弄清脆的喉嚨,唱出宛轉(zhuǎn)的曲子螟碎,跟輕風(fēng)流水應(yīng)和著眉菱。牛背上牧童的短笛,這時候也成天在嘹亮地響著掉分。

雨是最尋常的俭缓,一下就是三兩天∷止可別惱华坦。看不从,像牛毛惜姐,像花針,像細(xì)絲椿息,密密地斜織著歹袁,人家屋頂上全籠著一層薄煙。樹葉兒卻綠得發(fā)亮寝优,小草也青得逼你的眼条舔。傍晚時候,上燈了乏矾,一點點黃暈的光逞刷,烘托出一片這安靜而和平的夜。在鄉(xiāng)下妻熊,小路上夸浅,石橋邊,有撐起傘慢慢走著的人扔役;還有地里工作的農(nóng)民帆喇,披著蓑戴著笠。他們的草屋亿胸,稀稀疏疏的坯钦,在雨里靜默著。

天上風(fēng)箏漸漸多了侈玄,地上孩子也多了婉刀。城里鄉(xiāng)下,家家戶戶序仙,老老小小突颊,也趕趟兒似的,一個個都出來了。舒活舒活筋骨律秃,抖擻抖擻精神爬橡,各做各的一份兒事去,“一年之計在于春”棒动;剛起頭兒糙申,有的是工夫,有的是希望船惨。

春天像剛落地的娃娃柜裸,從頭到腳都是新的,它生長著粱锐。

春天像小姑娘粘室,花枝招展的,笑著卜范,走著。

春天像健壯的青年鹿榜,有鐵一般的胳膊和腰腳海雪,他領(lǐng)著我們上前去。"

 for keyword, weight in textrank(data, withWeight=True):
     print('%s %s' % (keyword, weight))
  • 運行完畢后的結(jié)果


    image.png

textrank4zh 關(guān)鍵字的提取以及文章摘要的提取

1.關(guān)鍵字提取

from textrank4zh import TextRank4Keyword,TextRank4Sentence



text = """盼望著舱殿,盼望著奥裸,東風(fēng)來了,春天的腳步近了沪袭。

一切都像剛睡醒的樣子湾宙,欣欣然張開了眼。山朗潤起來了冈绊,水漲起來了侠鳄,太陽的臉紅起來了。

小草偷偷地從土里鉆出來死宣,嫩嫩的伟恶,綠綠的。園子里毅该,田野里博秫,瞧去,一大片一大片滿是的眶掌。坐著挡育,躺著,打兩個滾朴爬,踢幾腳球即寒,賽幾趟跑,捉幾回迷藏。風(fēng)輕悄悄的,草軟綿綿的晌涕。

桃樹奈籽、杏樹、梨樹痊银,你不讓我,我不讓你施绎,都開滿了花趕趟兒溯革。紅的像火,粉的像霞谷醉,白的像雪致稀。花里帶著甜味兒俱尼,閉了眼抖单,樹上仿佛已經(jīng)滿是桃兒、杏兒遇八、梨兒矛绘。花下成千成百的蜜蜂嗡嗡地鬧著刃永,大小的蝴蝶飛來飛去货矮。野花遍地是:雜樣兒,有名字的斯够,沒名字的囚玫,散在花叢里,像眼睛读规,像星星抓督,還眨呀眨的。

“吹面不寒楊柳風(fēng)”束亏,不錯的本昏,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息枪汪,混著青草味兒涌穆,還有各種花的香,都在微微潤濕的空氣里醞釀雀久。鳥兒將巢安在繁花嫩葉當(dāng)中宿稀,高興起來了,呼朋引伴地賣弄清脆的喉嚨赖捌,唱出宛轉(zhuǎn)的曲子祝沸,跟輕風(fēng)流水應(yīng)和著矮烹。牛背上牧童的短笛,這時候也成天在嘹亮地響著罩锐。

雨是最尋常的奉狈,一下就是三兩天∩螅可別惱仁期。看竭恬,像牛毛跛蛋,像花針,像細(xì)絲痊硕,密密地斜織著赊级,人家屋頂上全籠著一層薄煙。樹葉兒卻綠得發(fā)亮岔绸,小草也青得逼你的眼理逊。傍晚時候,上燈了盒揉,一點點黃暈的光晋被,烘托出一片這安靜而和平的夜。在鄉(xiāng)下预烙,小路上,石橋邊道媚,有撐起傘慢慢走著的人扁掸;還有地里工作的農(nóng)民,披著蓑戴著笠最域。他們的草屋谴分,稀稀疏疏的,在雨里靜默著镀脂。

天上風(fēng)箏漸漸多了牺蹄,地上孩子也多了。城里鄉(xiāng)下薄翅,家家戶戶沙兰,老老小小,也趕趟兒似的翘魄,一個個都出來了鼎天。舒活舒活筋骨,抖擻抖擻精神暑竟,各做各的一份兒事去斋射,“一年之計在于春”;剛起頭兒,有的是工夫罗岖,有的是希望涧至。

春天像剛落地的娃娃,從頭到腳都是新的桑包,它生長著南蓬。

春天像小姑娘,花枝招展的捡多,笑著蓖康,走著。

春天像健壯的青年垒手,有鐵一般的胳膊和腰腳蒜焊,他領(lǐng)著我們上前去。"""

tr4w = TextRank4Keyword()

tr4w.analyze(text=text, lower=True, window=5)

for item in tr4w.get_keywords(10, word_min_len=1):
        print(item['word'], item['weight'])
  • 運行結(jié)果


    image.png

2.textrank4zh文章摘要的提取

from textrank4zh import TextRank4Keyword,TextRank4Sentence

text = """盼望著科贬,盼望著泳梆,東風(fēng)來了,春天的腳步近了榜掌。

一切都像剛睡醒的樣子优妙,欣欣然張開了眼。山朗潤起來了憎账,水漲起來了套硼,太陽的臉紅起來了。

小草偷偷地從土里鉆出來胞皱,嫩嫩的邪意,綠綠的。園子里反砌,田野里雾鬼,瞧去,一大片一大片滿是的宴树。坐著策菜,躺著,打兩個滾酒贬,踢幾腳球又憨,賽幾趟跑,捉幾回迷藏锭吨。風(fēng)輕悄悄的竟块,草軟綿綿的。

桃樹耐齐、杏樹浪秘、梨樹蒋情,你不讓我,我不讓你耸携,都開滿了花趕趟兒棵癣。紅的像火,粉的像霞夺衍,白的像雪狈谊。花里帶著甜味兒沟沙,閉了眼河劝,樹上仿佛已經(jīng)滿是桃兒、杏兒矛紫、梨兒赎瞎。花下成千成百的蜜蜂嗡嗡地鬧著颊咬,大小的蝴蝶飛來飛去务甥。野花遍地是:雜樣兒,有名字的喳篇,沒名字的敞临,散在花叢里,像眼睛麸澜,像星星挺尿,還眨呀眨的。

“吹面不寒楊柳風(fēng)”炊邦,不錯的编矾,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息铣耘,混著青草味兒洽沟,還有各種花的香以故,都在微微潤濕的空氣里醞釀蜗细。鳥兒將巢安在繁花嫩葉當(dāng)中,高興起來了怒详,呼朋引伴地賣弄清脆的喉嚨炉媒,唱出宛轉(zhuǎn)的曲子,跟輕風(fēng)流水應(yīng)和著昆烁。牛背上牧童的短笛吊骤,這時候也成天在嘹亮地響著。

雨是最尋常的静尼,一下就是三兩天白粉〈矗可別惱⊙及停看眷细,像牛毛,像花針鹃祖,像細(xì)絲溪椎,密密地斜織著,人家屋頂上全籠著一層薄煙恬口。樹葉兒卻綠得發(fā)亮校读,小草也青得逼你的眼。傍晚時候祖能,上燈了歉秫,一點點黃暈的光,烘托出一片這安靜而和平的夜芯杀。在鄉(xiāng)下端考,小路上,石橋邊揭厚,有撐起傘慢慢走著的人却特;還有地里工作的農(nóng)民,披著蓑戴著笠筛圆。他們的草屋裂明,稀稀疏疏的,在雨里靜默著太援。

天上風(fēng)箏漸漸多了闽晦,地上孩子也多了。城里鄉(xiāng)下提岔,家家戶戶仙蛉,老老小小,也趕趟兒似的碱蒙,一個個都出來了荠瘪。舒活舒活筋骨,抖擻抖擻精神赛惩,各做各的一份兒事去哀墓,“一年之計在于春”;剛起頭兒喷兼,有的是工夫篮绰,有的是希望。

春天像剛落地的娃娃季惯,從頭到腳都是新的吠各,它生長著臀突。

春天像小姑娘,花枝招展的贾漏,笑著惧辈,走著。

春天像健壯的青年磕瓷,有鐵一般的胳膊和腰腳盒齿,他領(lǐng)著我們上前去。"""



tr4s = TextRank4Sentence()
tr4s.analyze(text=text, lower=True, source = 'no_stop_words')


key_sentences = tr4s.get_key_sentences(num=10, sentence_min_len=2)
for sentence in key_sentences:
    print(sentence['weight'], sentence['sentence'])
  • 運行結(jié)果


    image.png

兩個包的對比

  • 大家通過上邊的運行結(jié)果也可以看出來困食,個人感覺textrank4zh會比Jieba分詞好用(個人觀點)
  • 溫馨提示:textrank4zh 還可以對英文的文章提取關(guān)鍵詞边翁、以及文章摘要的
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末硕盹,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子瘩例,更是在濱河造成了極大的恐慌,老刑警劉巖垛贤,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件焰坪,死亡現(xiàn)場離奇詭異,居然都是意外死亡聘惦,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進(jìn)店門黔漂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人禀酱,你說我怎么就攤上這事炬守。” “怎么了剂跟?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長浩聋。 經(jīng)常有香客問我臊恋,道長,這世上最難降的妖魔是什么抖仅? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任砖第,我火速辦了婚禮环凿,結(jié)果婚禮上梧兼,老公的妹妹穿的比我還像新娘智听。我一直安慰自己,他們只是感情好到推,可當(dāng)我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著颜骤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪忍抽。 梳的紋絲不亂的頭發(fā)上董朝,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天,我揣著相機(jī)與錄音子姜,去河邊找鬼。 笑死闲询,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的扭弧。 我是一名探鬼主播,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼呼巴,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了衣赶?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤厚满,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后碘箍,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鲸郊,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡货邓,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了换况。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡拨匆,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出惭每,到底是詐尸還是另有隱情亏栈,我是刑警寧澤台腥,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布绒北,位于F島的核電站,受9級特大地震影響闷游,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜脐往,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望瘤礁。 院中可真熱鬧梅尤,春花似錦柜思、人聲如沸巷燥。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間拍屑,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工僵驰, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留喷斋,地道東北人蒜茴。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像粉私,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子诺核,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 前言 從本文開始,我們進(jìn)入實戰(zhàn)部分漓摩。首先,我們按照中文自然語言處理流程的第一步獲取語料管毙,然后重點進(jìn)行中文分詞的學(xué)習(xí)...
    lanlantian123閱讀 5,354評論 0 2
  • 前言 從本文開始桌硫,我們進(jìn)入實戰(zhàn)部分夭咬。首先铆隘,我們按照中文自然語言處理流程的第一步獲取語料,然后重點進(jìn)行中文分詞的學(xué)習(xí)...
    Element靜婷閱讀 880評論 0 0
  • 轉(zhuǎn)自 進(jìn)擊的Coder 公眾號 原理 中文分詞咖驮,即 Chinese Word Segmentation,即將一個漢...
    Epiphron閱讀 11,568評論 2 56
  • 實驗?zāi)康? 了解分詞包并進(jìn)行使用 實驗要求: 調(diào)查現(xiàn)有的分詞工具包忘巧,并選擇兩種使用進(jìn)行分詞效果的比較 實驗工具: ...
    胡云云云云閱讀 1,512評論 1 2
  • 到目前為止整個孕期還是比較輕松的睦刃,這得感謝乖寶寶沒讓媽媽受罪砚嘴。 孕早期沒有孕吐反應(yīng),也不會怕這個味道怕那個味道际长,什...
    林今夕閱讀 244評論 0 0