運用場景
1.當(dāng)我們遇到一篇文章并且想要快速瀏覽了解文章的信息(提取文章摘要)
2.當(dāng)我們分析一篇文章的類型(提取關(guān)鍵字)
所以我們這里只寫了一些實用的方法,并沒有對這兩種解析方法進(jìn)行更深入的分析
相關(guān)模塊的安裝
pip install jieba
pip install textrank4zh
Jieba分詞提取關(guān)鍵詞
- 這里引用了朱自清的《春》檬寂,大家應(yīng)該都學(xué)過终抽。
data = "盼望著,盼望著桶至,東風(fēng)來了昼伴,春天的腳步近了。
一切都像剛睡醒的樣子镣屹,欣欣然張開了眼圃郊。山朗潤起來了,水漲起來了女蜈,太陽的臉紅起來了持舆。
小草偷偷地從土里鉆出來,嫩嫩的伪窖,綠綠的逸寓。園子里,田野里覆山,瞧去竹伸,一大片一大片滿是的。坐著簇宽,躺著勋篓,打兩個滾吧享,踢幾腳球,賽幾趟跑譬嚣,捉幾回迷藏耙蔑。風(fēng)輕悄悄的,草軟綿綿的孤荣。
桃樹、杏樹须揣、梨樹盐股,你不讓我,我不讓你耻卡,都開滿了花趕趟兒疯汁。紅的像火,粉的像霞卵酪,白的像雪幌蚊。花里帶著甜味兒溃卡,閉了眼溢豆,樹上仿佛已經(jīng)滿是桃兒、杏兒瘸羡、梨兒漩仙。花下成千成百的蜜蜂嗡嗡地鬧著犹赖,大小的蝴蝶飛來飛去队他。野花遍地是:雜樣兒,有名字的峻村,沒名字的麸折,散在花叢里,像眼睛粘昨,像星星垢啼,還眨呀眨的。
“吹面不寒楊柳風(fēng)”雾棺,不錯的膊夹,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息捌浩,混著青草味兒放刨,還有各種花的香,都在微微潤濕的空氣里醞釀尸饺。鳥兒將巢安在繁花嫩葉當(dāng)中进统,高興起來了助币,呼朋引伴地賣弄清脆的喉嚨,唱出宛轉(zhuǎn)的曲子螟碎,跟輕風(fēng)流水應(yīng)和著眉菱。牛背上牧童的短笛,這時候也成天在嘹亮地響著掉分。
雨是最尋常的俭缓,一下就是三兩天∷止可別惱华坦。看不从,像牛毛惜姐,像花針,像細(xì)絲椿息,密密地斜織著歹袁,人家屋頂上全籠著一層薄煙。樹葉兒卻綠得發(fā)亮寝优,小草也青得逼你的眼条舔。傍晚時候,上燈了乏矾,一點點黃暈的光逞刷,烘托出一片這安靜而和平的夜。在鄉(xiāng)下妻熊,小路上夸浅,石橋邊,有撐起傘慢慢走著的人扔役;還有地里工作的農(nóng)民帆喇,披著蓑戴著笠。他們的草屋亿胸,稀稀疏疏的坯钦,在雨里靜默著。
天上風(fēng)箏漸漸多了侈玄,地上孩子也多了婉刀。城里鄉(xiāng)下,家家戶戶序仙,老老小小突颊,也趕趟兒似的,一個個都出來了。舒活舒活筋骨律秃,抖擻抖擻精神爬橡,各做各的一份兒事去,“一年之計在于春”棒动;剛起頭兒糙申,有的是工夫,有的是希望船惨。
春天像剛落地的娃娃柜裸,從頭到腳都是新的,它生長著粱锐。
春天像小姑娘粘室,花枝招展的,笑著卜范,走著。
春天像健壯的青年鹿榜,有鐵一般的胳膊和腰腳海雪,他領(lǐng)著我們上前去。"
for keyword, weight in textrank(data, withWeight=True):
print('%s %s' % (keyword, weight))
-
運行完畢后的結(jié)果
image.png
textrank4zh 關(guān)鍵字的提取以及文章摘要的提取
1.關(guān)鍵字提取
from textrank4zh import TextRank4Keyword,TextRank4Sentence
text = """盼望著舱殿,盼望著奥裸,東風(fēng)來了,春天的腳步近了沪袭。
一切都像剛睡醒的樣子湾宙,欣欣然張開了眼。山朗潤起來了冈绊,水漲起來了侠鳄,太陽的臉紅起來了。
小草偷偷地從土里鉆出來死宣,嫩嫩的伟恶,綠綠的。園子里毅该,田野里博秫,瞧去,一大片一大片滿是的眶掌。坐著挡育,躺著,打兩個滾朴爬,踢幾腳球即寒,賽幾趟跑,捉幾回迷藏。風(fēng)輕悄悄的,草軟綿綿的晌涕。
桃樹奈籽、杏樹、梨樹痊银,你不讓我,我不讓你施绎,都開滿了花趕趟兒溯革。紅的像火,粉的像霞谷醉,白的像雪致稀。花里帶著甜味兒俱尼,閉了眼抖单,樹上仿佛已經(jīng)滿是桃兒、杏兒遇八、梨兒矛绘。花下成千成百的蜜蜂嗡嗡地鬧著刃永,大小的蝴蝶飛來飛去货矮。野花遍地是:雜樣兒,有名字的斯够,沒名字的囚玫,散在花叢里,像眼睛读规,像星星抓督,還眨呀眨的。
“吹面不寒楊柳風(fēng)”束亏,不錯的本昏,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息枪汪,混著青草味兒涌穆,還有各種花的香,都在微微潤濕的空氣里醞釀雀久。鳥兒將巢安在繁花嫩葉當(dāng)中宿稀,高興起來了,呼朋引伴地賣弄清脆的喉嚨赖捌,唱出宛轉(zhuǎn)的曲子祝沸,跟輕風(fēng)流水應(yīng)和著矮烹。牛背上牧童的短笛,這時候也成天在嘹亮地響著罩锐。
雨是最尋常的奉狈,一下就是三兩天∩螅可別惱仁期。看竭恬,像牛毛跛蛋,像花針,像細(xì)絲痊硕,密密地斜織著赊级,人家屋頂上全籠著一層薄煙。樹葉兒卻綠得發(fā)亮岔绸,小草也青得逼你的眼理逊。傍晚時候,上燈了盒揉,一點點黃暈的光晋被,烘托出一片這安靜而和平的夜。在鄉(xiāng)下预烙,小路上,石橋邊道媚,有撐起傘慢慢走著的人扁掸;還有地里工作的農(nóng)民,披著蓑戴著笠最域。他們的草屋谴分,稀稀疏疏的,在雨里靜默著镀脂。
天上風(fēng)箏漸漸多了牺蹄,地上孩子也多了。城里鄉(xiāng)下薄翅,家家戶戶沙兰,老老小小,也趕趟兒似的翘魄,一個個都出來了鼎天。舒活舒活筋骨,抖擻抖擻精神暑竟,各做各的一份兒事去斋射,“一年之計在于春”;剛起頭兒,有的是工夫罗岖,有的是希望涧至。
春天像剛落地的娃娃,從頭到腳都是新的桑包,它生長著南蓬。
春天像小姑娘,花枝招展的捡多,笑著蓖康,走著。
春天像健壯的青年垒手,有鐵一般的胳膊和腰腳蒜焊,他領(lǐng)著我們上前去。"""
tr4w = TextRank4Keyword()
tr4w.analyze(text=text, lower=True, window=5)
for item in tr4w.get_keywords(10, word_min_len=1):
print(item['word'], item['weight'])
-
運行結(jié)果
image.png
2.textrank4zh文章摘要的提取
from textrank4zh import TextRank4Keyword,TextRank4Sentence
text = """盼望著科贬,盼望著泳梆,東風(fēng)來了,春天的腳步近了榜掌。
一切都像剛睡醒的樣子优妙,欣欣然張開了眼。山朗潤起來了憎账,水漲起來了套硼,太陽的臉紅起來了。
小草偷偷地從土里鉆出來胞皱,嫩嫩的邪意,綠綠的。園子里反砌,田野里雾鬼,瞧去,一大片一大片滿是的宴树。坐著策菜,躺著,打兩個滾酒贬,踢幾腳球又憨,賽幾趟跑,捉幾回迷藏锭吨。風(fēng)輕悄悄的竟块,草軟綿綿的。
桃樹耐齐、杏樹浪秘、梨樹蒋情,你不讓我,我不讓你耸携,都開滿了花趕趟兒棵癣。紅的像火,粉的像霞夺衍,白的像雪狈谊。花里帶著甜味兒沟沙,閉了眼河劝,樹上仿佛已經(jīng)滿是桃兒、杏兒矛紫、梨兒赎瞎。花下成千成百的蜜蜂嗡嗡地鬧著颊咬,大小的蝴蝶飛來飛去务甥。野花遍地是:雜樣兒,有名字的喳篇,沒名字的敞临,散在花叢里,像眼睛麸澜,像星星挺尿,還眨呀眨的。
“吹面不寒楊柳風(fēng)”炊邦,不錯的编矾,像母親的手撫摸著你。風(fēng)里帶來些新翻的泥土的氣息铣耘,混著青草味兒洽沟,還有各種花的香以故,都在微微潤濕的空氣里醞釀蜗细。鳥兒將巢安在繁花嫩葉當(dāng)中,高興起來了怒详,呼朋引伴地賣弄清脆的喉嚨炉媒,唱出宛轉(zhuǎn)的曲子,跟輕風(fēng)流水應(yīng)和著昆烁。牛背上牧童的短笛吊骤,這時候也成天在嘹亮地響著。
雨是最尋常的静尼,一下就是三兩天白粉〈矗可別惱⊙及停看眷细,像牛毛,像花針鹃祖,像細(xì)絲溪椎,密密地斜織著,人家屋頂上全籠著一層薄煙恬口。樹葉兒卻綠得發(fā)亮校读,小草也青得逼你的眼。傍晚時候祖能,上燈了歉秫,一點點黃暈的光,烘托出一片這安靜而和平的夜芯杀。在鄉(xiāng)下端考,小路上,石橋邊揭厚,有撐起傘慢慢走著的人却特;還有地里工作的農(nóng)民,披著蓑戴著笠筛圆。他們的草屋裂明,稀稀疏疏的,在雨里靜默著太援。
天上風(fēng)箏漸漸多了闽晦,地上孩子也多了。城里鄉(xiāng)下提岔,家家戶戶仙蛉,老老小小,也趕趟兒似的碱蒙,一個個都出來了荠瘪。舒活舒活筋骨,抖擻抖擻精神赛惩,各做各的一份兒事去哀墓,“一年之計在于春”;剛起頭兒喷兼,有的是工夫篮绰,有的是希望。
春天像剛落地的娃娃季惯,從頭到腳都是新的吠各,它生長著臀突。
春天像小姑娘,花枝招展的贾漏,笑著惧辈,走著。
春天像健壯的青年磕瓷,有鐵一般的胳膊和腰腳盒齿,他領(lǐng)著我們上前去。"""
tr4s = TextRank4Sentence()
tr4s.analyze(text=text, lower=True, source = 'no_stop_words')
key_sentences = tr4s.get_key_sentences(num=10, sentence_min_len=2)
for sentence in key_sentences:
print(sentence['weight'], sentence['sentence'])
-
運行結(jié)果
image.png
兩個包的對比
- 大家通過上邊的運行結(jié)果也可以看出來困食,個人感覺textrank4zh會比Jieba分詞好用(個人觀點)
- 溫馨提示:textrank4zh 還可以對英文的文章提取關(guān)鍵詞边翁、以及文章摘要的