分詞練習(xí)

在本次分詞練習(xí)中,使用文本如下:

菊外人指不知道王菊是誰(shuí),也沒(méi)看過(guò)創(chuàng)造101,但是已經(jīng)被給王菊投票相關(guān)信息包圍的人

一 利用jieba進(jìn)行分詞練習(xí)

參考教程:jieba官方文檔

1.分詞

全模式

結(jié)果

全模式的分詞較為細(xì)致嘀趟,把前后能組詞的都進(jìn)行了組詞,例如“不知道”被分成了“不知”和“知道”愈诚。

精確模式

精確模式下的分詞結(jié)果較為準(zhǔn)確她按,但像“菊外人”這種專有名詞還是沒(méi)有被識(shí)別出來(lái)

搜索引擎模式

2.載入詞典

新建ju.txt文件,寫(xiě)入我自己自定義的詞典

結(jié)果為:

載入詞典后的分詞結(jié)果更為準(zhǔn)確

3.基于 TF-IDF 算法的關(guān)鍵詞抽取


4.詞性標(biāo)注

標(biāo)注句子分詞后每個(gè)詞的詞性炕柔,采用和 ictclas 兼容的標(biāo)記法酌泰。

二 pullword在線分詞

出詞概率閾值為0:

居然把“菊外人”也能分出來(lái),也是很厲害了

出詞概率閾值為1:只分出了5個(gè)詞

出詞概率閾值為0.5:有點(diǎn)像jieba的全模式的分詞結(jié)果

三 詞云

使用工具:圖悅

分析文本:好妹妹樂(lè)隊(duì)《謊話情歌》歌詞


熱詞權(quán)重圖
熱詞詞頻圖

使用工具:紐扣詞云



?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末匕累,一起剝皮案震驚了整個(gè)濱河市陵刹,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌欢嘿,老刑警劉巖衰琐,帶你破解...
    沈念sama閱讀 221,273評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件也糊,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡羡宙,警方通過(guò)查閱死者的電腦和手機(jī)狸剃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)辛辨,“玉大人捕捂,你說(shuō)我怎么就攤上這事《犯悖” “怎么了指攒?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,709評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)僻焚。 經(jīng)常有香客問(wèn)我允悦,道長(zhǎng),這世上最難降的妖魔是什么虑啤? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,520評(píng)論 1 296
  • 正文 為了忘掉前任隙弛,我火速辦了婚禮,結(jié)果婚禮上狞山,老公的妹妹穿的比我還像新娘全闷。我一直安慰自己,他們只是感情好萍启,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布总珠。 她就那樣靜靜地躺著,像睡著了一般勘纯。 火紅的嫁衣襯著肌膚如雪局服。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,158評(píng)論 1 308
  • 那天驳遵,我揣著相機(jī)與錄音淫奔,去河邊找鬼。 笑死堤结,一個(gè)胖子當(dāng)著我的面吹牛唆迁,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播竞穷,決...
    沈念sama閱讀 40,755評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼唐责,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了来庭?” 一聲冷哼從身側(cè)響起妒蔚,我...
    開(kāi)封第一講書(shū)人閱讀 39,660評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤穿挨,失蹤者是張志新(化名)和其女友劉穎月弛,沒(méi)想到半個(gè)月后肴盏,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,203評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡帽衙,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評(píng)論 3 340
  • 正文 我和宋清朗相戀三年菜皂,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片厉萝。...
    茶點(diǎn)故事閱讀 40,427評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡恍飘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出谴垫,到底是詐尸還是另有隱情章母,我是刑警寧澤,帶...
    沈念sama閱讀 36,122評(píng)論 5 349
  • 正文 年R本政府宣布翩剪,位于F島的核電站乳怎,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏前弯。R本人自食惡果不足惜蚪缀,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望恕出。 院中可真熱鬧询枚,春花似錦、人聲如沸浙巫。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,272評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)狈醉。三九已至廉油,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間苗傅,已是汗流浹背抒线。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留渣慕,地道東北人嘶炭。 一個(gè)月前我還...
    沈念sama閱讀 48,808評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像逊桦,于是被迫代替她去往敵國(guó)和親眨猎。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 在接下來(lái)的分詞練習(xí)中將使用到四川大學(xué)公共管理學(xué)院的一篇新聞進(jìn)行練習(xí)强经,文本如下: 為貫徹落實(shí)黨的十九大精神睡陪,不斷提升...
    nicokani閱讀 1,239評(píng)論 0 4
  • 使用ICTCLAS(NLPIR)在線分詞工具和jieba分詞組件進(jìn)行分詞練習(xí)。 一. ICTCLAS 1.簡(jiǎn)介 漢...
    Carina_55閱讀 734評(píng)論 0 1
  • 關(guān)于分詞工具包的體驗(yàn):分詞練習(xí)2——分詞體驗(yàn) 現(xiàn)有的分詞工具包 (1)NLPIR NLPIR漢語(yǔ)分詞系統(tǒng),又名IC...
    駱落啊閱讀 1,009評(píng)論 0 6
  • 接分詞練習(xí)1——分詞工具包 分詞效果嘗試 接下來(lái)我將體驗(yàn)NLPIR和jieba分詞的效果兰迫,其中信殊,NLPIR使用在線...
    駱落啊閱讀 708評(píng)論 0 1
  • 一、jieba分詞1.在cmd中安裝結(jié)巴分詞 python setup.py install 并在python環(huán)境...
    hai_king閱讀 323評(píng)論 0 1