pkuseg的自定義詞庫過大會(huì)導(dǎo)致出現(xiàn)嚴(yán)重的分詞BUG许布?

1.背景說明

【前情提要】 懷著異常激動(dòng)的心情測試了一下北大剛發(fā)布的中文分詞庫,然后加載了之前整理的自定義詞匯,發(fā)現(xiàn)出現(xiàn)了很嚴(yán)重的分詞問題,希望有人能幫忙解決壁拉。

2. 上代碼

   [IN] content = "我叫馬化騰汰规,我想學(xué)區(qū)塊鏈,你說好不好啊汤功,天青色等煙雨,而我在等你溜哮,月色被打撈器滔金,暈開了結(jié)局"
        dict = utils.read("./dict.txt")
        pku = pkuseg.pkuseg(user_dict=dict)
        res = pku.cut(content)
        print(res)
  [OUT] loading model
        finish
        ['我', '叫', '馬', '化', '騰', ',', '我', '想', '學(xué)', '區(qū)', '塊', '鏈', ',', '你', '說', '好', '不', '好', '啊', '茂嗓,', '天', '青', '色', '等', '煙', '雨', '餐茵,', '而', '我', '在', '等', '你', ',', '月', '色', '被', '打', '撈', '器', '述吸,', '暈', '開', '了', '結(jié)', '局']

3. 關(guān)鍵信息

  • dict.txt是之前項(xiàng)目整理的自定義詞庫,文件大小 108MB,詞條數(shù)量 ≈ 673萬,如圖所示:


    enter image description here
  • 同樣在jieba分詞中不會(huì)出現(xiàn)這樣的問題忿族,分詞結(jié)果正常

4. 問題回述

所以自定義詞庫內(nèi)容過多,會(huì)導(dǎo)致出現(xiàn)分詞異常?如何解決這個(gè)異常?


有更多問題也可以和本人直接溝通 微信:w63594021

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末锣笨,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子道批,更是在濱河造成了極大的恐慌错英,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件隆豹,死亡現(xiàn)場離奇詭異椭岩,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)璃赡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進(jìn)店門判哥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人碉考,你說我怎么就攤上這事塌计。” “怎么了侯谁?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵夺荒,是天一觀的道長。 經(jīng)常有香客問我良蒸,道長,這世上最難降的妖魔是什么伍玖? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任嫩痰,我火速辦了婚禮,結(jié)果婚禮上窍箍,老公的妹妹穿的比我還像新娘串纺。我一直安慰自己,他們只是感情好椰棘,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布纺棺。 她就那樣靜靜地躺著,像睡著了一般邪狞。 火紅的嫁衣襯著肌膚如雪祷蝌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天帆卓,我揣著相機(jī)與錄音巨朦,去河邊找鬼。 笑死剑令,一個(gè)胖子當(dāng)著我的面吹牛糊啡,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播吁津,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼棚蓄,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起梭依,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤稍算,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后睛挚,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體邪蛔,經(jīng)...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年扎狱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了侧到。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,716評論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡淤击,死狀恐怖匠抗,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情污抬,我是刑警寧澤汞贸,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站印机,受9級特大地震影響矢腻,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜射赛,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一多柑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧楣责,春花似錦竣灌、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至沮趣,卻和暖如春屯烦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背兔毒。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工漫贞, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人育叁。 一個(gè)月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓迅脐,卻偏偏與公主長得像,于是被迫代替她去往敵國和親豪嗽。 傳聞我的和親對象是個(gè)殘疾皇子谴蔑,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評論 2 350

推薦閱讀更多精彩內(nèi)容

  • 12.7 為期一周的思維導(dǎo)圖初階課程第八期在這天結(jié)業(yè)了豌骏,臨時(shí)接到郡主邀請串場做結(jié)營典禮的支持,機(jī)會(huì)來了就不能錯(cuò)過隐锭,...
    陸嫻1983閱讀 204評論 0 0
  • CoreImage是蘋果自帶的關(guān)于圖像處理的框架窃躲,不僅可以做濾鏡,還可以做人臉識別钦睡,我們今天先來簡單的了解一下濾鏡...
    melody5閱讀 296評論 0 0
  • 文/山妮 祈禱吧 多些這樣的粉沫 真正多了又能減輕什么呢 早已不能騎車去山野 溫?zé)岬囊徊糠掷^續(xù)等待結(jié)冰 這也不等于...
    山妮風(fēng)兒閱讀 227評論 0 2
  • 昨天拿到新公司的第一筆工資蒂窒,心理踏實(shí)了不少,如同事說的就是打工荞怒,但是為了家人感覺很好洒琢,還是努力的賺錢吧,為了學(xué)齡的...
    其其菱菱閱讀 135評論 0 0
  • 12月的第一個(gè)周末褐桌。早上慢慢醒來衰抑,躺在床上稍微靜靜待會(huì)。哈哈一醒來就有好幾個(gè)念頭閃過~腦袋真的不安分呀荧嵌。 換了條路...
    清慈閱讀 194評論 0 0