使用Python將文本按標(biāo)點(diǎn)整句切分

利用分詞工具包例如jieba可以輕易的將句子切分為不同的單詞葫隙,但是當(dāng)你有切分整句的需求時(shí),該怎么解決呢也祠?

  • 將段落按句號(hào)切分整句

1.jieba分詞可以切分單詞

進(jìn)行中文自然語(yǔ)言處理時(shí)茫船,分詞是一個(gè)常見(jiàn)的操作,例如:

import jieba.posseg as pseg
txt = "【#奔馳女車主不接受4S店道歉# 雙方現(xiàn)場(chǎng)交涉言語(yǔ)激烈】4月13日招盲,西安維權(quán)奔馳女車主和4S店方見(jiàn)面低缩,雙方并未當(dāng)場(chǎng)和解。4S店相關(guān)負(fù)責(zé)人稱曹货,由于出差等原因未及時(shí)聯(lián)系車主咆繁,車主則反駁稱,可通過(guò)電話聯(lián)系顶籽,“沒(méi)人把你的聯(lián)系方式給我玩般。”交涉過(guò)程中雙方言語(yǔ)交鋒激烈礼饱。#西安奔馳女車主維權(quán)# "
words = pseg.cut(txt)
for word, flag in words:
    print('%s %s' % (word, flag))

利用這段代碼對(duì)這段文本信息進(jìn)行分詞和詞性標(biāo)注坏为,就有如下結(jié)果(部分省略):

【 x
# x
奔馳 v
女 b
車主 n
...

2.整句切分——按標(biāo)點(diǎn)切分

或許你不需要單詞切分你只需要整句切分,即按標(biāo)點(diǎn)切分镊绪,那么你可以這樣做:

import re
txt = "【#奔馳女車主不接受4S店道歉# 雙方現(xiàn)場(chǎng)交涉言語(yǔ)激烈】4月13日匀伏,西安維權(quán)奔馳女車主和4S店方見(jiàn)面,雙方并未當(dāng)場(chǎng)和解蝴韭。4S店相關(guān)負(fù)責(zé)人稱够颠,由于出差等原因未及時(shí)聯(lián)系車主,車主則反駁稱万皿,可通過(guò)電話聯(lián)系摧找,“沒(méi)人把你的聯(lián)系方式給我±喂瑁”交涉過(guò)程中雙方言語(yǔ)交鋒激烈蹬耘。#西安奔馳女車主維權(quán)#  "
pattern = r',|\.|/|;|\'|`|\[|\]|<|>|\?|:|"|\{|\}|\~|!|@|#|\$|%|\^|&|\(|\)|-|=|\_|\+|,|减余。|综苔、|;|‘|’|【|】|·|!| |…|(|)'
result_list = re.split(pattern, txt)
print(result_list)

這是利用正則表達(dá)式進(jìn)行的整句切分如筛,結(jié)果如下堡牡,標(biāo)點(diǎn)符號(hào)出自動(dòng)切句

['', '', '奔馳女車主不接受4S店道歉', '', '雙方現(xiàn)場(chǎng)交涉言語(yǔ)激烈', '4月13日', '西安維權(quán)奔馳女車主和4S店方見(jiàn)面', '雙方并未當(dāng)場(chǎng)和解', '4S店相關(guān)負(fù)責(zé)人稱', '由于出差等原因未及時(shí)聯(lián)系車主', '車主則反駁稱', '可通過(guò)電話聯(lián)系', '“沒(méi)人把你的聯(lián)系方式給我', '”交涉過(guò)程中雙方言語(yǔ)交鋒激烈', '', '西安奔馳女車主維權(quán)', '', '']

3.整句切分——按句號(hào)切分

或許你需要完整的句子,即保留逗號(hào)杨刨,按句號(hào)切分一整句晤柄,這要怎么做呢?你只需要把正則表達(dá)式里的逗號(hào)去掉即可

import re
txt = "【#奔馳女車主不接受4S店道歉# 雙方現(xiàn)場(chǎng)交涉言語(yǔ)激烈】4月13日妖胀,西安維權(quán)奔馳女車主和4S店方見(jiàn)面芥颈,雙方并未當(dāng)場(chǎng)和解。4S店相關(guān)負(fù)責(zé)人稱赚抡,由于出差等原因未及時(shí)聯(lián)系車主爬坑,車主則反駁稱,可通過(guò)電話聯(lián)系涂臣,“沒(méi)人把你的聯(lián)系方式給我盾计。”交涉過(guò)程中雙方言語(yǔ)交鋒激烈赁遗。#西安奔馳女車主維權(quán)# "
#pattern = r',|\.|/|;|\'|`|\[|\]|<|>|\?|:|"|\{|\}|\~|!|@|#|\$|%|\^|&|\(|\)|-|=|\_|\+|署辉,|。|吼和、|涨薪;|‘|’|【|】|·|!| |…|(|)'
pattern = r'\.|/|;|\'|`|\[|\]|<|>|\?|:|"|\{|\}|\~|!|@|#|\$|%|\^|&|\(|\)|-|=|\_|\+|炫乓。|、|献丑;|‘|’|【|】|·|末捣!| |…|(|)'
result_list = re.split(pattern, txt)
print(result_list)

結(jié)果如下

['', '', '奔馳女車主不接受4S店道歉', '', '雙方現(xiàn)場(chǎng)交涉言語(yǔ)激烈', '4月13日,西安維權(quán)奔馳女車主和4S店方見(jiàn)面创橄,雙方并未當(dāng)場(chǎng)和解', '4S店相關(guān)負(fù)責(zé)人稱箩做,由于出差等原因未及時(shí)聯(lián)系車主,車主則反駁稱妥畏,可通過(guò)電話聯(lián)系邦邦,“沒(méi)人把你的聯(lián)系方式給我', '”交涉過(guò)程中雙方言語(yǔ)交鋒激烈', '', '西安奔馳女車主維權(quán)', '', '']

get到了嗎?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末醉蚁,一起剝皮案震驚了整個(gè)濱河市燃辖,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌网棍,老刑警劉巖黔龟,帶你破解...
    沈念sama閱讀 221,548評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡氏身,警方通過(guò)查閱死者的電腦和手機(jī)巍棱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,497評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蛋欣,“玉大人航徙,你說(shuō)我怎么就攤上這事∠莼ⅲ” “怎么了到踏?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,990評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)泻红。 經(jīng)常有香客問(wèn)我夭禽,道長(zhǎng),這世上最難降的妖魔是什么谊路? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,618評(píng)論 1 296
  • 正文 為了忘掉前任讹躯,我火速辦了婚禮,結(jié)果婚禮上缠劝,老公的妹妹穿的比我還像新娘潮梯。我一直安慰自己,他們只是感情好惨恭,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,618評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布秉馏。 她就那樣靜靜地躺著,像睡著了一般脱羡。 火紅的嫁衣襯著肌膚如雪萝究。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,246評(píng)論 1 308
  • 那天锉罐,我揣著相機(jī)與錄音帆竹,去河邊找鬼。 笑死脓规,一個(gè)胖子當(dāng)著我的面吹牛栽连,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播侨舆,決...
    沈念sama閱讀 40,819評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼秒紧,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了挨下?” 一聲冷哼從身側(cè)響起熔恢,我...
    開(kāi)封第一講書(shū)人閱讀 39,725評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎复颈,沒(méi)想到半個(gè)月后绩聘,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體沥割,經(jīng)...
    沈念sama閱讀 46,268評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,356評(píng)論 3 340
  • 正文 我和宋清朗相戀三年凿菩,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了机杜。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,488評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡衅谷,死狀恐怖椒拗,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情获黔,我是刑警寧澤蚀苛,帶...
    沈念sama閱讀 36,181評(píng)論 5 350
  • 正文 年R本政府宣布,位于F島的核電站玷氏,受9級(jí)特大地震影響堵未,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜盏触,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,862評(píng)論 3 333
  • 文/蒙蒙 一渗蟹、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧赞辩,春花似錦雌芽、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,331評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至糟需,卻和暖如春屉佳,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背洲押。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,445評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工忘古, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人诅诱。 一個(gè)月前我還...
    沈念sama閱讀 48,897評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像送朱,于是被迫代替她去往敵國(guó)和親娘荡。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,500評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容