句法分析工具 LTP HanLP

參考:http://cslt.riit.tsinghua.edu.cn/mediawiki/images/e/e5/%E5%8F%A5%E6%B3%95%E5%B7%A5%E5%85%B7%E5%88%86%E6%9E%90.pdf

http://pyltp.readthedocs.io/zh_CN/latest/api.html

https://pypi.python.org/pypi/pyltp

https://github.com/hankcs/HanLP

使用 pyltp

pyltp 是LTP的 Python 封裝安拟,提供了分詞,詞性標(biāo)注,命名實(shí)體識別,依存句法分析,語義角色標(biāo)注的功能导而。

使用 HanLp

HanLP是由一系列模型與算法組成的Java工具包,目標(biāo)是普及自然語言處理在生產(chǎn)環(huán)境中的應(yīng)用玫鸟。HanLP具備功能完善退渗、性能高效移稳、架構(gòu)清晰、語料時(shí)新会油、可自定義的特點(diǎn)个粱。

HanLP提供下列功能:

中文分詞

最短路分詞

N-最短路分詞

CRF分詞

感知機(jī)中文分詞

索引分詞

極速詞典分詞

用戶自定義詞典

詞性標(biāo)注

HMM詞性標(biāo)注

感知機(jī)詞性標(biāo)注

命名實(shí)體識別

中國人名識別

音譯人名識別

日本人名識別

地名識別

實(shí)體機(jī)構(gòu)名識別

感知機(jī)命名實(shí)體識別

關(guān)鍵詞提取

TextRank關(guān)鍵詞提取

自動(dòng)摘要

TextRank自動(dòng)摘要

短語提取

基于互信息和左右信息熵的短語提取

拼音轉(zhuǎn)換

多音字

聲母

韻母

聲調(diào)

簡繁轉(zhuǎn)換

繁體中文分詞

簡繁分歧詞(簡體、繁體翻翩、臺灣正體都许、香港繁體)

文本推薦

語義推薦

拼音推薦

字詞推薦

依存句法分析

基于神經(jīng)網(wǎng)絡(luò)的高性能依存句法分析器

MaxEnt依存句法分析

CRF依存句法分析

文本分類

情感分析

word2vec

詞向量訓(xùn)練、加載嫂冻、詞語相似度計(jì)算胶征、語義運(yùn)算、查詢桨仿、KMeans聚類

文檔語義相似度計(jì)算

語料庫工具

分詞語料預(yù)處理

詞頻詞性詞典制作

BiGram統(tǒng)計(jì)

詞共現(xiàn)統(tǒng)計(jì)

CoNLL語料預(yù)處理

CoNLL UA/LA/DA評測工具

在提供豐富功能的同時(shí)睛低,HanLP內(nèi)部模塊堅(jiān)持低耦合、模型堅(jiān)持惰性加載服傍、服務(wù)堅(jiān)持靜態(tài)提供钱雷、詞典堅(jiān)持明文發(fā)布,使用非常方便吹零,同時(shí)自帶一些語料處理工具急波,幫助用戶訓(xùn)練自己的模型。


文章來源于網(wǎng)絡(luò)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末瘪校,一起剝皮案震驚了整個(gè)濱河市澄暮,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌阱扬,老刑警劉巖泣懊,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異麻惶,居然都是意外死亡馍刮,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進(jìn)店門窃蹋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來卡啰,“玉大人,你說我怎么就攤上這事警没⌒偃瑁” “怎么了?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵杀迹,是天一觀的道長亡脸。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么浅碾? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任大州,我火速辦了婚禮,結(jié)果婚禮上垂谢,老公的妹妹穿的比我還像新娘厦画。我一直安慰自己,他們只是感情好滥朱,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布苛白。 她就那樣靜靜地躺著,像睡著了一般焚虱。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上懂版,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天鹃栽,我揣著相機(jī)與錄音,去河邊找鬼躯畴。 笑死民鼓,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蓬抄。 我是一名探鬼主播丰嘉,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼嚷缭!你這毒婦竟也來了饮亏?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤阅爽,失蹤者是張志新(化名)和其女友劉穎路幸,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體付翁,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡简肴,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了百侧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片砰识。...
    茶點(diǎn)故事閱讀 39,703評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖佣渴,靈堂內(nèi)的尸體忽然破棺而出辫狼,到底是詐尸還是另有隱情,我是刑警寧澤辛润,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布予借,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏灵迫。R本人自食惡果不足惜秦叛,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望瀑粥。 院中可真熱鬧挣跋,春花似錦、人聲如沸狞换。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽修噪。三九已至查库,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間黄琼,已是汗流浹背樊销。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留脏款,地道東北人围苫。 一個(gè)月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像撤师,于是被迫代替她去往敵國和親剂府。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,601評論 2 353

推薦閱讀更多精彩內(nèi)容