中文分詞概述
詞是最小的能夠獨立活動的有意義的語言成分凳干，一般分詞是自然語言處理的第一項核心技術泉瞻。英文中每個句子都將詞用空格或標點符號分隔開來谴分，而在中文中很難對詞的邊界進行界定鸠天，難以將詞劃分出來箫柳。在漢語中手形，雖然是以字為最小單位，但是一篇文章的語義表達卻仍然是以詞來劃分的悯恍。因此處理中文文本時库糠，需要進行分詞處理，將句子轉(zhuǎn)為詞的表示涮毫，這就是中文分詞瞬欧。
中文分詞的三個難題：
分詞規(guī)則，消除歧義和未登錄詞識別窒百。
構(gòu)建完美的分詞規(guī)則便可以將所有的句子正確的劃分黍判，但是這根本無法實現(xiàn)，語言是長期發(fā)展自然而然形成的篙梢，而且語言規(guī)則龐大復雜顷帖，很難做出完美的分詞規(guī)則。
在中文句子中渤滞，很多詞是由歧義性的贬墩，在一句話也可能有多種分詞方法。比如：”結(jié)婚/的/和尚/未結(jié)婚/的“妄呕，“結(jié)婚/的/和/尚未/結(jié)婚/的”陶舞，人分辨這樣的句子都是問題，更何況是機器绪励。
此外對于未登陸詞肿孵，很難對其進行正確的劃分。
目前主流分詞方法：
基于規(guī)則疏魏，基于統(tǒng)計以及二者混合停做。
基于規(guī)則的分詞：
主要是人工建立詞庫也叫做詞典，通過詞典匹配的方式對句子進行劃分大莫。其實現(xiàn)簡單高效蛉腌，但是對未登陸詞很難進行處理。主要有正向最大匹配法，逆向最大匹配法以及雙向最大匹配法烙丛。
正向最大匹配法（FMM）
FMM的步驟是：
（1）從左向右取待分漢語句的m個字作為匹配字段舅巷，m為詞典中最長詞的長度。
（2）查找詞典進行匹配河咽。
（3）若匹配成功钠右，則將該字段作為一個詞切分出去。
（4）若匹配不成功库北，則將該字段最后一個字去掉爬舰，剩下的字作為新匹配字段，進行再次匹配寒瓦。
（5）重復上述過程情屹，直到切分所有詞為止。
分詞的結(jié)果為：
逆向最大匹配法（RMM）
RMM的基本原理與FMM基本相同杂腰，不同的是分詞的方向與FMM相反垃你。RMM是從待分詞句子的末端開始，也就是從右向左開始匹配掃描喂很，每次取末端m個字作為匹配字段惜颇，匹配失敗，則去掉匹配字段前面的一個字少辣，繼續(xù)匹配凌摄。
分詞的結(jié)果為：
雙向最大匹配法（Bi-MM）
Bi-MM是將正向最大匹配法得到的分詞結(jié)果和逆向最大匹配法得到的結(jié)果進行比較，然后按照最大匹配原則漓帅，選取詞數(shù)切分最少的作為結(jié)果锨亏。據(jù)SunM.S.和Benjamin K.T.（1995）的研究表明，中文中90.0%左右的句子忙干，正向最大匹配法和逆向最大匹配法完全重合且正確器予，只有大概9.0%的句子兩種切分方法得到的結(jié)果不一樣，但其中必有一個是正確的（歧義檢測成功）捐迫，只有不到1.0%的句子乾翔，使用正向最大匹配法和逆向最大匹配法的切分雖然重合但是錯的，或者兩種方法切分不同但結(jié)果都不對（歧義檢測失斒┐鳌）反浓。
雙向最大匹配的規(guī)則是：
（1）如果正反向分詞結(jié)果詞數(shù)不同，則取分詞數(shù)量少的那個赞哗。
（2）如果分詞結(jié)果詞數(shù)相同：
1）分詞結(jié)果相同勾习，沒有歧義，返回任意一個懈玻。
2）分詞結(jié)果不同，返回其中單字數(shù)量較少的那個。
比如：上述例子中詞數(shù)相同涂乌，但結(jié)果不同艺栈，逆向最大匹配法的分詞結(jié)果單字個數(shù)是1，所以返回的是逆向最大匹配法的結(jié)果湾盒。
分詞的結(jié)果為：
基于規(guī)則的分詞湿右，一般較為簡單高效，但是詞典的維護很大的人力維護罚勾，同時對于未登錄詞也沒有很好的解決辦法毅人。雙向最大匹配結(jié)合了正反兩種方法的結(jié)果，結(jié)果較為準確尖殃，在實用中文信息處理中使用廣泛丈莺。
