導讀

本篇主要對分詞技術中基于規(guī)則的分詞方法進行深入的探究橄教，主要從算法的簡介、應用、優(yōu)缺點和算法的實現(xiàn)等角度進行剖析证舟。目標是對算法理解并能夠在實際中應用。

基于規(guī)則的分詞算法主要思想是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行匹配窗骑。若在詞典中找到某個字符串女责，則匹配成功。該方法有三個要素创译，即分詞詞典抵知、文本掃描順序和匹配原則。

基于規(guī)則的分詞方法中最常見的就是最大匹配算法和最短路徑算法

最大匹配算法

01算法簡介

最大匹配法是指以詞典為依據(jù)软族，取詞典中最長詞長度作為第一次取字數(shù)量的長度刷喜，在詞典中進行掃描。核心思想是：從左到右將待分詞文本中的幾個連續(xù)字符與詞表匹配立砸，如果匹配上掖疮，則切分出一個詞。但這里有一個問題：要做到最大匹配颗祝，并不是第一次匹配到就可以切分的浊闪。

最大匹配法主要包括正向最大匹配法（FMM恼布，F(xiàn)orward Maximum Matching）、逆向最大匹配法（BMM, Backward Maximum Matching）和雙向最大匹配法搁宾，均是基于詞典的折汞。

缺點：

1.需要給定詞典，如果詞典中記錄不全盖腿，比如新詞沒在字典中爽待，可能就識別不出來；

2/矛盾之處：詞典中的詞少的話翩腐，會影響準確率堕伪，詞典中詞多的話，會影響運行效率栗菜；

優(yōu)化：為提升掃描效率欠雌，還可以根據(jù)字數(shù)多少設計多個字典，然后根據(jù)字數(shù)分別從不同字典中進行掃描疙筹。

02算法核心思想

正向匹配算法的步驟：

1.從左到右開始掃描富俄，當掃描到"計算"的時候，該詞語已經(jīng)在詞庫中出現(xiàn)而咆，但并非最大匹配

2.繼續(xù)進行掃描霍比，直到發(fā)現(xiàn)"計算語言學"，該詞是詞庫中出現(xiàn)的詞暴备，但并不知道后續(xù)是否出現(xiàn)更長的匹配悠瞬，因此繼續(xù)匹配

3.全部掃描完后，得出第一個匹配的詞是"計算語言學"

逆向匹配算法的步驟：

1.首先定義一個最大分割長度比如5涯捻，從右往左截取到"課程有意思",

2.查找表發(fā)現(xiàn)不在詞典中浅妆，去掉左邊第一個得到"程有意思",不在詞典中，以此類推障癌，得到第一個分詞詞語"意思"

3.原句變?yōu)?計算語言學課程有",因為分割長度為5凌外，得到"言學課程有"

4.以此類推進行分詞

雙向匹配算法的步驟：

1.比較正向最大匹配和逆向最大匹配結(jié)果。

2.如果分詞數(shù)量結(jié)果不同涛浙，那么取分詞數(shù)量較少的那個康辑。如果分詞數(shù)量結(jié)果相同：

2.1.分詞結(jié)果相同，可以返回任何一個轿亮。

2.2.分詞結(jié)果不同疮薇，返回單字數(shù)比較少的那個，

如果單字數(shù)個數(shù)也相同我注，則任意返回一個按咒。?

03python代碼實現(xiàn)

04復雜最大匹配算法

由Chen 和Liu在《Word identification for Mandarin Chinese sentences》提出。該文提出了三詞語塊（three word chunks）的概念仓手。三詞語塊生成規(guī)則是：在對句子中的某個詞進行切分時胖齐，如果有歧義拿不定主意，就再向后展望兩個漢語詞嗽冒，并且找出所有可能的三詞語塊呀伙。在所有可能的三詞語塊中根據(jù)如下四條規(guī)則選出最終分詞結(jié)果。

規(guī)則1：最大匹配

分詞方案是使得三詞語塊(three-word chunk)最長添坊。

規(guī)則2：最大平均詞長

在句子的末尾剿另，很可能得到的"三詞語塊"只有一個或兩個詞（其他位置補空），也就是從這些語塊中找出平均詞長最大的語塊贬蛙，并選取其第一詞語作為正確的詞語切分形式雨女。這個規(guī)則的前提假設是：在句子中遇到多字詞語的情況比單字詞語更有可能。

規(guī)則3：最小詞長方差

該規(guī)則的前提假設是：句子中的詞語長度經(jīng)常是均勻分布的阳准。

規(guī)則4：最大單字詞語語素自由度之和