筆記轉(zhuǎn)載于GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP

8. 命名實體識別

8.1 概述

1. 命名實體

   文本中有一些描述實體的詞匯级野。比如人名骏令、地名、組織機構(gòu)名碘耳、股票基金狰右、醫(yī)學(xué)術(shù)語等错敢，稱為命名實體痊臭。具有以下共性:

   • 數(shù)量無窮踩萎。比如宇宙中的恒星命名停局、新生兒的命名不斷出現(xiàn)新組合。
   • 構(gòu)詞靈活香府。比如中國工商銀行董栽，既可以稱為工商銀行，也可以簡稱工行企孩。
   • 類別模糊锭碳。有一些地名本身就是機構(gòu)名，比如“國家博物館”

2. 命名實體識別

   識別出句子中命名實體的邊界與類別的任務(wù)稱為命名實體識別勿璃。由于上述難點擒抛，命名實體識別也是一個統(tǒng)計為主、規(guī)則為輔的任務(wù)补疑。

   對于規(guī)則性較強的命名實體歧沪，比如網(wǎng)址、E-mail莲组、IBSN诊胞、商品編號等，完全可以通過正則表達式處理胁编，未匹配上的片段交給統(tǒng)計模型處理厢钧。

   命名實體識別也可以轉(zhuǎn)化為一個序列標注問題。具體做法是將命名實體識別附著到{B,M,E,S}標簽嬉橙，比如早直， 構(gòu)成地名的單詞標注為“B/ME/S- 地名”，以此類推市框。對于那些命名實體邊界之外的單詞霞扬，則統(tǒng)一標注為0 ( Outside )。具體實施時，HanLP做了一個簡化喻圃，即所有非復(fù)合詞的命名實體都標注為S萤彩，不再附著類別。這樣標注集更精簡斧拍，模型更小巧雀扶。

命名實體識別實際上可以看作分詞與詞性標注任務(wù)的集成: 命名實體的邊界可以通過{B,M,E,S}確定，其類別可以通過 B-nt 等附加類別的標簽來確定肆汹。

HanLP內(nèi)部提供了語料庫轉(zhuǎn)換工序愚墓，用戶無需關(guān)心，只需要傳入 PKU 格式的語料庫路徑即可昂勉。

8.2 基于隱馬爾可夫模型序列標注的命名實體識別

之前我們就介紹過隱馬爾可夫模型浪册，詳細見: 4.隱馬爾可夫模型與序列標注

隱馬爾可夫模型命名實體識別代碼見(自動下載 PKU 語料庫): hmm_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/hmm_ner.py

運行代碼后結(jié)果如下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v 美國紐約/ns 現(xiàn)代/ntc 藝術(shù)/n 博物館/n 參觀/v

其中機構(gòu)名“華北電力公司”、人名“譚旭光”“胡花蕊”全部識別正確岗照。但是地名“美國紐約現(xiàn)代藝術(shù)博物館”則無法識別村象。有以下兩個原因:

• PKU 語料庫中沒有出現(xiàn)過這個樣本。
• 隱馬爾可夫模型無法利用詞性特征攒至。

對于第一個原因厚者，只能額外標注一些語料。對于第二個原因可以通過切換到更強大的模型來解決嗓袱。

8.3 基于感知機序列標注的命名實體識別

之前我們就介紹過感知機模型籍救，詳細見: 5.感知機分類與序列標注

感知機模型詞性標注代碼見(自動下載 PKU 語料庫): perceptron_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/perceptron_ner.py

運行會有些慢，結(jié)果如下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v [美國紐約/ns 現(xiàn)代/ntc 藝術(shù)/n 博物館/n]/ns 參觀/v

與隱馬爾可夫模型相比渠抹，已經(jīng)能夠正確識別地名了蝙昙。

8.4 基于條件隨機場序列標注的命名實體識別

之前我們就介紹過條件隨機場模型，詳細見: 6.條件隨機場與序列標注

條件隨機場模型詞性標注代碼見(自動下載 PKU 語料庫): crf_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/crf_ner.py

運行時間會比較長梧却，結(jié)果如下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v [美國紐約/ns 現(xiàn)代/ntc 藝術(shù)/n 博物館/n]/ns 參觀/v

得到了結(jié)果是一樣的奇颠。

8.5 命名實體識別標準化評測

各個命名實體識別模塊的準確率如何，并非只能通過幾個句子主觀感受放航。任何監(jiān)督學(xué)習(xí)任務(wù)都有一套標準化評測方案烈拒，對于命名實體識別，按照慣例引入P广鳍、R 和 F1 評測指標荆几。

在1998年1月《人民日報》語料庫上的標準化評測結(jié)果如下:

值得一提的是，準確率與評測策略赊时、特征模板吨铸、語料庫規(guī)模息息相關(guān)。通常而言祖秒，當(dāng)語料庫較小時诞吱，應(yīng)當(dāng)使用簡單的特征模板舟奠，以防止模型過擬合；當(dāng)語料庫較大時房维，則建議使用更多特征沼瘫，以期更高的準確率。當(dāng)特征模板固定時咙俩，往往是語料庫越大耿戚，準確率越高。

8.6 自定義領(lǐng)域命名實體識別

以上我們接觸的都是通用領(lǐng)域上的語料庫暴浦，所含的命名實體僅限于人名溅话、地名、機構(gòu)名等歌焦。假設(shè)我們想要識別專門領(lǐng)域中的命名實體，這時砚哆，我們就要自定義領(lǐng)域的語料庫了独撇。

1. 標注領(lǐng)域命名實體識別語料庫

   首先我們需要收集一些文本， 作為標注語料庫的原料躁锁，稱為生語料纷铣。由于我們的目標是識別文本中的戰(zhàn)斗機名稱或型號，所以生語料的來源應(yīng)當(dāng)是些軍事網(wǎng)站的報道战转。在實際工程中搜立，求由客戶提出，則應(yīng)當(dāng)由該客戶提供生語料槐秧。語料的量級越大越好啄踊，一般最低不少于數(shù)千個句子。

   生語料準備就緒后刁标，就可以開始標注了颠通。對于命名實體識別語料庫，若以詞語和詞性為特征的話膀懈，還需要標注分詞邊界和詞性顿锰。不過我們不必從零開始標注，而可以在HanLP的標注基礎(chǔ)上進行校正启搂，這樣工作量更小硼控。

   樣本標注了數(shù)千個之后，生語料就被標注成了熟語料胳赌。下面代碼自動下載語料庫牢撼。

2. 訓(xùn)練領(lǐng)域模型

   選擇感知機作為訓(xùn)練算法(自動下載 戰(zhàn)斗機 語料庫): plane_ner.py

   https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/plane_ner.py

   運行結(jié)果如下:

   下載 http://file.hankcs.com/corpus/plane-re.zip 到 /usr/local/lib/python3.7/site-packages/pyhanlp/static/data/test/plane-re.zip
   100.00%, 0 MB, 552 KB/s, 還有 0 分  0 秒   
   米高揚/nrf 設(shè)計/v [米格/nr -/w 17/m PF/nx]/np ：/w [米格/nr -/w 17/m]/np PF/n 型/k 戰(zhàn)斗機/n 比/p [米格/nr -/w 17/m P/nx]/np 性能/n 更好/l 。/w
   [米格/nr -/w 阿帕奇/nrf -/w 666/m S/q]/np 橫空出世/l 匈织。/w
   

   這句話已經(jīng)在語料庫中出現(xiàn)過浪默，能被正常識別并不意外牡直。我們可以偽造一款“米格-阿帕奇-666S”戰(zhàn)斗機，試試模型的繁華能力纳决，發(fā)現(xiàn)依然能夠正確識別碰逸。

8.7 GitHub

HanLP何晗--《自然語言處理入門》筆記：

https://github.com/NLP-LOVE/Introduction-NLP

項目持續(xù)更新中......

目錄