摘要：
本文的內(nèi)容主要分為以下5個部分：
1.標(biāo)記的NER語料庫
2.現(xiàn)成的NER工具
3.根據(jù)以下3個方面對現(xiàn)有的paper進(jìn)行分類：輸入的分布式表示梦湘、上下文編碼器和標(biāo)記解碼器
4.在新的NER問題設(shè)置和應(yīng)用中最近應(yīng)用的深度學(xué)習(xí)技術(shù)中最具代表性的方法
5.面臨的挑戰(zhàn)和發(fā)展方向
寫綜述的意義（motivations）:
1.通過比較深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇，找出影響NER性能的因素以及問題和挑戰(zhàn)
2.前人所寫的綜述不完整舔痕，只側(cè)重某些方面同欠，本文主要是從輸入的分布式表示的角度來闡述NER的最新進(jìn)展
NER數(shù)據(jù)集和現(xiàn)有的工具：
傳統(tǒng)的NER方法：
- 基于規(guī)則的方法：基于規(guī)則的NER系統(tǒng)依賴手工制定的規(guī)則。規(guī)則可以根據(jù)特定領(lǐng)域的地名錄和句法詞匯模式來設(shè)計。在生物醫(yī)學(xué)領(lǐng)域忱反，Hanisch等人利用預(yù)處理的同義詞詞典來識別生物醫(yī)學(xué)文本中提到的蛋白質(zhì)和潛在的基因。Quimbaya等人提出了一種基于字典的方法滤愕，用于電子健康記錄中的NER温算。實驗結(jié)果表明，該方法在提高召回率的同時间影，對精確率的提高有限注竿。
當(dāng)詞典詳盡無遺時，基于規(guī)則的系統(tǒng)工作得很好魂贬。由于特定領(lǐng)域的規(guī)則和詞典不完整巩割，在這類系統(tǒng)中經(jīng)常會出現(xiàn)高精度和低召回率的現(xiàn)象，并且無法將系統(tǒng)轉(zhuǎn)移到其他領(lǐng)域付燥。 - 無監(jiān)督學(xué)習(xí)方法：一種典型的無監(jiān)督學(xué)習(xí)方法是聚類宣谈。基于聚類的NER系統(tǒng)基于上下文相似度從聚類中提取命名實體键科。關(guān)鍵的思想是闻丑，在大型語料庫上計算的詞匯資源、詞法模式和統(tǒng)計數(shù)據(jù)可以用來推斷命名實體的提及勋颖。
Nadeau等人提出了一種無監(jiān)督的地名索引建立和命名實體模糊度解決系統(tǒng)梆掸。該系統(tǒng)基于簡單高效的啟發(fā)式算法，將實體提取和消歧相結(jié)合牙言。此外酸钦，Zhang和Elhadad提出了一種從生物醫(yī)學(xué)文本中提取命名實體的無監(jiān)督方法。他們的模型采用術(shù)語、語料庫統(tǒng)計（如：逆文檔頻率和上下文向量）和淺層句法知識（如名詞短語分塊）來代替監(jiān)督卑硫。在兩個主流的生物醫(yī)學(xué)數(shù)據(jù)集上的實驗證明了其無監(jiān)督方法的有效性和通用性徒恋。 - 基于特征的監(jiān)督學(xué)習(xí)方法：機(jī)器學(xué)習(xí)算法已經(jīng)被應(yīng)用于有監(jiān)督的NER中，包括隱馬爾科夫模型（HMM）欢伏、決策樹入挣、最大熵模型（MEM），支持向量機(jī)（SVM）和條件隨機(jī)場（CRF）等
深度學(xué)習(xí)技術(shù)：
-
輸入的分布式表示：1.詞級表示 2.字符級表示 3.混合表示
1.詞級表示：Word2vec硝拧、Glove径筏、fastText、SENNA障陶、ID-CNNs
Bio-NER 在PubMed數(shù)據(jù)庫上使用跳字模型訓(xùn)練的
2.字符級表示：字符級表示相對字級表示的優(yōu)點：1）字符級表示對于提取子詞信息（如：前綴和后綴）很有用 2）它能有效解決OOV的問題
有兩種廣泛使用的提取字符級表示的體系結(jié)構(gòu)：基于CNN的模型和基于RNN的模型
3.混合表示：詞匯相似度滋恬、詞性標(biāo)注、分塊抱究、語義依賴恢氯、多模態(tài)（嵌入視覺特征）
其他特征：拼寫特征、上下文特征鼓寺、單詞嵌入勋拟、地名錄特征、大小寫特征 上下文編碼結(jié)構(gòu)：CNN妈候、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）敢靡、遞歸神經(jīng)網(wǎng)絡(luò)
-
標(biāo)簽解碼器結(jié)構(gòu)：
softmax和CRF是我們常見的兩種解碼器結(jié)構(gòu)。RNN也可以作為解碼器苦银，隱藏層的輸入除了有編碼層的輸入啸胧，還包括前一個已經(jīng)識別出來的標(biāo)簽。指針網(wǎng)絡(luò)將NER當(dāng)作先識別出“塊”然后再進(jìn)行分類
-
基于深度學(xué)習(xí)的NER的總結(jié)：
架構(gòu)的比較：
1.怎樣引入外部知識尚未達(dá)成共識墓毒，引入之后的效果確實會有所提升吓揪，但缺點也是明顯的：1）獲取代價高 2）引入外部知識影響端到端的使用和系統(tǒng)的通用性
2.Transformer編碼器只有在大型語料庫上預(yù)訓(xùn)練才會比LSTM更有效
3.指針網(wǎng)絡(luò)和RNN的解碼器不能并行，CRF是比較通用的解碼器所计，但當(dāng)實體類型比較多時柠辞，CRF的計算成本很高，更重要的是主胧，當(dāng)使用BERT或ELMo進(jìn)行上下文嵌入時叭首，CRF并不總是比softmax有效
4.具體選用怎樣的架構(gòu)，取決于數(shù)據(jù)（豐富性）和領(lǐng)域任務(wù)踪栋。對于新聞領(lǐng)域焙格，已經(jīng)有很多預(yù)訓(xùn)練的模型可使用，對于特定領(lǐng)域（如：醫(yī)療和社交媒體）夷都，使用特定領(lǐng)域的數(shù)據(jù)對通用上下文語言模型進(jìn)行微調(diào)是一種有效的方法眷唉。
