<p>大家好，我是CHEONG啥供，最近在分享知識圖譜入門和構建相關的文章稠集。CHEONG在前年有過大半年實體鏈接相關的工作經驗奶段，實體鏈接是將文本中提到的實體與其知識庫中相應的實體鏈接起來的任務，是解決實體間存在的歧義性問題剥纷，是知識圖譜構建過程中的核心技術痹籍。</p><p>本文將調研的實體鏈接相關研究進行了一個總結，寫了個不算全面的綜述晦鞋，在此分享給大家蹲缠！歡迎關注公眾號【AI機器學習與知識圖譜】</p><p>
</p><span/><p><span style="font-size:16px">一、</span><span style="font-size:16px">Entity Linking定義及挑戰(zhàn)</span></p><p><span style="font-size:16px">二悠垛、Entity Linking任務應用</span></p><p><span style="font-size:16px">三线定、Entity Linking關鍵技術</span></p><p><span style="font-size:16px">四、Entity Linking前沿文獻20篇</span></p><p><span style="font-size:16px">五确买、參考文獻列表
</span></p><p>
</p><strong><span style="font-size:20px"><span style="font-size:20px">▌</span>Entity Linking定義及挑戰(zhàn)</span></strong><div><strong>
</strong></div><div><strong><font size="3">1斤讥、Entity Linking定義</font></strong><p><font size="3">實體鏈接是將文本中提到的實體與其知識庫中相應的實體鏈接起來的任務，是解決實體間存在的歧義性問題湾趾。詳細來說芭商，給定一個富含一系列實體的知識庫與已經標注好mention的語料，實體鏈接任務的目標是將每一個mention匹配到知識庫中它所對應的實體上面搀缠，如果知識庫中沒有mention對應的實體铛楣，則認為該mention不可鏈接到當前知識庫，標記為NIL艺普。</font></p><p><font size="3">
</font></p><strong><font size="3">2簸州、Entity Linking挑戰(zhàn)</font></strong></div><div><font size="3">(1) 實體鏈接屬于相對下游的任務，其性能受限于中文分詞和實體識別的準確性歧譬；</font></div><div><font size="3">(2) 英文有TAC-KBP等公開數據集岸浑，標注完整且較為準確，中文相關領域缺乏權威數據集缴罗；</font></div><div><font size="3">(3) 相較于Wikipedia助琐、YAGO、Freebase等知識庫面氓，中文百科知識庫起步較晚且不成熟兵钮；
</font></div><div><p><font size="3">(4) 實體間會存在高度的歧義性，具體表現為多詞同義和一詞多義這兩個方面舌界，多詞同義是指一個實體可以用多個實體指稱來表示掘譬，比如孫中山，又叫孫文呻拌，字載之葱轩，都是指孫中山這個人物，而一詞多義是指一個實體指稱可以表示多個實體，比如阿里巴巴這個指稱是一個公司的名靴拱，同樣也可以指《一千零一夜》中的一個故事人物垃喊。</font></p><p>
</p><strong><span style="font-size:20px"><span style="font-size:20px">▌</span>Entity Linking任務應用</span></strong></div><div>
</div><div><font size="3">1、Question Answering：實體鏈接是KBQA的剛需袜炕，linking到實體之后才能查詢圖數據庫本谜。</font></div><div><font size="3">2、Content analysis：輿情分析偎窘、內容推薦乌助、閱讀增強。</font></div><div><font size="3">3陌知、Information retrieval：基于語義實體的搜索推薦他托。</font><p><font size="3">4、Knowledge basepopulation：擴充知識庫仆葡，更新實體和關系赏参。</font></p><p>
</p><strong><span style="font-size:20px"><span style="font-size:20px">▌</span>Entity Linking關鍵技術</span></strong></div><div><strong>
</strong></div><div><strong><font size="4">1、指稱識別（NER）</font></strong></div><div><strong><font size="4">1.1 簡述</font></strong><p>實體鏈接的第一步得先識別出文本中的實體,被稱為NER沿盅。命名實體識別(NamedEntity Recognition)是識別出文本中的人名登刺、地名等專有名稱和有意義的時間、日期等相關實體并加以歸類嗡呼。而且NER的準確度將直接影響到下有任務實體連接的效果，因此至關重要皇耗。</p><p><strong>1.2 方案</strong></p><p>下面給出一份自2016年以來出眾NER模型的相關統計比對信息南窗，供參考(下圖感謝周同學的調研工作)，關于NER詳細調研內容關注公眾號加微信獲取郎楼。</p><strong>2万伤、候選實體生成</strong><p><strong>2.1 簡述</strong></p><p>候選實體集的生成是根據文本中已有的指稱項，去知識庫中召回與之相關盡可能多的實體呜袁，該過程要求較高的召回率敌买。</p><p><strong>2.2 方案</strong></p><strong>1、構建同義詞表</strong><p>同義詞表指的是阶界，名字大致相同的情況虹钮。注意與別名詞表的區(qū)分”烊冢可以根據百科中（Wiki百科）的重定向頁面芙粱，抽取同義詞，或者從Wiki百科中首段加粗內容抽取同義詞氧映。</p><p><strong>2春畔、構建縮寫全稱映射表</strong></p>(1) 對于人名，名字擴展成為全稱。如Brown擴展成John Brown律姨。(2) 對于大寫縮寫振峻，可根據庫中實體核對首字母。如：IBM擴展成International Brotherhood of Magicians择份。(3) 對于地名扣孟，可根據地名表擴展。如：US擴展為United States缓淹。<p><strong>3哈打、構建別名詞表</strong></p><p>別名詞表，內容大致為名稱不太相同讯壶，但是意義一致的內容料仗。如：魯迅與周樹人》茫可根據wiki中的錨文本信息中抽取別名立轧。</p><p><strong>4、基于編輯距離召回實體</strong></p><p>給定指稱項躏吊，根據實體計算知識庫中候選實體與實體的編輯距離氛改，小于閾值則可以召回。編輯距離：是指兩字字符串A比伏、B的字面相似度胜卤。是指字符串A到字符串B（增加一個字符，刪除一個字符赁项、替換一個字符）葛躏，所需的最少編輯操作次數。</p><p><strong>5悠菜、基于詞向量相似性召回實體</strong></p><p>根據文本訓練詞向量舰攒，將實體的詞向量與文本中的詞向量計算詞向量之間的相似度，例如余弦相似度等悔醋。</p><p>
</p><strong><span style="font-size:20px"><span style="font-size:20px">▌</span>Entity Linking<span style="font-size:20px">前沿文獻近20篇</span></span></strong></div><div><span style="font-size:18px"><strong>
</strong></span></div><div><span style="font-size:18px"><strong>1摩窃、Local Neural Attention</strong></span><p><strong>論文名稱：</strong>Deep Joint Entity Disambiguation with Local Neural Attention (EMNLP 2017)</p><p><strong>核心思想：</strong>本文核心的創(chuàng)新點是提出了一種局部Entity Disambiguation注意力機制，主要思想是只有少數上下文詞匯能夠提供信息來解釋實體模棱兩可的含義芬骄，大部分的詞是無用的猾愿，因此將注意力集中在選擇消歧決策提供信息的詞語，這樣模型只關注少量重要的詞匯德玫，減少了不必要的噪音詞匯匪蟀。</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-32accedf34b77dd3.jpeg" img-data="{"format":"jpeg","size":18736,"height":255,"width":481}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><p><span style="font-size:18px"><strong>
</strong></span></p><p><span style="font-size:18px"><strong>2、Multi-Relation Model</strong></span></p><p><strong>論文名稱：</strong>Improving Entity Linking by Modeling Latent Relations between Mentions (ACL 2018)</p><p><strong>核心思想：</strong>本文主要在LocalModel和Global Model的基礎上進一步發(fā)掘Mention和Mention之間的Latent Relations宰僧，文中假設Mention和Mention之間存在Multi-Relational材彪，有k種關系观挎，然后對每種關系計算Local Score和Global Score，同時對關系得分取最終得分時使用了不同的正則化方式段化，如對RelationNorm和對Mention Norm：Rel-norm：Relation-wise normalization嘁捷，就是以關系k維度來norm；Ment-norm：Mention-wise Normalization显熏，就是以實體j維度來norm雄嚣。</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-1a8f61ffdfd9bb81.jpeg" img-data="{"format":"jpeg","size":31891,"height":311,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><span style="font-size:18px"><strong>3、</strong></span></div><div><span style="font-size:18px"><strong>3喘蟆、</strong></span><strong style="font-size: 18px;">Deep Reinforcement Learning</strong></div><div><p><strong>論文名稱：</strong>Joint Entity Linking with Deep Reinforcement Learning(WWW 2019)</p><p><strong>核心思想：</strong>本文考慮到之前的Global模型存在兩個很大的問題缓升，一是利用全局信息計算候選實體得分時會增加模型的復雜度并且會引入噪音信息；二是先前錯誤的實體將會導致后面實體消歧的累積誤差蕴轨。該模型從全局角度進行決策港谊。我們的模型充分利用了先前提到的實體，并探討了當前選擇對后續(xù)決策的長期影響橙弱。</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-afc593afb883b1a8.jpeg" img-data="{"format":"jpeg","size":28857,"height":266,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><p><span style="font-size:14px"/></p><p><span style="font-size:18px"><strong>
</strong></span></p><p><span style="font-size:18px"><strong>4歧寺、End-to-End Learning</strong></span></p><p><strong>論文名稱：</strong>End-to-End Neural Entity Linking(CoNLL 2018)</p><p><strong>核心思想：</strong>本文提出端到端模型，一定程度上更能夠發(fā)現現有拓撲中未知的實體棘脐⌒笨穑總體而言比較容易理解其過程，就是將實體識別過程和鏈接匹配過程連在一起蛀缝，獲取mention的embedding而后直接在模型內部進行相似性匹配操作顷链。</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-62a5652fc2363d76.jpeg" img-data="{"format":"jpeg","size":34390,"height":281,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><span style="font-size:18px"><strong>5、Joint Learning</strong></span><p><strong>論文名稱：</strong>Joint Learning of Named Entity Recognition and Entity Linking</p><p><strong>核心思想：</strong>實體匹配是指將識別到的實體與知識庫或者圖譜中實體進行匹配與映射屈梁。因此實體匹配與識別是兩個相關性非常高的任務蕴潦，通過實體匹配，識別到的實體與現實中的概念相連接俘闯。本文將實體匹配與識別統一起來訓練，認為兩個任務一起學習忽冻，能夠提升兩個任務的準確率真朗。</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-fcbd44175c3c2030.jpeg" img-data="{"format":"jpeg","size":31100,"height":296,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><span style="font-size:18px"><strong>6、Short Text Entity Linking</strong></span><p><strong>(1) AggregatedSemantic Matching for Short Text Entity Linking (CoNLL 2018)</strong></p><p><strong>核心思想：</strong>長文本能更好的利用全局信息僧诚，global scores在短文本中不能很好地使用，本文在noisy and short text上更多的去挖掘local information，并且只使用了local information去計算mention和candidate entity之間的相似度善绎，sim(m,ttl), sim(m, desc), sim(ctx, ttl), sim(ctx, desc)四個local similarity灵寺，模型上則使用了Representation-focused model and interaction-focused model neural model for semantic matching in fourtext pairs，最后使用rank aggregation對entity排序慈省，模型細節(jié)如下：</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-89f8f93869beafab.jpeg" img-data="{"format":"jpeg","size":35694,"height":299,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><strong>(2) Old is Gold: Linguistic Driven Approach for Entity and Relation Linking of Short Text (NAACL 2019)</strong><p><strong>核心思想：</strong>本文認為短文本沒有充足的上下文信息且部分是殘缺的臀防，本文最大的特色在于用DBpedia + Wikidata + Oxford Dictionary + WordNet構建了一個Extended Knowledge Graph, 在此基礎上知識庫建立完成，然后對Query的處理則首先Pos Tagging區(qū)分對待動詞和名詞，且利用英文詞的特性利用組合詞和首字母輔助任務袱衷，候選詞的生成在KG上使用elastic search捎废，最后用基于KG進行候選集排序，其中還用到了N-gram對Query中實體分割致燥，模型細節(jié)如下：</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-744c742f2e120b25.jpeg" img-data="{"format":"jpeg","size":37212,"height":289,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><p><strong>(3) Entity Linking for Chinese Short Text Basedon BERT and Entity Name Embedding
(ccks 2019)</strong></p><p><strong>核心思想：</strong>傳統實體鏈接任務主要是針對長文本登疗，擁有完整的上下文信息，有助于實體識別與實體消歧嫌蚤。由于口語化辐益、方言和短文本不足的上下文，中文短文本實體鏈接尚具挑戰(zhàn)脱吱。本文對中文短文本進行了探討智政，模型細節(jié)如下：</p><div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/26011021-15a9151d53e4ae17.jpeg" img-data="{"format":"jpeg","size":28694,"height":284,"width":553}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div><span style="font-size:18px"><strong><div><span style="font-size:18px"><strong>
</strong></span></div>7、ACL 2019/2018/2017</strong></span><p><strong>(1) Boosting Entity Linking Performance by Leveraging Unlabeled Documents </strong><strong>(ACL 2019)</strong></p><p><strong>(2) Zero-shot Entity Linking by Reading Entity Description (ACL 2019)</strong></p><p><strong>(3) Distant Learning for Entity Linking with Automatic Noise Detection (ACL 2019)</strong></p><p><strong>核心思想：</strong>以上三篇都是針對于沒有標注數據的情況下急凰，在無標注數據下女仰，利用上下文信息實現Entity Linking。</p><p><strong>(4) Improving Neural Entity Disambiguation with Graph Embedding (ACL 2019)</strong></p><p><strong>核心思想：</strong>只提出一個核心的東西抡锈，就是利用KG的結構化數據使用DeepWalk構建Graph Embedding疾忍，并且在兩個實驗上證明了Graph Embedding的效果對于Entity Linking的提升，其中一個實驗用的模型和代碼是論文End-to-End Neural Entity Linking床三，將其中的TextEmbedding換成了Graph Embedding一罩。</p><p><strong>(5) DiaNED: Time-Aware Named Entity Disambiguation for Diachronic Corpora (ACL 2018)</strong></p><p><strong>核心思想</strong>：本文是針對特殊領域數據Diachronic Corpus上做NED，文中提到之前的NED都是針對于某個短暫時間的實體消歧撇簿，對于時間跨度很大的數據處理效果不好聂渊，本文就針對于時間長跨度的數據提出命名實體消歧，通過計算Mention和All Entities之間的時間相似度四瘫。</p><p><strong>(6) List-only Entity Linking (ACL 2017)</strong></p><p><strong>核心思想：</strong>本文首先考慮到Knowledge Base可能是稀疏的汉嗽，Entity沒有充足的信息，因此將關注點放在Seed Mentions上找蜜，在計算Mention和Entity之間分數前饼暑，先看Mention和Seed Mention之間的關系。Seed Mention選擇洗做，通過聚類選取最大的聚類作為Seed Mentions弓叛，在計算分數的時候用到了Entity Type(Loc, Per等)和Mention Textual Context。</p><span style="font-size:18px"><strong><div><span style="font-size:18px"><strong>
</strong></span></div>8诚纸、EMNLP 2019/2018/2017</strong></span><p><strong>(1) Learning Dynamic Context Augmentation for Global Entity Linking (EMNLP2019)</strong></p><p><strong>核心思想：</strong>本文指出Global Model在計算相似度時的復雜度高撰筷，提出了一種Dynamic Context Augmentation的方法來融合global signal，在提高Entity Linking效果的同時降低了運算復雜度畦徘，文中用兩種方法實現了DCA毕籽，一種是標準的監(jiān)督模型框架抬闯，另一種是強化學習框架，并且將DCA用到了兩個已經有的Local Model上進行試驗影钉，效果好画髓，本文有提供源碼，可以考慮作為基模型使用平委，本文核心目的也就是利用DCA方法學習到Global Information奈虾。</p><p><strong>(2) Fine-Grained Evaluation for Entity Linking (EMNLP 2019)</strong></p><p><strong>核心思想：</strong>本文核心不是做Entity Linking，作者考慮到Entity Linking沒有一個一致的評判標準廉赔，因此對不同類型的Mentions, Entities, Links進行一個細粒度的劃分肉微，對數據進行細粒度劃分之后再給出統一的評估標準，評估EL模型的效果蜡塌。</p><strong>(3) Improving Fine-grained Entity Typing with Entity Linking (EMNLP 2019)</strong><p><strong>核心思想：</strong>本文工作主要是對Entity類別進行分類碉纳，Thefine-grained entity type classification，其中entity linking知識用來給entity分類的一個工具馏艾。</p><p><strong>(4) Effective Use of Context in Noisy Entity Linking (EMNLP 2018)</strong></p><p><strong>核心思想：</strong>本文主要考慮在Noisy and Short Text中劳曹，如何更好地提取Mention的上下文信息。文中認為對于稀疏的特征難以提取琅摩，而想更充分的挖掘Mention的上下文和Entity之間的相似性铁孵，因此提出了一些新的方案，例如對Mention的上下文分別進行Representation房资，計算Left Context, Right Context和Entity之間的多種關系蜕劝，使用Character CNN提取特征(但效果優(yōu)化不明顯)，最后還是用看Mention Context和Entity之間Overlap Feature轰异，沒有源碼岖沛。</p><p><strong>(5) Entity Linking within a Social Media Platform: A Case Study on Yelp (EMNLP 2018)</strong></p><p><strong>核心思想：</strong>本文主要考慮在一個社交媒體平臺上Entity Linking任務中target entities沒有很多的信息描述，針對此問題提出了新的解決方案搭独。首先本文創(chuàng)造了一份自己的數據集婴削，針對于該數據集因為Entity沒有充足的上下文信息，因此本文針對此份數據集相對于conventional features牙肝，提出了Social Features和Location Features馆蠕，其中Social Features是看Mention和Entity之間是否有User等social relations，比較多的情況下就認為Mention和Entity之間強關系惊奇，Local Features則是看是否在同一個城市等位置信息。</p><p><strong>(6) Entity Linking via Joint Encoding of Types, Descriptions and Context (EMNLP 2017)</strong></p><p><strong>核心思想：</strong>本文在計算Mention和Entity之間相似度時引入了Fine-Grained Types播赁，同時結合了Mention-Context(local context and Document Context)和Entity Description的分數颂郎，特殊之處在于引入了Mention和Entity的Fine-grained Types，即是同樣類型的Mention匹配同樣類型的Entity容为。</p><p><strong>(7) Entity Linking for Queries by Searching Wikipedia Sentences (EMNLP 2017)</strong></p><p><strong>核心思想：</strong>本文提出了一個Entity Linking方法用在Query中乓序，本文的亮點是使用了直接評估query和Wikipedia articles之間的相似度寺酪，排序使用的是Regression Based Framework。</p><p>
</p><strong><span style="font-size:20px"><span style="font-size:20px">▌</span>參考文獻列表</span></strong></div><div>
</div><div>【1】Bidirectional LSTM-CRF for Clinical Concept Extraction (COLING 2016)</div><div>【2】End-to-end sequence labeling via bi-directional LSTM-CNNS-CRF (ACL 2016)</div><div>【3】Ncrf++ An open-source neural sequence labeling toolkit (ACL 2018)</div><div>【4】Hybrid semi-Markov CRF for neural sequence labeling (ACL 2018)</div><div>【5】FLAIR: An Easy-to-Use Framework for State-of-the-Art NLP (NAACL 2018)</div><div>【6】Deep Joint Entity Disambiguation with Local Neural Attention (EMNLP 2017)</div><div>【7】Improving Entity Linking by Modeling Latent Relations between Mentions (ACL 2018)</div><div>【8】Joint Entity Linking with Deep Reinforcement Learning (WWW 2019)</div><div>【9】End-to-End Neural Entity Linking (CoNLL 2018)</div><div>【10】Joint Learning of Named Entity Recognition and Entity Linking</div><div>【11】Aggregated Semantic Matching for Short Text Entity Linking (CoNLL 2018)</div><div>【12】Oldis Gold Linguistic Driven Approach for Entity and Relation Linking of ShortText (NAACL 2019) </div><div>【13】Entity Linking for Chinese Short Text Based on BERT and Entity Name Embedding
(CCKS 2019)</div><div>【14】Boosting Entity Linking Performance by Leveraging Unlabeled Documents (ACL 2019)</div><div>【15】Zero-shot Entity Linking by Reading Entity Description (ACL 2019)</div><div>【16】Distant Learning for Entity Linking with Automatic Noise Detection (ACL 2019)</div><div>【17】Improving Neural Entity Disambiguation with Graph Embedding (ACL 2019)</div><div>【18】diaNED Time-Aware Named Entity Disambiguation for Diachronic Corpora (ACL 2018)</div><div>【19】List-only Entity Linking (ACL 2017)</div><div>【20】Learning Dynamic Context Augmentation for Global Entity Linking (EMNLP 2019)</div><div>【21】Fine-Grained Evaluation for Entity Linking (EMNLP 2019)</div><div>【22】Improving Fine-grained Entity Typing with Entity Linking (EMNLP 2019)</div><div>【23】Effective Use of Context in Noisy Entity Linking (EMNLP 2018)</div><div>【24】Entity Linking within a Social Media Platform: A Case Study on Yelp (EMNLP 2018)</div><div>【25】Entity Linking via Joint Encoding of Types, Descriptions, and Context (EMNLP 2017)</div><div>【26】Entity Linking for Queries by Searching Wikipedia Sentences (EMNLP 2017)
<p><span style="font-size:16px"><strong>
往期精彩</strong></span></p><p/><p>【知識圖譜系列】基于2D卷積的知識圖譜嵌入</p><p/><p>【知識圖譜系列】知識圖譜的神經符號邏輯推理</p><p><span>原創(chuàng)不易替劈，那就點贊寄雀，收藏，轉發(fā)三連呀陨献！歡迎關注公眾號【AI機器學習與知識圖譜】</span></p></div>