導(dǎo)讀：在智能化時(shí)代的今天焰雕，搜索引擎不僅能理解用戶檢索的信息、并總結(jié)出與搜索話題相關(guān)的內(nèi)容芳杏，更在逐步構(gòu)建一個(gè)與搜索結(jié)果相關(guān)的完整知識(shí)體系矩屁，讓用戶獲得意想不到的發(fā)現(xiàn)辟宗。神馬搜索的知識(shí)圖譜與應(yīng)用團(tuán)隊(duì)就在這條路上不斷探索中。

昨天吝秕，我們介紹了基于DeepDive的關(guān)系抽取方法及其在知識(shí)圖譜數(shù)據(jù)構(gòu)建中應(yīng)用（傳送門：知識(shí)圖譜數(shù)據(jù)構(gòu)建的“硬骨頭”泊脐，阿里工程師如何拿下？）烁峭。這個(gè)方法準(zhǔn)確率高容客、交互好，在單一關(guān)系的抽取任務(wù)中體現(xiàn)了強(qiáng)大的能力约郁。今天缩挑，我們將為大家繼續(xù)分享，基于深度學(xué)習(xí)的關(guān)系抽取技術(shù)及其在神馬知識(shí)圖譜數(shù)據(jù)構(gòu)建中的探索和實(shí)踐鬓梅，以及業(yè)務(wù)落地過(guò)程中遇到的一些挑戰(zhàn)供置，期待與大家一起交流探討。

深度學(xué)習(xí)模型介紹

DeepDive系統(tǒng)在數(shù)據(jù)處理階段很大程度上依賴于NLP工具绽快，如果NLP的過(guò)程中存在錯(cuò)誤芥丧，這些錯(cuò)誤將會(huì)在后續(xù)的標(biāo)注和學(xué)習(xí)步驟中被不斷傳播放大，影響最終的關(guān)系抽取效果谎僻。為了避免這種傳播和影響娄柳，近年來(lái)深度學(xué)習(xí)技術(shù)開(kāi)始越來(lái)越多地在關(guān)系抽取任務(wù)中得到重視和應(yīng)用。本章主要介紹一種遠(yuǎn)程監(jiān)督標(biāo)注與基于卷積神經(jīng)網(wǎng)絡(luò)的模型相結(jié)合的關(guān)系抽取方法以及該方法的一些改進(jìn)技術(shù)艘绍。

Piecewise Convolutional Neural Networks（PCNNs）模型

PCNNs模型由Zeng et al.于2015提出赤拒，主要針對(duì)兩個(gè)問(wèn)題提出解決方案：

針對(duì)遠(yuǎn)程監(jiān)督的wrong label problem，該模型提出采用多示例學(xué)習(xí)的方式從訓(xùn)練集中抽取取置信度高的訓(xùn)練樣例訓(xùn)練模型诱鞠。

針對(duì)傳統(tǒng)統(tǒng)計(jì)模型特征抽取過(guò)程中出現(xiàn)的錯(cuò)誤和后續(xù)的錯(cuò)誤傳播問(wèn)題挎挖，該模型提出用 piecewise 的卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)特征，從而避免了復(fù)雜的NLP過(guò)程航夺。

下圖是PCNNs的模型示意圖：

PCNNs模型主要包括以下幾個(gè)步驟：

實(shí)驗(yàn)證明蕉朵，PCNNs + 多實(shí)例學(xué)習(xí)的方法 Top N 上平均值比單純使用多示例學(xué)習(xí)的方法高了 5 個(gè)百分點(diǎn)。

Attention機(jī)制和其它改進(jìn)

上述模型對(duì)于每個(gè)實(shí)體對(duì)只選用一個(gè)句子進(jìn)行學(xué)習(xí)和預(yù)測(cè)阳掐，損失了大量的來(lái)自其它正確標(biāo)注句子的信息始衅。為了在濾除wrong label case的同時(shí)，能更有效地利用盡量多的正確標(biāo)注的句子缭保，Lin et al. 于2016年提出了PCNNs+Attention（APCNNs）算法汛闸。相比之前的PCNNs模型，該算法在池化層之后艺骂，softmax層之前加入了一種基于句子級(jí)別的attention機(jī)制诸老，算法的示意圖如下：

除了Attention機(jī)制外，還有一些其它的輔助信息也被加入多示例學(xué)習(xí)模型來(lái)改關(guān)系抽取的質(zhì)量钳恕，例如在計(jì)算實(shí)體向量的時(shí)候加入實(shí)體的描述信息（Ji et al.别伏，2017）蹄衷；利用外部神經(jīng)網(wǎng)絡(luò)獲取數(shù)據(jù)的可靠性和采樣的置信度等信息對(duì)模型的訓(xùn)練進(jìn)行指導(dǎo)（Tang et al.，2017）厘肮。

下圖顯示了各模型和改進(jìn)算法的準(zhǔn)確率和召回率的對(duì)比愧口，其中Mintz不對(duì)遠(yuǎn)程監(jiān)督的wrong label problem做處理，直接用所有標(biāo)注樣例進(jìn)行訓(xùn)練轴脐；MultiR和MIML是采用概率圖模型進(jìn)行示例篩選的兩種多示例學(xué)習(xí)模型调卑；PCNN+MIL是本章第一小節(jié)介紹的模型；APCNNs 在PCNN+MIL基礎(chǔ)上添加了attention機(jī)制大咱；PCNNs+D在PCNN+MIL基礎(chǔ)上添加了對(duì)描述信息的使用恬涧；APCNNs+D在APCNNs基礎(chǔ)上添加了對(duì)描述信息的使用。實(shí)驗(yàn)采用的是該領(lǐng)域評(píng)測(cè)中使用較廣泛的New York Times（NYT）數(shù)據(jù)集（Riedel et al.碴巾，2010）溯捆。

深度學(xué)習(xí)方法在圖譜構(gòu)建中的應(yīng)用進(jìn)展

深度學(xué)習(xí)模型在神馬知識(shí)圖譜數(shù)據(jù)構(gòu)建中的應(yīng)用目前還處于探索階段，本章將介紹當(dāng)前的工作進(jìn)展和業(yè)務(wù)落地過(guò)程中遇到的一些問(wèn)題厦瓢。

語(yǔ)料準(zhǔn)備和實(shí)體向量化

深度學(xué)習(xí)模型較大程度依賴于token向量化的準(zhǔn)確性提揍。與基于DeepDive方法的語(yǔ)料準(zhǔn)備相同，這里的token切分由以詞為單位煮仇，改為以實(shí)體為單位劳跃，以NER環(huán)節(jié)識(shí)別的實(shí)體粒度為準(zhǔn)。Word2vec生成的向量表征token的能力與語(yǔ)料的全面性和語(yǔ)料的規(guī)模都很相關(guān)浙垫，因此我們選擇百科全量語(yǔ)料作為word2vec的訓(xùn)練語(yǔ)料刨仑，各統(tǒng)計(jì)數(shù)據(jù)和模型參數(shù)設(shè)置如下表所示：

為了驗(yàn)證詞向量訓(xùn)練的效果，我們對(duì)word2vec的結(jié)果做了多種測(cè)試夹姥，這里給出部分實(shí)驗(yàn)數(shù)據(jù)杉武。下圖所示的是給定一個(gè)實(shí)體，查找最相關(guān)實(shí)體的實(shí)驗(yàn)：

以下是給定一個(gè)實(shí)體對(duì)和預(yù)測(cè)實(shí)體對(duì)的其中一個(gè)實(shí)體辙售，計(jì)算預(yù)測(cè)實(shí)體對(duì)中另一個(gè)實(shí)體的實(shí)驗(yàn)轻抱。隨機(jī)選取了五種預(yù)測(cè)關(guān)系，構(gòu)造了15組給定實(shí)體對(duì)和預(yù)測(cè)實(shí)體對(duì)旦部，預(yù)測(cè)結(jié)果如下圖所示祈搜，除了飄紅的兩個(gè)例子，其余預(yù)測(cè)均正確：

模型選取與訓(xùn)練數(shù)據(jù)準(zhǔn)備

具體應(yīng)用中我們選擇采用APCNNs模型士八。我們?cè)贜YT標(biāo)準(zhǔn)數(shù)據(jù)集上復(fù)現(xiàn)了上一章提到的幾種關(guān)鍵模型容燕，包括CNN+MIL，PCNN+MIL曹铃，CNNs（基于Attention機(jī)制的CNN模型）和APCNNs。復(fù)現(xiàn)結(jié)果與論文中給出的baseline基本一致捧杉，APCNNs模型的表現(xiàn)明顯優(yōu)于其它模型陕见。下圖是幾種模型的準(zhǔn)召結(jié)果對(duì)比：

為了得到豐富的訓(xùn)練數(shù)據(jù)秘血，我們?nèi)≈R(shí)圖譜中建設(shè)相對(duì)完善的人物、地理位置评甜、組織機(jī)構(gòu)灰粮、電影、電視忍坷、圖書(shū)等領(lǐng)域下的15個(gè)核心關(guān)系粘舟，如電影演員、圖書(shū)作者佩研、公司高管柑肴、人物出生地等，對(duì)照百科全量語(yǔ)料旬薯，產(chǎn)出relation值為15個(gè)關(guān)系之一的標(biāo)注正例晰骑，合計(jì)數(shù)目在千萬(wàn)量級(jí)，產(chǎn)出無(wú)relation值標(biāo)注（relation值為NA）的示例超過(guò)1億绊序。

應(yīng)用嘗試和問(wèn)題分析

APCNNs模型在輔助知識(shí)圖譜數(shù)據(jù)構(gòu)建中目前還處于嘗試階段硕舆。就運(yùn)算能力而言，APCNNs模型相比DeepDive系統(tǒng)更有優(yōu)勢(shì)骤公，能在大規(guī)模語(yǔ)料上同時(shí)針對(duì)多個(gè)關(guān)系進(jìn)行計(jì)算抚官，且迭代更新過(guò)程無(wú)需人工校驗(yàn)交互。但在業(yè)務(wù)落地過(guò)程中阶捆，我們也遇到了一些問(wèn)題凌节，總結(jié)如下：

大規(guī)模實(shí)驗(yàn)耗時(shí)過(guò)長(zhǎng)，給參數(shù)的調(diào)整和每一次算法策略上的迭代增加了難度

目前學(xué)術(shù)界通用的測(cè)試語(yǔ)料是英文的NYT數(shù)據(jù)集趁猴，相同的模型應(yīng)用于中文語(yǔ)料時(shí)刊咳，存在準(zhǔn)召率對(duì)標(biāo)困難的問(wèn)題

深度學(xué)習(xí)的過(guò)程人工難以干預(yù)。假設(shè)我們要預(yù)測(cè)（楊冪儡司，劉愷威）的婚姻關(guān)系娱挨，但從最初的基于大規(guī)模語(yǔ)料的詞向量生成開(kāi)始，如果該語(yǔ)料中（楊冪捕犬，劉愷威）共現(xiàn)時(shí)的主導(dǎo)關(guān)系就不是婚姻關(guān)系跷坝，而是影視劇中的合作關(guān)系（如“該片講述楊冪飾演的夏晚晴在遭遇好友算計(jì)、男友婚變的窘境下碉碉，被劉愷威飾演的花花公子喬津帆解救柴钻，但卻由此陷入更大圈套的故事」噶福”）贴届，或基于某些活動(dòng)的共同出席關(guān)系（如“楊冪與劉愷威共同擔(dān)任了新浪廈門愛(ài)心圖書(shū)館的公益大使”），則在attention步驟中得到的關(guān)系向量就會(huì)偏向合作關(guān)系，這將導(dǎo)致計(jì)算包中每個(gè)句子的權(quán)值時(shí)毫蚓，表達(dá)婚姻關(guān)系的句子難以獲得高分占键，從而導(dǎo)致后續(xù)學(xué)習(xí)中的偏差。

深度學(xué)習(xí)模型的結(jié)果較難進(jìn)行人工評(píng)測(cè)元潘，尤其對(duì)于知識(shí)圖譜中沒(méi)有出現(xiàn)的實(shí)體對(duì)畔乙，需要在大規(guī)模的中間過(guò)程矩陣中進(jìn)行匹配和提取，將權(quán)重矩陣可視化為包中每個(gè)句子的得分翩概，對(duì)計(jì)算資源和人工都有不小的消耗牲距。

總結(jié)與展望

基于DeepDive的方法和基于深度學(xué)習(xí)的方法各有優(yōu)勢(shì)和缺陷，以下從4個(gè)方面對(duì)這兩種方法進(jìn)行總結(jié)和對(duì)比：

1钥庇、 語(yǔ)料的選取和范圍

Deepdive可適用于較小型牍鞠、比較專門的語(yǔ)料，例如歷史人物的關(guān)系挖掘上沐；可以針對(duì)語(yǔ)料和抽取關(guān)系的特點(diǎn)進(jìn)行調(diào)整規(guī)則皮服，如婚姻關(guān)系的一對(duì)一或一對(duì)多，如偏文言文的語(yǔ)料的用語(yǔ)習(xí)慣等参咙。

APCNNs模型適用于大規(guī)模語(yǔ)料龄广，因?yàn)閍ttention機(jī)制能正常運(yùn)行的前提是word2vec學(xué)習(xí)到的實(shí)體向量比較豐富全面。

2蕴侧、 關(guān)系抽取

Deepdive僅適用于單一關(guān)系的判斷择同，分類結(jié)果為實(shí)體對(duì)間某一關(guān)系成立的期望值。針對(duì)不同的關(guān)系净宵，可以運(yùn)營(yíng)不同的規(guī)則敲才，通過(guò)基于規(guī)則的標(biāo)注能較好地提升訓(xùn)練集的標(biāo)注準(zhǔn)確率。

APCNNs模型適用于多分類問(wèn)題择葡，分類結(jié)果為relation集合中的關(guān)系得分排序紧武。無(wú)需針對(duì)relation集合中特定的某個(gè)關(guān)系做規(guī)則運(yùn)營(yíng)。

3敏储、 長(zhǎng)尾數(shù)據(jù)

Deepdive更適用于長(zhǎng)尾數(shù)據(jù)的關(guān)系挖掘阻星，只要是NER能識(shí)別出的實(shí)體對(duì)，即使出現(xiàn)頻率很低已添，也能根據(jù)該實(shí)體對(duì)的上下文特征做出判斷妥箕。

APCNNs模型需要保證實(shí)體在語(yǔ)料中出現(xiàn)的次數(shù)高于一定的閾值，如min_count>=5更舞，才能保證該實(shí)體有word2vec的向量表示畦幢。bag中有一定數(shù)量的sentence，便于選取相似度高的用于訓(xùn)練

4缆蝉、 結(jié)果生成與檢測(cè)

Deepdive對(duì)輸出結(jié)果正誤的判斷僅針對(duì)單個(gè)句子宇葱，同樣的實(shí)體對(duì)出現(xiàn)在不同的句子中可能給出完全不同的預(yù)測(cè)結(jié)果瘦真。測(cè)試需要結(jié)合原句判斷結(jié)果是否準(zhǔn)確，好處是有原句作為依據(jù)黍瞧，方便進(jìn)行人工驗(yàn)證吗氏。

APCNNs模型針對(duì)特定的實(shí)體對(duì)做判斷，對(duì)于給定的實(shí)體對(duì)雷逆，系統(tǒng)給出一致的輸出結(jié)果。對(duì)于新數(shù)據(jù)的結(jié)果正確性判斷污尉，需要結(jié)合中間結(jié)果膀哲，對(duì)包中被選取的句子集合進(jìn)行提取和驗(yàn)證，增加了人工檢驗(yàn)有的難度被碗。

在未來(lái)的工作中某宪，對(duì)于基于DeepDive的方法，我們?cè)跀U(kuò)大抓取關(guān)系數(shù)目的同時(shí)锐朴，考慮將業(yè)務(wù)實(shí)踐中沉淀的改進(jìn)算法流程化兴喂、平臺(tái)化，同時(shí)構(gòu)建輔助的信息增補(bǔ)工具焚志，幫助減輕DeepDive生成結(jié)果寫(xiě)入知識(shí)圖譜過(guò)程中的人工檢驗(yàn)工作衣迷，例如，對(duì)于婚姻關(guān)系的實(shí)體對(duì)酱酬，我們可以從圖譜獲取人物的性別壶谒、出生年月等信息，來(lái)輔助關(guān)系的正誤判斷膳沽。

對(duì)于基于深度學(xué)習(xí)的方法汗菜，我們將投入更多的時(shí)間和精力，嘗試從以下幾方面促進(jìn)業(yè)務(wù)的落地和模型的改進(jìn)：

將已被DeepDive證明有效的某些改進(jìn)算法應(yīng)用到深度學(xué)習(xí)方法中挑社，例如根據(jù)關(guān)系相關(guān)的關(guān)鍵詞進(jìn)行過(guò)濾陨界，縮小數(shù)據(jù)規(guī)模，提高運(yùn)行效率痛阻。

將計(jì)算中間結(jié)果可視化菌瘪，分析attention過(guò)程中關(guān)系向量與sentence選取的關(guān)聯(lián)，嘗試建立選取結(jié)果好壞的評(píng)判機(jī)制录平，嘗試?yán)酶S富的信息獲得更準(zhǔn)確的關(guān)系向量麻车。

考慮如何突破預(yù)先設(shè)定的關(guān)系集合的限制，面向開(kāi)放領(lǐng)域進(jìn)行關(guān)系抽取斗这，自動(dòng)發(fā)現(xiàn)新的關(guān)系和知識(shí)动猬。

探索除了文本以外其它形式數(shù)據(jù)的關(guān)系抽取，如表格表箭、音頻赁咙、圖像等。

參考文獻(xiàn)

[1]. 林衍凱、劉知遠(yuǎn)彼水，基于深度學(xué)習(xí)的關(guān)系抽取

[2]. Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao. 2015. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks. In EMNLP. 1753–1762.

[3]. Guoliang Ji, Kang Liu, Shizhu He, Jun Zhao. 2017. Distant Supervision for Relation Extraction with Sentence-Level Attention and Entity Descriptions. Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence

[4]. Siliang Tang, Jinjian Zhang, Ning Zhang, Fei Wu, Jun Xiao, Yueting Zhuang. 2017. ENCORE: External Neural Constraints Regularized Distant Supervision for Relation Extraction. SIGIR'17

[5]. Zeng, D.; Liu, K.; Chen, Y.; and Zhao, J. 2015. Distant supervision for relation extraction via piecewise convolutional neural networks. EMNLP.

[6]. Riedel, S.; Yao, L.; and McCallum, A. 2010. Modeling relations and their mentions without labeled text. In Machine Learning and Knowledge Discovery in Databases. Springer. 148–163.

[7]. Ce Zhang. 2015. DeepDive: A Data Management System for Automatic Knowledge Base Construction. PhD thesis.

[8]. Hoffmann, R.; Zhang, C.; Ling, X.; Zettlemoyer, L.; and Weld, D. S. 2011. Knowledge-based weak supervision for information extraction of overlapping relations. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume 1, 541–550. Association for Computational Linguistics.

[9]. Surdeanu, M.; Tibshirani, J.; Nallapati, R.; and Manning, C. D. 2012. Multi-instance multi-label learning for relation extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 455–465. Association for Computational Linguistics.

[10]. Shingo Takamatsu, Issei Sato and Hiroshi Nakagawa. 2012. Reducing Wrong Labels in Distant Supervision for Relation Extraction. Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pages 721–729

[11]. Zeng, D.; Liu, K.; Lai, S.; Zhou, G.; Zhao, J.; et al. 2014. Relation classification via convolutional deep neural network. In COLING, 2335–2344.

[12]. Ce zhang, Cheistopher Re; et al. 2017. Communications of the ACM CACM Homepage archive Volume 60 Issue 5, Pages 93-102

[13]. Mintz, M.; Bills, S.; Snow, R.; and Jurafsky, D. 2009. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2, 1003–1011. Association for Computational Linguistics.

[14].?http://deepdive.stanford.edu/

關(guān)注「技術(shù)邊城」??把握前沿技術(shù)脈搏