Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media
一篇采用圖卷機(jī)神經(jīng)網(wǎng)絡(luò)的新聞?wù)斡^點(diǎn)抽取的文章，作者強(qiáng)調(diào)了社會(huì)信息情景化的重要性，重點(diǎn)關(guān)注信息在社交網(wǎng)絡(luò)中是如何傳遞的，從而為文本提供更好的表示方式。
作者構(gòu)造了一個(gè)新聞關(guān)系圖埃篓，以人物，新聞為節(jié)點(diǎn)，以之前的的關(guān)系生成連邊柳恐。節(jié)點(diǎn)有三類，政治觀點(diǎn)表達(dá)者热幔、觀點(diǎn)分享者（推特用戶）乐设、新聞。連邊為兩種断凶，分享關(guān)系伤提，follow關(guān)系（觀點(diǎn)表達(dá)者與觀點(diǎn)分享者之間的關(guān)系連邊）。
Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts
南京理工大學(xué)夏睿老師組2019年ACL獲獎(jiǎng)?wù)撐娜纤浮Ｕ撐奶岢隽艘粋€(gè)在情感分析領(lǐng)域的新任務(wù)：情感-原因?qū)Φ某槿∪蝿?wù)肿男。傳統(tǒng)的情感介汹，原因抽取（ECE）需要先抽取sentence中的情感再抽取原因句舶沛。而文章中新提出的任務(wù)不需要先進(jìn)行情感的抽取嘹承。
文章提出一個(gè)兩步走的框架，第一步將情感原因?qū)Φ某槿》譃閮蓚€(gè)子任務(wù)如庭，分別為關(guān)系抽取與原因句抽忍揪怼（多任務(wù)學(xué)習(xí)）。第二步坪它，情感原因?qū)Φ呐鋵?duì)與過(guò)濾骤竹。
論文的主要貢獻(xiàn)
- 提出了一個(gè)新任務(wù)，解決了傳統(tǒng)ECE任務(wù)中依賴于先知的情感的問(wèn)題
- 提出了一個(gè)兩步走的框架解決了ECPE問(wèn)題
- 基于benchmark ECE的語(yǔ)料庫(kù)往毡，構(gòu)建了一個(gè)適用于ECPE任務(wù)的語(yǔ)料庫(kù)
算法框架具體內(nèi)容
Step One Individual Emotion and Cause Extraction：采用兩種多任務(wù)學(xué)習(xí)方法抽取情感詞與原因句
Independent Multi-task Learning
Interactive Multi-task Learning
Step Two Emotion-Cause Pairing and Filtering
在第一步中獲取了情感集E蒙揣，與原因句C 對(duì)E與C做笛卡爾積得到P（關(guān)系對(duì)），設(shè)計(jì)特征工程表示P开瞭。特征向量由三個(gè)維度構(gòu)成：情感從句的representations懒震，原因從句的representations，兩個(gè)從句中的距離嗤详。訓(xùn)練LR模型進(jìn)行二分類个扰，判斷情感與原因是否存在關(guān)系，若結(jié)果為0過(guò)濾該關(guān)系對(duì)葱色。
11月份開始看關(guān)系抽取任務(wù)递宅，了解15年后深度學(xué)習(xí)在關(guān)系任務(wù)的各種應(yīng)用
A Survey of Deep Learning Methods for Relation Extraction
關(guān)系抽取屬于信息抽取中的一個(gè)子任務(wù)，除了關(guān)系抽取信息還包括實(shí)體抽取苍狰、事件抽取等等恐锣。該篇綜述主要專注于深度學(xué)習(xí)算法在關(guān)系抽取任務(wù)上的應(yīng)用。傳統(tǒng)方法主要基于特征工程以及設(shè)計(jì)好的kernel舞痰，并不能很好的抽取完整
的特征信息土榴。
關(guān)系抽取的方法主要分為有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)响牛、遠(yuǎn)程監(jiān)督學(xué)習(xí)玷禽。有監(jiān)督的數(shù)據(jù)集有：ACE 2005 dataset、ACE 2005 dataset呀打。遠(yuǎn)程監(jiān)督的數(shù)據(jù)集有：NYT矢赁。遠(yuǎn)程監(jiān)督是基于一個(gè)假設(shè)，當(dāng)有標(biāo)簽數(shù)據(jù)中表明兩個(gè)實(shí)體具有某種關(guān)系贬丛，則假設(shè)整個(gè)數(shù)據(jù)集中這兩個(gè)實(shí)體都存在此種關(guān)系撩银。遠(yuǎn)程監(jiān)督能夠大量提高樣本數(shù)量，但是存在大量的噪聲數(shù)據(jù)豺憔。
近年來(lái)有監(jiān)督的關(guān)系抽取任務(wù)算法有：Simple CNN model (Liu et al., 2013)额获、CNN model with max-pooling (Zeng et al., 2014)够庙、CNN with multi-sized window kernels (Nguyen and Grishman, 2015)。
在遠(yuǎn)程監(jiān)督數(shù)據(jù)集上：Piecewise Convolutional Neural Networks (Zeng et al., 2015)抄邀、Selective Attention over Instances (Lin et al., 2016)耘眨、Multi-instance Multi-label CNNs (Jiang et al., 2016)。
該篇文章介紹了關(guān)系抽取任務(wù)的內(nèi)容與意義境肾，總結(jié)了17年以前關(guān)系抽取任務(wù)上的算法并比較了各個(gè)算法在公開數(shù)據(jù)集上的性能剔难。
Attention Is All You Need
該篇論文介紹了僅由attention機(jī)制構(gòu)成的模型Transformer，模型由enconder與decoder構(gòu)成奥喻，每一層的enconder由self-attention與feed-forward構(gòu)成偶宫，decoder的每一層由self-attention，enconder-decoder attention與feed-forward構(gòu)成环鲤，整體框架圖如圖所示读宙。
Deep Residual Learning for Weakly-Supervised Relation Extraction
該篇論文采用深度殘差網(wǎng)絡(luò)來(lái)完成關(guān)系抽取任務(wù)，對(duì)比了CNN等網(wǎng)絡(luò)在NYT-Freebase數(shù)據(jù)集上的效果楔绞。主要?jiǎng)?chuàng)新點(diǎn)為在卷機(jī)層后引入殘差連接塊，由低層直接向高層連接在一定程度上解決了深度網(wǎng)絡(luò)中梯度消失的問(wèn)題唇兑。
論文的主要貢獻(xiàn)
- 第一次采用殘差學(xué)習(xí)將深度卷機(jī)神經(jīng)網(wǎng)絡(luò)應(yīng)用于弱監(jiān)督的關(guān)系抽取任務(wù)酒朵；
- 提出的model在該任務(wù)取得最優(yōu)性能；
- 提出的帶有快捷反饋方法的統(tǒng)一映射可以輕松地應(yīng)用于各種CNN的關(guān)系提取扎附。
Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions
該篇論文通過(guò)引入句子級(jí)別的注意力機(jī)制和實(shí)體描述實(shí)現(xiàn)遠(yuǎn)程監(jiān)督的關(guān)系抽取任務(wù)蔫耽。引入sentence-level attention機(jī)制來(lái)篩選訓(xùn)練樣本，減少噪音留夜。引入實(shí)體的背景知識(shí)（來(lái)自Freebase和Wikipedia）匙铡，不僅有助于抽取實(shí)體，也可以增強(qiáng)實(shí)體的表示（entity representation）網(wǎng)絡(luò)結(jié)構(gòu)上采用了經(jīng)典的Piecewise CNN結(jié)構(gòu)碍粥。
論文主要貢獻(xiàn)
- 基于注意力機(jī)制抽取有效的關(guān)系句（句子抽缺钛邸）；
- 增加實(shí)體描述嚼摩，以提供用于預(yù)測(cè)關(guān)系和改善實(shí)體表示的背景知識(shí)钦讳；
- 我們進(jìn)行實(shí)驗(yàn)，對(duì)廣泛使用的數(shù)據(jù)集獲得最優(yōu)的性能枕面。
以上論文為關(guān)系抽取任務(wù)上經(jīng)典的算法模型愿卒，2017年以后GCN、Bi-LSTM潮秘、attention機(jī)制琼开、稠密連接等多種改進(jìn)算法應(yīng)用于該任務(wù)并且取得了更高的性能
