自然語言處理（NLP）領域中，情感分析任務也備受關注梁钾，aspect級的情感分析任務也十分具有挑戰(zhàn)性武契。就此，我將以最近的一些調(diào)研工作和一篇aspect級情感分析的論文和大家一起學習分享挡爵。

1. 會議介紹
   在之前安排的情感組內(nèi)調(diào)研任務中竖般，我主要負責了ACL2017、2018情感分析任務的調(diào)研工作茶鹃。在這里對會議和我的調(diào)研工作進行簡單的介紹涣雕。
   ACL2017，在加拿大溫哥華召開闭翩，長文共錄用195/829篇胞谭，錄取率23.5%，短文共錄用149/590篇男杈，錄取率25.2%丈屹。
   ACL2018，在澳大利亞墨爾本召開，長文共錄用258/1018篇旺垒，錄取率25.3%彩库，短文共錄用126/526篇，錄取率24%先蒋。
   我以“Sentiment”為關鍵詞進行檢索骇钦，在ACL2017中，共有語料建設的論文1篇竞漾、遷移學習的論文2篇眯搭、句子級情感分析的論文1篇、多模態(tài)情感分析的論文1篇以及一些應用型的論文如諷刺业岁、金融等鳞仙；在ACL2018中，共有語料建設的論文3篇笔时、遷移學習的論文5篇棍好、aspect級情感分析的論文篇、句子級情感分析的論文3篇以及多模態(tài)情感分析的論文1篇允耿〗梵希可能檢索的還有缺漏歡迎指正和補充。
2. 任務介紹
   Aspect-Based Sentiment Classification以下簡稱ABSC较锡，主要分為兩種子任務业稼，包括Aspect的識別和面向Aspect的情感分析。
   2.1 Aspect的識別
   （1）aspect-term提取
   給定具有預先識別的實體（例如蚂蕴，餐館）的一組句子盼忌，識別句子中存在的方面術語并返回包含所有不同的方面術語的列表。如：
   “The food was nothing much, but I loved the staff.”
   在上面的句子中掂墓，我們需要識別出“food”和“staff”谦纱。在這個任務中，還有一些需要注意的地方君编，如“hard disk”跨嘉，它是由多個詞組成的實體，我們需要把它完整的識別出來吃嘿。
   （2）aspect-category檢測
   除了具體aspect實體的識別祠乃，還有一類是對預設方面詞的檢測。在這個任務中會給定一組預定義的方面類別（例如兑燥，價格亮瓷，食物），目的是去識別給定句子中討論的方面類別降瞳。
   首先預定義方面類別：
   {food, service, price, ambiance,anecdotes/miscellaneous}嘱支；對于句子“The restaurant was too expensive” 需要檢測并返回“{price}”蚓胸，對于一個句子中可能有多方面類別的，如： “The restaurant was expensive, but the menu was great” 需要檢測并返回“{price, food}”除师。
   2.2 Aspect情感分析
   針對2.1中提到了兩種識別任務沛膳，對應的也有兩種情感分析任務。
   （1）ATSA (aspect-term sentiment analysis)
   這個任務的目的是預測與文本中出現(xiàn)的目標實體相關的情感極性汛聚。如：
   “Average to good Thai food, but terrible delivery.”對于這個句子锹安，我們需要分別對“Thai food”和“delivery”進行情感分析，并返回結果“{Thai food : positive, delivery : negative}”倚舀。
   （2）ACSA (aspect-category sentiment analysis)
   這個任務的目的是預測給定方面的情感極性叹哭。如：
   “Average to good Thai food, but terrible delivery.”對于給定的預定義方面類別：{food, service, price, ambience, anecdotes/miscellaneous}，實體“Thai food”的類別是“food”痕貌，實體“delivery”的類別是“service”风罩，所以該任務返回的結果是“{food:positive, service:negative}”。

3. Transformation Networks
   3.1 論文介紹
   論文《Transformation Networks for Target-Oriented Sentiment Classification》是發(fā)表在ACL2018上的一篇長文芯侥。是香港中文大學和騰訊AI Lab聯(lián)合發(fā)表的。
   下面我主要按照論文的寫作順序來介紹這篇論文乳讥。隨著神經(jīng)網(wǎng)絡的發(fā)展柱查，以RNN為原型的方法融合注意力機制，是目前解決NLP領域任務的很好的方法云石，在ABSA任務中也取得了較好的成績唉工。但是注意力機制在處理這類問題的時候也存在缺陷，它會引入一些和Target無關的噪音汹忠，從而影響實驗精度淋硝。而且一個句子中target情感是由一些關鍵詞直接影響的，例如在 “This dish is my favorite and I always get it and never get tired of it.”這個句子里宽菜，“is my favorite”是判斷對“dish”這個實體情感的關鍵詞谣膳，但是RNN-based的方法可能還會學習到“never”和“tired”這就會對結果產(chǎn)生影響。但是CNN也存在一些問題铅乡，因為CNN的原理继谚，它不能夠充分的學習到target的信息，也不能很好的區(qū)分多target的情況阵幸。
   3.2 模型介紹
   為了解決上述的問題花履，作者提出了一個模型TNets。模型的整體框架如圖1挚赊。

   
   
   圖片1.png

首先我們?yōu)槟Ｐ洼斎胍粋€詞序列[圖片上傳失敗...(image-a2bcf9-1557900979844)] 诡壁，過一個BiLSTM，得到的隱層輸出在經(jīng)過L個CPT層荠割，最后經(jīng)過一個CNN妹卿，得到最終的輸出。

在這里最重要的組件就是CPT，接下來的篇章主要對CPT部分進行介紹纽帖，圖2是CPT模塊的一些細節(jié)宠漩。

（1）Target-Specific Transformation

圖片7.png

懊直，然后動態(tài)地將它們與句子中的每個單詞[圖片上傳失敗...(image-87cfb5-1557900979844)] 關聯(lián)起來扒吁。在論文Motivation中提到，對Target的情感是由句子中的一些關鍵詞決定的室囊，也可以理解為每一個Target對句子中不同詞語的關注程度是不同的雕崩，句子中有些詞和Target密切相關，有些詞和Target無關融撞∨翁基于這些原則作者使用式（1）做個Target特別定制的表示，在論文中作者使用了tailor-make來形容這個Target表示尝偎，也是一個很特別的起名方式饶火。

圖片2.png

圖 2 CPT模塊

圖片8.png

(1)

（2）Context-Preserving Mechanism

作者認為在經(jīng)過了一層非線性的TST處理之后，特征向量中特征的均值和方差都會發(fā)生變化致扯，之前從BiLSTM層捕獲的上下文代表信息就會丟失肤寝。為了解決這個問題，作者想出了兩種策略：1.Lossless Forwarding抖僵；2.Adaptive Scaling鲤看。

我們先來看第一種策略。Lossless Forwarding策略就是通過在轉換到下一層之前直接提供特征來保存上下文信息耍群。如下式所示义桂。

圖片9.png

(2)

Lossless Forwarding這個策略不能動態(tài)的解決輸入&轉換后特征權重的調(diào)整問題。所以作者又提出了另一種策略叫Adaptive Scaling蹈垢。這個策略本質(zhì)就是訓練一個門機制慷吊，式（3）就是用來訓練門機制的。

圖片10.png

(3)

（3）Convolutional Feature Extractor

在寫作動機中作者提到阻礙CNN良好表現(xiàn)的第二個問題是普通CNN可能會將目標與不相關的一般意見詞關聯(lián)起來曹抬，這些詞經(jīng)常用作跨域不同target的修飾詞罢浇。因此作者在實驗中還加入了句子中每個詞和每個Target的位置關系。

3.3實驗

（1）數(shù)據(jù)集

本文選擇的數(shù)據(jù)集是SemEval2014ABSA任務的評測數(shù)據(jù)集沐祷。下圖顯示了數(shù)據(jù)集的一些特征嚷闭。

圖片3.png

圖 3 數(shù)據(jù)集

（2）實驗分析

這篇論文的作者做了充足的對比實驗。如下圖所示赖临。模型的對比實驗主要分為4個部分：1.與Baselines的對比胞锰；2.CPT Alternatives就是將模型中CPT的部分進行更換來驗證CPT層的效果；3.TNet部分的消融實驗兢榨；4.Lossless Forwarding策略和Adaptive Scaling策略的對比嗅榕。

同時為了驗證CPT層的個數(shù)為幾顺饮，實驗效果最優(yōu)，作者還進行了這部分的實驗凌那，實驗結果如圖5所示兼雄。從圖中可以看出當CPT層數(shù)為2層時實驗效果最佳，超過2層帽蝶，F(xiàn)值反而下降了赦肋。

最后作者進行了案例分析，如圖6所示励稳。前三句體現(xiàn)了模型在過渡句中能更準確的捕獲有用信息佃乘；第5句的long，和第6句的long驹尼，雖然是同一個單詞但是對于不同的Target趣避，long這個單詞傳達的感情卻是不一樣的，針對這種現(xiàn)象新翎，TNet也可以很好的解決程帕；但是句子7，是一個虛擬語氣地啰，現(xiàn)有的模型都不能很好的解決愁拭，因此作者認為這種隱式的情感表達是個挑戰(zhàn)。

圖片4.png

圖 4

圖片5.png

圖 5

4.總結

TNet采用CNN來處理目標級別的情緒分類髓绽，其性能在基準數(shù)據(jù)集上領先于最先進的模型敛苇。

1. 為了更好地將目標信息集成到單詞表示中妆绞，作者提出了一種新的特定于目標的轉換組件顺呕。

2. 作者設計了一種上下文保持機制，將上下文信息轉發(fā)到一個深度轉換體系結構中括饶，從而使模型能夠從更深層次的網(wǎng)絡中學習到更加抽象的上下文化的單詞特征株茶。

圖片6.png

圖 6

同時在閱讀這篇論文的時候也被作者特別的寫作方式吸引，在給模型取名是很有針對性图焰，讓人一讀就知道這部分解決的問題启盛。實驗做的也很充分，值得學習技羔。