《Attention-based LSTM for Aspect-level Sentiment Classification 》筆記

1漱抓、問題的提出:the sentiment polarity of a sentence is highly dependent on both content and aspect. For example, the sentiment polarity of “Staffs are not that friendly, but the taste covers all.” will be positive if the aspect is food but negative when considering the aspect service.

介紹兩個概念:

Aspect-level sentiment classification :給定一個句子和句子中出現(xiàn)的某個Aspect问芬,Aspect-level的目標(biāo)是分析出這個句子在給定Aspect上的情感傾向。aspect-level的情感分析相對document level來說粒度更細(xì)淳梦。

Attention-based(注意力機(jī)制):最早是在計算機(jī)視覺圖像領(lǐng)域提出來的伟骨,思想是人們在進(jìn)行觀察圖像的時候仔夺,并不是一次就把整幅圖像的每個位置像素都看過,大多樹會根據(jù)自己的需要南捂,將注意力集中到圖像的特定部分吴裤。在本文中,作者說溺健,The attention mechanism can concentrate on different parts of a sentence when different aspects are taken as input.

2麦牺、主要貢獻(xiàn):

We propose attention-based Long Short-Term memory for aspect-level sentiment classification. The models are able to attend different parts of a sentence when different aspects are concerned. Results show that the attention mechanism is effective.(提出了基于注意力機(jī)制的長短期記憶網(wǎng)絡(luò),用于方面級別的情感分類。當(dāng)涉及不同的方面時剖膳,這個模型能夠注意到句子的不同部分)

Since aspect plays a key role in this task, we propose two ways to take into account aspect information during attention: one way is to concatenate the aspect vector into the sentence hidden representations for computing attention weights, and another way is to additionally append the aspect vector into the input word vectors.(提出兩種方法加入aspect信息:一種是在隱藏層加魏颓,另一種是在輸入層加)

3、在本文中作者主要提出了三種模型:LSTM with Aspect Embedding(AE-LSTM)吱晒、Attention-based LSTM(AT-LSTM)甸饱、Attention-based LSTM with Aspect Embedding(ATAE-LSTM )


AT-LSTM

α是注意力權(quán)重向量,r是具有給定方面的句子的加權(quán)表示枕荞。Va 是aspect embedding (方面的詞向量)柜候。

最終句子的表示是:

? ? ?hN是隱藏層的最后一層。h ? is considered as the feature representation of a sentence given an input aspect.

然后作者添加了一個linear layer 將句子向量轉(zhuǎn)為向量e躏精,e的長度與最終分類的類別數(shù)目相等渣刷。然后輸入到softmax層。softmax層的作用是求出屬于每個類別的的概率矗烛。

ATAE-LSTM

4辅柴、本文的優(yōu)化目標(biāo)是交叉熵,學(xué)習(xí)方法是隨機(jī)梯度下降瞭吃,詞向量是用Twitter數(shù)據(jù)經(jīng)GloVe預(yù)訓(xùn)練的碌嘀。

數(shù)據(jù)集:We experiment on the dataset of SemEval 2014 Task4 ,The dataset consists of customers reviews.

任務(wù)定義:

任務(wù)1,Aspect-level Classification:Given a set of preidentified aspects, this task is to determine the polarity of each aspect.(指定一組aspect歪架,確定每個aspect上面的情感極性)

任務(wù)2股冗,Aspect-Term-level Classification :For a given set of aspects term within a sentence, this task is to determine whether the polarity of each aspect term is positive, negative or neutral.

結(jié)果:

任務(wù)1


任務(wù)2 數(shù)據(jù):餐廳數(shù)據(jù)

5、說明

數(shù)據(jù)格式:

任務(wù)1的aspect 指的是aspectCategory和蚪,任務(wù)2的aspect指的是aspectTerm止状。

論文作者在寫這邊文章的時候主要和Tang etal ..,2015a這篇文章做了比較。Tang的文章采用LSTM解決一個句子針對Target情感分類問題攒霹。此時的Target指的是aspectTerm

注意力機(jī)制怯疤,作者使用可視化工具可視化了α,結(jié)果如下所示;


6催束、參考文獻(xiàn)

Attention-based LSTM for Aspect-level Sentiment Classification 作者Yequan Wang and Minlie Huang and Li Zhao* and Xiaoyan Zhu

西土城的搬磚日常

注意力機(jī)制在自然語言處理中的應(yīng)用

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末集峦,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子抠刺,更是在濱河造成了極大的恐慌塔淤,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,576評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件矫付,死亡現(xiàn)場離奇詭異凯沪,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)买优,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人杀赢,你說我怎么就攤上這事烘跺。” “怎么了脂崔?”我有些...
    開封第一講書人閱讀 168,017評論 0 360
  • 文/不壞的土叔 我叫張陵滤淳,是天一觀的道長。 經(jīng)常有香客問我砌左,道長脖咐,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,626評論 1 296
  • 正文 為了忘掉前任汇歹,我火速辦了婚禮屁擅,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘产弹。我一直安慰自己派歌,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,625評論 6 397
  • 文/花漫 我一把揭開白布痰哨。 她就那樣靜靜地躺著胶果,像睡著了一般。 火紅的嫁衣襯著肌膚如雪斤斧。 梳的紋絲不亂的頭發(fā)上早抠,一...
    開封第一講書人閱讀 52,255評論 1 308
  • 那天,我揣著相機(jī)與錄音撬讽,去河邊找鬼蕊连。 笑死,一個胖子當(dāng)著我的面吹牛锐秦,可吹牛的內(nèi)容都是我干的咪奖。 我是一名探鬼主播,決...
    沈念sama閱讀 40,825評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼酱床,長吁一口氣:“原來是場噩夢啊……” “哼羊赵!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起扇谣,我...
    開封第一講書人閱讀 39,729評論 0 276
  • 序言:老撾萬榮一對情侶失蹤昧捷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后罐寨,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體靡挥,經(jīng)...
    沈念sama閱讀 46,271評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,363評論 3 340
  • 正文 我和宋清朗相戀三年鸯绿,在試婚紗的時候發(fā)現(xiàn)自己被綠了跋破。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片簸淀。...
    茶點故事閱讀 40,498評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖毒返,靈堂內(nèi)的尸體忽然破棺而出租幕,到底是詐尸還是另有隱情,我是刑警寧澤拧簸,帶...
    沈念sama閱讀 36,183評論 5 350
  • 正文 年R本政府宣布劲绪,位于F島的核電站,受9級特大地震影響盆赤,放射性物質(zhì)發(fā)生泄漏贾富。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,867評論 3 333
  • 文/蒙蒙 一牺六、第九天 我趴在偏房一處隱蔽的房頂上張望颤枪。 院中可真熱鬧,春花似錦兔乞、人聲如沸汇鞭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,338評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽霍骄。三九已至,卻和暖如春淡溯,著一層夾襖步出監(jiān)牢的瞬間读整,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,458評論 1 272
  • 我被黑心中介騙來泰國打工咱娶, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留米间,地道東北人。 一個月前我還...
    沈念sama閱讀 48,906評論 3 376
  • 正文 我出身青樓膘侮,卻偏偏與公主長得像屈糊,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子琼了,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,507評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 把自己灌醉 像一具腐尸 濃度的酒精 嗜血的螞蟻 在周身攀爬 給自己寫首墓志銘 刻進(jìn)不朽的骨頭 易腐的軀體 不朽的傲...
    日斜寒林閱讀 379評論 5 3
  • 大家好逻锐!我是宋曉霞,來自美麗的濱州雕薪,三年的時間昧诱,我慢慢地喜歡上了這里,寬闊的馬路所袁,盏档,驚訝的普禾吧,心靈成長的平安果...
    安安木棉閱讀 219評論 0 0
  • 小青并不是一條蛇懦窘,也不是白素貞的妹妹,它是一只青蛙勺拣,愛唱歌奶赠,男鱼填。 小青生來就住在一所大宅子的一口大池塘里药有,直至死去...
    閱_閱讀 763評論 0 0
  • 今天使我印象最深刻的就是我們的主持人小燕子。她不僅陽光還給我們帶來很多正能量苹丸。小白龍老師又為我們分享幾種裂變的好方...
    佳妮520閱讀 173評論 0 0
  • 室友仔仔是廣東人愤惰,在無數(shù)次吐槽江蘇的梅雨季,懷念湛江的藍(lán)天大海之后說赘理,去我家吧宦言,包吃包住還帶你玩,我說好商模,于是就定...
    清洺閱讀 484評論 3 7