論文來(lái)源：AAAI 2018
本文增加了modeling word-aspect之間的關(guān)系块请，模型采用了循環(huán)卷積和循環(huán)相關(guān)性(circular convolution and circular correlation)來(lái)model aspect和詞之間的關(guān)系叉弦，并且將其融入到可微的attention模型中漂问。
ATAE-LSTM有以下缺點(diǎn)：
1. attention層用于學(xué)習(xí)aspect和context詞之間的關(guān)系，而不是允許attention層學(xué)習(xí)上下文詞之間的重要性關(guān)系禀苦。
2. 必須要學(xué)習(xí)aspect和words之間的關(guān)系冈敛，整個(gè)序列被aspect embedding控制了，這會(huì)使得模型更難訓(xùn)練乳幸。
3. 簡(jiǎn)單的將word embedding和aspect embedding連接起來(lái)作為L(zhǎng)STM的輸出，這種導(dǎo)致的問(wèn)題有內(nèi)存的占用钧椰，計(jì)算復(fù)雜度和過(guò)擬合的風(fēng)險(xiǎn)粹断。
本文的contributions:
1. 簡(jiǎn)單并且有效的attention機(jī)制的神經(jīng)網(wǎng)絡(luò)模型來(lái)解決ABSA問(wèn)題
2. 本文首次增加了a novel association layer，在這一層中演侯，應(yīng)用了circular convolution of vectors用于word-aspect fusion，學(xué)習(xí)句子中aspect和word之間的關(guān)系背亥。
3. Aspect Fusion LSTM(AF-LSTM)的得到了state-of-the-art的結(jié)果秒际。
Word-Aspect Fusion Attention Layer：
associative memory operators：計(jì)算lstm的每個(gè)時(shí)刻的隱狀態(tài)與aspect embedding之間的關(guān)系的方法有兩種悬赏，circular correlation和circular convolution
其中h是每個(gè)時(shí)刻的隱狀態(tài)，s是aspect embedding娄徊，感覺(jué)看下面這個(gè)圖可能更清楚點(diǎn)闽颇，該例子中d=3，那么藍(lán)色的三維向量是隱狀態(tài)寄锐，紅色的是aspect embedding兵多，通過(guò)快速傅里葉變換會(huì)簡(jiǎn)便些。
Fast Fourier Transform快速傅里葉變換
傅里葉變換的物理意義：
傅里葉原理表明：任何連續(xù)測(cè)量的時(shí)序或信號(hào)橄仆，都可以表示為不同頻率的正弦波信號(hào)的無(wú)限疊加剩膘。有些信號(hào)在時(shí)域上是很難看出什么特征的，但是如果變換到頻域之后盆顾，就很容易看出特征了怠褐。（之前可能學(xué)過(guò)，但是完全沒(méi)有印象您宪，在網(wǎng)上搜了下奈懒，這篇博客很詳盡。https://www.cnblogs.com/liujin472/articles/5989303.html宪巨。講真還是不太懂）
其他層很容易理解磷杏，跟ATAE-LSTM一樣。
Connections to Holographic Memory Models
本文的模型與associative memory models和holographic reduced representations高度相關(guān)捏卓，感覺(jué)要完全理解還得再看一篇論文（Plate, T. A. 1995. Holographic reduced representations. IEEE Trans. Neural Networks 6(3):623–641）
本文方法的優(yōu)勢(shì)：
學(xué)習(xí)到更豐富的word和aspect之間的關(guān)系极祸；并且參數(shù)更少；與其它層關(guān)聯(lián)少天吓，比如與LSTM和attention層沒(méi)有糅合贿肩。
我的問(wèn)題：其實(shí)本文讓我最疑惑的地方在于ATAE-LSTM方法的結(jié)果，文章中的aspect term classification和aspect category classification應(yīng)該分別是aspect term級(jí)別和aspect category級(jí)別的情感分類龄寞，文章中應(yīng)該有使用和ATAE-LSTM同樣的數(shù)據(jù)集汰规，但是結(jié)果和ATAE-LSTM論文里的結(jié)果不一樣。我之前的理解是物邑，要引用別人的論文就把別人論文里的結(jié)果引用了溜哮，這個(gè)結(jié)果不同顯然是作者自己實(shí)現(xiàn)了別人的模型的實(shí)驗(yàn)結(jié)果，難道可以這樣嗎色解？我也不確定茂嗓，但是畢竟這是一篇頂會(huì)論文，質(zhì)量還是有保證的科阎，讀了論文還是收益匪淺述吸，不得不感嘆一句，明明是同樣的課題，別人都能發(fā)頂會(huì)蝌矛，我呢道批。。入撒。心塞
