1. 主要內(nèi)容
- 本文強(qiáng)調(diào)的是文法信息在神經(jīng)網(wǎng)絡(luò)中的使用赊时。
- 兩種方法來encoding文法信息進(jìn)入神經(jīng)網(wǎng)絡(luò)货抄,一種是給詞打標(biāo)簽并指定標(biāo)簽的權(quán)重;另一種是將詞性等語法信息一并embedding到詞或句的向量表示中去窟赏。
? 傳統(tǒng)LSTM的輸入瞄摊,遺忘,輸出門等都是根據(jù)隱層(記憶)來決定的裸删,但是這個新模型使用的是單獨(dú)訓(xùn)練的詞法信息來決定這些門的權(quán)值八拱。
? 但是新問題又出現(xiàn)了,比如說在短語interesting movie和not good中涯塔,good interesting都是形容詞肌稻,但是前一個短語構(gòu)成一個完整的情感傾向,后一個短語卻還需要一個賓語才能行程情感傾向匕荸。也就是說爹谭,只是相同的詞性在不同類型的短語中(名詞短語和形容詞短語)中扮演不同的角色。因此榛搔,根據(jù)語法結(jié)構(gòu)來對父子短語之間建模很有必要诺凡。文中詳細(xì)介紹了父子短語合成的方法(看后面的實(shí)驗是說這個不是必要步驟,只是可以提高最終的正確率)
? 文章使用了兩個數(shù)據(jù)集践惑,一個是SSTdataset腹泌,一個是Movie review dataset。
2. 這篇文章解決的問題
? 訓(xùn)練神經(jīng)網(wǎng)絡(luò)使用詞法信息來更精確的分析文章的情感尔觉。
? 比起傳統(tǒng)RNN簡單的把所有詞平等對待真屯,標(biāo)注了詞性信息的詞可以讓RNN對詞的理解更深,比如一個名詞詞組a movie, 一個動詞詞組love movie中的movie顯然不同穷娱,如果增加了詞法信息,顯然RNN能更加細(xì)致的學(xué)習(xí)到句子的隱含信息运沦。詞法信息的導(dǎo)入有兩種方法泵额,一種是給父節(jié)點(diǎn)使用不同的函數(shù)g來合并兩個子節(jié)點(diǎn),還有一種方式是embedding those tags, 然后把tag vector與詞向量連接携添。
? 文章使用準(zhǔn)確率accuracy作為衡量句子級情感分類好壞的標(biāo)準(zhǔn)嫁盲。
4. 總結(jié)
文章主要研究了文法信息如何放進(jìn)神經(jīng)網(wǎng)絡(luò)和如何構(gòu)造合適的模型。