解決問題：Representation Learning
解決方法：policy gradient reinforcement learning
1. 過去的方法
主流的四種用于句子分類的representation models：1. bag-of-words representation models误墓，忽略詞序，使用deep average network或者autoencoder谜慌。? 2. Sequence representation models欣范，例如CNN或RNN，考慮了詞序恼琼，但是沒有應(yīng)用任何結(jié)構(gòu)信息。 3.Structured representation models例如tree-structured LSTM或者recursive autoencoders使用預(yù)先處理好的parsing trees來建立結(jié)構(gòu)信息滑燃。4. 基于Attention的模型使用attention機(jī)制通過給輸入詞或者句子打分來構(gòu)建representation颓鲜。
2. 問題
過去結(jié)構(gòu)化的方法都需要顯式的標(biāo)注，也有一些自動(dòng)優(yōu)化結(jié)構(gòu)的研究乐严，在2017年衣摩，Yogatama等人提出的，只用下游任務(wù)的監(jiān)督來構(gòu)造用于句子表示的二叉樹結(jié)構(gòu)既琴，但是這種結(jié)構(gòu)非常復(fù)雜且過于深泡嘴，導(dǎo)致分類性能不令人滿意。Chung酌予，Bengio等人，提出了一種分層表示模型松靡，用潛在變量捕獲序列中的潛在結(jié)構(gòu)。 結(jié)構(gòu)是以潛在的岛马，隱含的方式發(fā)現(xiàn)的屠列。
3. 本文
本文提出了使用強(qiáng)化學(xué)習(xí)的方法來構(gòu)建與任務(wù)相關(guān)的句子結(jié)構(gòu)表示，不需要顯式的標(biāo)注。structure discovery在本文被定義為sequential decision問題扭吁。
本文提出兩種模型：Information Distilled LSTM(ID-LSTM)選擇重要的侥袜，與任務(wù)相關(guān)的詞來構(gòu)建結(jié)構(gòu)表示；Hierarchical Structured LSTM(HS-LSTM)可以發(fā)掘短語結(jié)構(gòu)枫吧，使用兩層信息去構(gòu)建句子表示九杂。模型是由一個(gè)policy network和一個(gè)classification network構(gòu)成的。
ID-LSTM的action在于選擇句子中每個(gè)詞的保留還是刪除
HS-LSTM的action在于確定每個(gè)詞是phrase的中間還是結(jié)尾
