2018 · ACL · LSTMs Exploit Linguistic Attributes of Data
想法來源：實驗性質(zhì)文章。主要是測試LSTM的記憶能力倘感。
價值：探索超參數(shù)和數(shù)據(jù)集對LSTM的影響。
方法：任務(wù)是預(yù)測句子中間的那個詞堂鲤。freeze embedding亿傅。
缺點：
詳細(xì)方案：構(gòu)造了四個數(shù)據(jù)集，預(yù)測句子中間的詞瘟栖。
數(shù)據(jù)集：
自己用真實語言造出來的數(shù)據(jù)集葵擎。
- 在詞典中均勻分布隨機挑選詞成句子。
- 根據(jù)zipfian概率組句子半哟。
- 使用n-gram組成句子酬滤。
- 真實語言。
實驗：
結(jié)論：長度超長的句子會嚴(yán)重影響結(jié)果寓涨。同時盯串，真實語言最后建模容易。增加隱藏層單元會提升結(jié)果戒良。
-
數(shù)據(jù)集對結(jié)果的影響体捏。
-c400 -
輸入序列長度對結(jié)果的的影響
-c400
