2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS ·
想法來源:文章從分布式假說和這些工作中得到靈感,將預(yù)測輸入句上下文的問題重構(gòu)為一個分類問題,提出了一種簡單高效的句子表示學(xué)習(xí)框架:給定一個句子和它出現(xiàn)的上下文沈自,分類器根據(jù)其向量表示將它從一系列對比句中挑選出來。
價值:對比Skip thought,在性能上提升了很多慨丐,performance也有提升
方法:那原本的decoder問題诫肠,改造成了一個分類問題。
缺點:計算成本過高卢佣。
詳細方案:
Origin skip thought:
This paper
數(shù)據(jù)集:
1.BookCorpus dataset
2.UMBC
實驗:
-
downstream task
1.1 無監(jiān)督方法
1.2 有監(jiān)督方法
- 圖像
-
最近鄰case