2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS ·
想法來源:文章從分布式假說和這些工作中得到靈感,將預(yù)測輸入句上下文的問題重構(gòu)為一個分類問題,提出了一種簡單高效的句子表示學(xué)習(xí)框架:給定一個句子和它出現(xiàn)的上下文沈自,分類器根據(jù)其向量表示將它從一系列對比句中挑選出來。
價值:對比Skip thought,在性能上提升了很多慨丐,performance也有提升
方法:那原本的decoder問題诫肠,改造成了一個分類問題。
缺點:計算成本過高卢佣。
詳細方案:
Origin skip thought:
image
This paper
image
image
image
數(shù)據(jù)集:
1.BookCorpus dataset
2.UMBC
實驗:
-
downstream task
1.1 無監(jiān)督方法
image
1.2 有監(jiān)督方法
image
- 圖像
image
-
最近鄰case
image