相關(guān)工作
?投影
?SOC 將視覺屬性投影到語義空間,通過knn進行搜索語義嵌入向量
?ALE利用排序損失學(xué)習(xí)圖像與屬性空間之間的雙線性相容函數(shù)浮入。
?SAE 提出了一種語義自動編碼器等舔,通過增強映射到待重構(gòu)語義空間的圖像特征來正則化模型翁逞。
?CMT使用一個具有兩個隱藏層的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)從圖像特征空間到word2vec空間的非線性投影。
?投影
?SOC 將視覺屬性投影到語義空間,通過knn進行搜索語義嵌入向量
?ALE利用排序損失學(xué)習(xí)圖像與屬性空間之間的雙線性相容函數(shù)悯森。
?SAE 提出了一種語義自動編碼器,通過增強映射到待重構(gòu)語義空間的圖像特征來正則化模型绪撵。
?CMT使用一個具有兩個隱藏層的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)從圖像特征空間到word2vec空間的非線性投影瓢姻。
?通過CVAE生成的unseen類的分布。
?真實的unseen類別的分布音诈。
?可以看出生成的分布和真實分布之間的差距幻碱,為了生成樣本可以有效用于訓(xùn)練,需要使上圖樣本的分布向下圖的分布靠近细溅。
創(chuàng)新點
?真實的unseen類別的分布褥傍。
?可以看出生成的分布和真實分布之間的差距,為了生成樣本可以有效用于訓(xùn)練喇聊,需要使上圖樣本的分布向下圖的分布靠近恍风。
?1.? encoder計算z, decoder 解碼z & a 得到[if !msEquation]x??[endif]
?2. Regressor ma[if !msEquation]ps x??? to its predicteda??[endif]
?3.decoder的作用是生成和unseen樣本近似的分布
OCD over-Complete Distribution
對一個類構(gòu)造OCD 包括生成所有可能的hard
samples,這些樣本和其他類的分布更加接近
對于未知類誓篱,可以通過采樣生成的方法得到其分布
由一類的變分得到的近似分布的參數(shù)用μ朋贬,σ表示,OCD分布通過μOC, σOC表示窜骄。
X?? ?表示[endif]生成unseen的近似分布
X??_OC表示構(gòu)造OCD分布
CVAE 構(gòu)造unseen樣本三元組損失和中心損失重構(gòu)a
使同類間距離減小锦募,異類間距離增大
重構(gòu)
正則化保證采樣的結(jié)果屬
unseen類內(nèi)
Centre loss
?目的:將樣本和它的屬性對應(yīng)
?為了學(xué)習(xí)不同樣本到一個類的屬性映射,應(yīng)該最小化一個類在屬性空間中分布的標(biāo)準(zhǔn)偏差邻遏。因此糠亩,centre loss和regression
loss被用來最小化與中心的偏差虐骑。
是類別c的中心, 代表c類中的樣本
Triplet loss
?指向同一人臉的encoding
vector 的距離很近
?指向不同人臉的encoding
vector 的距離很遠(yuǎn)