Chen S, Wang W, Xia B, et al. Free: Feature refinement for generalized zero-shot learning[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 122-131.

導(dǎo)讀

在統(tǒng)一網(wǎng)絡(luò)中使用特征細(xì)化（FR）模塊對(duì)原有的語(yǔ)義到視覺(jué)特征的映射進(jìn)行修正芭梯，從而緩解由跨數(shù)據(jù)集所帶來(lái)的偏差，實(shí)現(xiàn)更好的知識(shí)遷移压储。

符號(hào)聲明

在GZSL中魔眨，按照訓(xùn)練數(shù)據(jù)中的可見(jiàn)類(lèi)別和測(cè)試數(shù)據(jù)中的非可見(jiàn)類(lèi)別鄙煤，將可見(jiàn)數(shù)據(jù)記錄為，其中為視覺(jué)特征，是其對(duì)應(yīng)的類(lèi)別標(biāo)簽吓懈，是可見(jiàn)圖片的數(shù)量锄奢。設(shè)是不可見(jiàn)類(lèi)別的集合失晴，且滿足。每個(gè)可見(jiàn)和非可見(jiàn)類(lèi)別都擁有自己對(duì)應(yīng)的屬性嵌入表示拘央。

模型淺析

f-VAEGAN

f-VAEGAN是生成式GZSL的baseline模型涂屁。其主要包括一個(gè)VAE和一個(gè)GAN結(jié)構(gòu)。其中f-VAE包含編碼器以及一個(gè)解碼器灰伟，該解碼器與f-WGAN共享拆又，作為f-WGAN中的條件生成器。編碼器以為輸入栏账，編碼為中間層表示帖族，同時(shí)通過(guò)生成器對(duì)視覺(jué)特征進(jìn)行重構(gòu)得到。該f-VAE由標(biāo)準(zhǔn)的VAE損失進(jìn)行優(yōu)化：

Feature Refinement

• Self-Adaptive Margin Center Loss
  該損失為了引導(dǎo)FR學(xué)習(xí)視圖特征中類(lèi)別相關(guān)的表示彩库。在中類(lèi)別中心在整個(gè)訓(xùn)練的過(guò)程中動(dòng)態(tài)更新，使得特征學(xué)習(xí)更加有效先蒋。損失函數(shù)形式化為如下：
  其中是對(duì)應(yīng)于特征的標(biāo)簽的語(yǔ)義嵌入的類(lèi)別中心骇钦，則是除類(lèi)別之外的隨機(jī)選取的類(lèi)別標(biāo)簽的類(lèi)別中心，是間隔系數(shù)竞漾，來(lái)控制類(lèi)間和類(lèi)內(nèi)對(duì)的距離眯搭，是由FR編碼的特征，是控制系數(shù)分別應(yīng)用于細(xì)粒度和粗粒度的數(shù)據(jù)集业岁。
• Semantic Cycle-Consistency Loss
  FR模塊的最后一層用于從或中重構(gòu)語(yǔ)義嵌入鳞仙。該損失用來(lái)引導(dǎo)FR學(xué)習(xí)語(yǔ)義相關(guān)的表示，并由L1重構(gòu)損失實(shí)現(xiàn)：
  是對(duì)應(yīng)于的合成語(yǔ)義笔时；是對(duì)應(yīng)于的合成語(yǔ)義棍好。由二者的并集組成，是特征或的對(duì)應(yīng)語(yǔ)義嵌入允耿。
• Extracting Fully Refined Features
  
  經(jīng)過(guò)第一階段的訓(xùn)練借笙，可以從FR中提取完全細(xì)化的特征和分別對(duì)應(yīng)于真實(shí)可見(jiàn)的視覺(jué)特征和真實(shí)/合成的不可見(jiàn)視覺(jué)特征〗衔考慮到從高維到低維的編碼會(huì)不可避免地丟棄一些鑒別信息业稼，這可能會(huì)阻礙GZSL分類(lèi)性能。這里采用殘差信息來(lái)得到最終的fully refined feature：
  分別是輸入蚂蕴、對(duì)應(yīng)的中間層表示以及語(yǔ)義相關(guān)嵌入表示的拼接結(jié)果低散。

Optimization

與GANs的迭代更新策略類(lèi)似，在生成的視覺(jué)特征之前交替訓(xùn)練E掂墓、G谦纱，在生成的視覺(jué)特征之后交替訓(xùn)練E看成、D和FR君编。

Classification

GZSL的目標(biāo)是學(xué)習(xí)一個(gè)分類(lèi)器。在給定訓(xùn)練數(shù)據(jù)后川慌，目的是在細(xì)化的特征空間中訓(xùn)練一個(gè)有監(jiān)督的分類(lèi)器作為最終的GZSL分類(lèi)器吃嘿。在測(cè)試過(guò)程中祠乃，F(xiàn)R將可見(jiàn)/不可見(jiàn)的測(cè)試特性細(xì)化為新特性，然后得出進(jìn)一步的分類(lèi)結(jié)果兑燥。

各種符號(hào)之間的對(duì)應(yīng)關(guān)系:
1.訓(xùn)練集中可見(jiàn)數(shù)據(jù)集樣本特征亮瓷，其對(duì)應(yīng)的合成特征為，即降瞳。
2.或作為FR的輸入可以得到對(duì)應(yīng)的和嘱支，以及生成的對(duì)語(yǔ)義的重構(gòu)或，并且在這個(gè)過(guò)程中可以利用損失自動(dòng)的學(xué)習(xí)樣本對(duì)應(yīng)的類(lèi)別中心的語(yǔ)義嵌入以同時(shí)學(xué)習(xí)類(lèi)內(nèi)緊致性和類(lèi)間可分性挣饥。
3.雖然作為輸入除师，我們不知道的類(lèi)別，但是在f-VAEGAN中可以生成其對(duì)應(yīng)的扔枫。得到其最終的細(xì)化特征表示然后用于分類(lèi)汛聚。的獲得從訓(xùn)練好的f-VAEGAN + FR獲得的，因此有助于遷移學(xué)習(xí)的修正短荐。

最終學(xué)習(xí)的這個(gè)細(xì)化表示分別是輸入倚舀，中間層表示以及對(duì)應(yīng)語(yǔ)義表示的拼接。從任務(wù)的定義來(lái)看忍宋，（1）（3）兩項(xiàng)分別是已知變量存在的痕貌，那么中間層的存在對(duì)最終的特征修正至關(guān)重要？筆者對(duì)該任務(wù)的理解還不是很深入讶踪，因此可能存在一定的偏差芯侥。歡迎探討。