提出特征混淆問(wèn)題仑乌,即在GZSL設(shè)置中零樣本類別實(shí)例容易被劃分為可見類(因?yàn)樵谟?xùn)練生成器時(shí)使用的是可見類樣本邑滨,這導(dǎo)致生成的未見類樣本與可見類相似)
創(chuàng)新點(diǎn):提出了一種邊界損失函數(shù)制圈,該損失函數(shù)最大程度地減少了已見類別和未見類別的決策邊界。此外嘀倒,提出了一種名為feature confusion score(FCS)的新度量標(biāo)準(zhǔn)采盒,以量化特征混淆。
1)提出了一種新的生成方法兼砖,即通過(guò)利用生成對(duì)抗網(wǎng)絡(luò)奸远,對(duì)零鏡頭學(xué)習(xí)進(jìn)行緩解特征混淆GAN(AFC-GAN)。與現(xiàn)有的基于GAN的方法相比讽挟,引入了邊界損失懒叛,該損失會(huì)估計(jì)然后最大化可見和不可見特征的決策邊界。換句話說(shuō)耽梅,最大程度地減少了可見和不可見類別之間的特征混淆薛窥。
2)在AFC-GAN中引入了一種多模態(tài)的循環(huán)一致?lián)p失,以促進(jìn)多樣性并保持合成特征的語(yǔ)義一致性。與現(xiàn)有的基于GAN的方法相比诅迷,鼓勵(lì)通過(guò)深度非線性映射將合成特征轉(zhuǎn)換回原始語(yǔ)義嵌入佩番。結(jié)果,可以進(jìn)一步減輕模式崩潰問(wèn)題和特征混淆問(wèn)題罢杉。
3)由于生成零鏡頭學(xué)習(xí)是社區(qū)中的一個(gè)新話題趟畏,因此很少有研究注意到特征混淆問(wèn)題。對(duì)此問(wèn)題進(jìn)行了說(shuō)明滩租,并設(shè)計(jì)了一個(gè)新的度量標(biāo)準(zhǔn)赋秀,稱為特征混淆評(píng)分(FCS)以量化該現(xiàn)象,這有望使后續(xù)研究受益持际。
AFC-GAN包含四個(gè)部分:1)首先部署條件式Wasserstein GAN(WGAN)[3]沃琅,以根據(jù)語(yǔ)義嵌入a∈{A,A為條件的隨機(jī)噪聲z?N(0蜘欲,1)合成虛擬特征益眉。 Au}。 2)為了緩解特征混淆問(wèn)題姥份,引入了邊界損失以最大化可見和不可見類別的決策邊界郭脂。最大化邊界損失等同于最小化特征混淆。 3)為了減輕模式崩潰的問(wèn)題澈歉,通過(guò)鼓勵(lì)將合成特征轉(zhuǎn)換回相應(yīng)的語(yǔ)義嵌入展鸡,進(jìn)一步引入了多模式周期一致?lián)p失。值得注意的是埃难,循環(huán)損失還可以通過(guò)將合成特征強(qiáng)制為其對(duì)應(yīng)的類別來(lái)減輕特征混淆莹弊。 4)考慮到以上三個(gè)想法,提出了一種新穎的ZSL方法AFC-GAN涡尘,如圖所示忍弛。