零樣本圖像識(shí)別 | Alleviating Feature Confusion for Generative Zero-shot Learning簡(jiǎn)單論文筆記

提出特征混淆問(wèn)題仑乌,即在GZSL設(shè)置中零樣本類別實(shí)例容易被劃分為可見類(因?yàn)樵谟?xùn)練生成器時(shí)使用的是可見類樣本邑滨,這導(dǎo)致生成的未見類樣本與可見類相似)

創(chuàng)新點(diǎn):提出了一種邊界損失函數(shù)制圈,該損失函數(shù)最大程度地減少了已見類別和未見類別的決策邊界。此外嘀倒,提出了一種名為feature confusion score(FCS)的新度量標(biāo)準(zhǔn)采盒,以量化特征混淆。

1)提出了一種新的生成方法兼砖,即通過(guò)利用生成對(duì)抗網(wǎng)絡(luò)奸远,對(duì)零鏡頭學(xué)習(xí)進(jìn)行緩解特征混淆GAN(AFC-GAN)。與現(xiàn)有的基于GAN的方法相比讽挟,引入了邊界損失懒叛,該損失會(huì)估計(jì)然后最大化可見和不可見特征的決策邊界。換句話說(shuō)耽梅,最大程度地減少了可見和不可見類別之間的特征混淆薛窥。

2)在AFC-GAN中引入了一種多模態(tài)的循環(huán)一致?lián)p失,以促進(jìn)多樣性并保持合成特征的語(yǔ)義一致性。與現(xiàn)有的基于GAN的方法相比诅迷,鼓勵(lì)通過(guò)深度非線性映射將合成特征轉(zhuǎn)換回原始語(yǔ)義嵌入佩番。結(jié)果,可以進(jìn)一步減輕模式崩潰問(wèn)題和特征混淆問(wèn)題罢杉。

3)由于生成零鏡頭學(xué)習(xí)是社區(qū)中的一個(gè)新話題趟畏,因此很少有研究注意到特征混淆問(wèn)題。對(duì)此問(wèn)題進(jìn)行了說(shuō)明滩租,并設(shè)計(jì)了一個(gè)新的度量標(biāo)準(zhǔn)赋秀,稱為特征混淆評(píng)分(FCS)以量化該現(xiàn)象,這有望使后續(xù)研究受益持际。


方法流程

AFC-GAN包含四個(gè)部分:1)首先部署條件式Wasserstein GAN(WGAN)[3]沃琅,以根據(jù)語(yǔ)義嵌入a∈{A,A為條件的隨機(jī)噪聲z?N(0蜘欲,1)合成虛擬特征益眉。 Au}。 2)為了緩解特征混淆問(wèn)題姥份,引入了邊界損失以最大化可見和不可見類別的決策邊界郭脂。最大化邊界損失等同于最小化特征混淆。 3)為了減輕模式崩潰的問(wèn)題澈歉,通過(guò)鼓勵(lì)將合成特征轉(zhuǎn)換回相應(yīng)的語(yǔ)義嵌入展鸡,進(jìn)一步引入了多模式周期一致?lián)p失。值得注意的是埃难,循環(huán)損失還可以通過(guò)將合成特征強(qiáng)制為其對(duì)應(yīng)的類別來(lái)減輕特征混淆莹弊。 4)考慮到以上三個(gè)想法,提出了一種新穎的ZSL方法AFC-GAN涡尘,如圖所示忍弛。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市考抄,隨后出現(xiàn)的幾起案子细疚,更是在濱河造成了極大的恐慌,老刑警劉巖川梅,帶你破解...
    沈念sama閱讀 211,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件疯兼,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡贫途,警方通過(guò)查閱死者的電腦和手機(jī)吧彪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,347評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)丢早,“玉大人来氧,你說(shuō)我怎么就攤上這事。” “怎么了啦扬?”我有些...
    開封第一講書人閱讀 157,435評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)凫碌。 經(jīng)常有香客問(wèn)我扑毡,道長(zhǎng),這世上最難降的妖魔是什么盛险? 我笑而不...
    開封第一講書人閱讀 56,509評(píng)論 1 284
  • 正文 為了忘掉前任瞄摊,我火速辦了婚禮,結(jié)果婚禮上苦掘,老公的妹妹穿的比我還像新娘换帜。我一直安慰自己,他們只是感情好鹤啡,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,611評(píng)論 6 386
  • 文/花漫 我一把揭開白布惯驼。 她就那樣靜靜地躺著,像睡著了一般递瑰。 火紅的嫁衣襯著肌膚如雪祟牲。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,837評(píng)論 1 290
  • 那天抖部,我揣著相機(jī)與錄音说贝,去河邊找鬼。 笑死慎颗,一個(gè)胖子當(dāng)著我的面吹牛乡恕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播俯萎,決...
    沈念sama閱讀 38,987評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼傲宜,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了讯屈?” 一聲冷哼從身側(cè)響起蛋哭,我...
    開封第一講書人閱讀 37,730評(píng)論 0 267
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎涮母,沒想到半個(gè)月后谆趾,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,194評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡叛本,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,525評(píng)論 2 327
  • 正文 我和宋清朗相戀三年沪蓬,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片来候。...
    茶點(diǎn)故事閱讀 38,664評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡跷叉,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情云挟,我是刑警寧澤梆砸,帶...
    沈念sama閱讀 34,334評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站园欣,受9級(jí)特大地震影響帖世,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜沸枯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,944評(píng)論 3 313
  • 文/蒙蒙 一日矫、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧绑榴,春花似錦哪轿、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,764評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至姓惑,卻和暖如春褐奴,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背于毙。 一陣腳步聲響...
    開封第一講書人閱讀 31,997評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工敦冬, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人唯沮。 一個(gè)月前我還...
    沈念sama閱讀 46,389評(píng)論 2 360
  • 正文 我出身青樓脖旱,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親介蛉。 傳聞我的和親對(duì)象是個(gè)殘疾皇子萌庆,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,554評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容