|?前人工作
論文Unsupervised attention-guided image-to-image translation和論文Attention-GAN for Object Translation in Wild Images都對(duì)注意力機(jī)制與GAN結(jié)合進(jìn)行了研究常侣，但是都將attention用于分離前景(foreground)和后景(background)，主要做法為：
將生成器網(wǎng)絡(luò)拆成兩部分验残，第一部分為預(yù)測(cè)網(wǎng)絡(luò)（用于預(yù)測(cè)感興趣的區(qū)域）您没，第二部分為轉(zhuǎn)換器網(wǎng)絡(luò)（用于兩個(gè)域之間圖像的轉(zhuǎn)換）胆绊。
論文Attention-GAN for Object Translation in Wild Images主要思想為：
使用輸入image的分割注釋作為額外的監(jiān)督信息來(lái)訓(xùn)練注意力網(wǎng)絡(luò)，然后將注意力圖應(yīng)用于轉(zhuǎn)換器網(wǎng)絡(luò)的輸出仆抵，從而將輸入圖像的背景用作輸出背景种冬，從而提高生成圖像質(zhì)量。
|?SPA-GAN
論文SPA-GAN發(fā)表于2020年TOM(IEEE Transactions on Multimedia)
名稱：SPA-GAN: Spatial Attention GAN for Image-to-Image Translation (SPA-GAN)
期刊：IEEE Transactions on Multimedia 2020
作者：Hajar Emami, Majid Moradi Aliabadi, Ming Dong, and Ratna Babu Chinnam
單位：Computer Science Department, Wayne State University, Detroit, Michigan United States
主要內(nèi)容
SPA-GAN在CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上莺匠，從判別器輸出注意力圖并輸入生成器中用于協(xié)助生成器關(guān)注圖像中更多有區(qū)分度的區(qū)域趣竣，并修改了循環(huán)一致性損失并增加特征圖損失（與解碼器第一層輸出運(yùn)算）遥缕，SPA-GAN作為最新的研究成果具有最低的KID和最高的分類準(zhǔn)確率宵呛；不足之處在于理論基礎(chǔ)欠缺，特別是在消融實(shí)驗(yàn)部分關(guān)于使用編碼器和解碼器第幾層的輸出用于計(jì)算特征圖損失的解釋欠缺户秤，只是從實(shí)驗(yàn)結(jié)果出發(fā)來(lái)分析虎忌。
主要貢獻(xiàn)
（1）將attention機(jī)制用于將判別器中橱鹏，并將其結(jié)果反饋到生成器（反饋的是一個(gè)空間注意力圖spatial attention map，空間注意力圖的內(nèi)容是判別器用于判別輸入圖像真假的局域）挑围，從而讓生成器給有明顯區(qū)分的區(qū)域給予高的權(quán)重杉辙，作者還說(shuō)這樣做還能更大程度保留域特有的一些特征捶朵；在生成網(wǎng)絡(luò)中，驅(qū)使在解碼器第一層獲得的特征圖為真實(shí)圖像與生成圖像中識(shí)別的感興趣區(qū)域相匹配品腹；將attention作為一種從判別器遷移知識(shí)到生成器的機(jī)制舞吭，從而使判別器更好地幫助生成器更明確具有區(qū)分度的區(qū)域析珊。
（2）更改循環(huán)一致性損失和新加入了生成器特征圖損失（目的是保留域的特定特征）。
（3）與之前的添加注意力機(jī)制的GAN不同（不同在于之前的方法要么需要額外的監(jiān)督信息惧浴，要么需要單獨(dú)的注意力網(wǎng)絡(luò)赶舆，給GPU帶來(lái)計(jì)算負(fù)擔(dān)）祭饭，而SPA-GAN是一種輕量級(jí)模型倡蝙。
圖1?CycleGAN和SPA-GAN的結(jié)構(gòu)對(duì)比
圖2 不同算法的風(fēng)格遷移生成結(jié)果對(duì)比
圖3 蘋果<->橙子的風(fēng)格遷移生成結(jié)果對(duì)比
評(píng)價(jià)標(biāo)準(zhǔn)
KID、分類準(zhǔn)確率與人為視覺判斷品山，并增加消融實(shí)驗(yàn)烤低。KID被定義為真實(shí)圖像與生成圖像的inception representations之間的平方最大均值差(MMD)，KID是一個(gè)無(wú)偏估計(jì)量涯呻，沒有任何激活分布形式的假設(shè)（比FID更加可靠）复罐，KID越小代表真實(shí)圖像與生成圖像有更高的視覺相似度。
論文評(píng)價(jià)
本論文內(nèi)容殷實(shí)效诅，之前的方法如AttentionGAN趟济、SAGAN等經(jīng)歷了attention機(jī)制結(jié)合GAN做應(yīng)用的多個(gè)版本的結(jié)構(gòu)變形顷编，從最早的SAGAN（生成器和判別器都有attention機(jī)制）到后來(lái)的AttentionGAN（解耦生成器為兩個(gè)結(jié)構(gòu)——預(yù)測(cè)網(wǎng)絡(luò)和轉(zhuǎn)換器網(wǎng)絡(luò)）、Attention-GAN for Object Trans?guration in Wild Images（增加了分割注釋作為額外的監(jiān)督信息）嘹悼、AGGAN（增加單獨(dú)的注意力網(wǎng)絡(luò)）杨伙，早期的圖像翻譯方法孿生三胞胎CycleGAN（提出循環(huán)一致性損失萌腿，使用殘差網(wǎng)絡(luò)做圖像轉(zhuǎn)換）、DualGAN（使用WGAN的損失函數(shù)米死，穩(wěn)定性更高）峦筒、DiscoGAN（使用最簡(jiǎn)單的CNN編碼器解碼器窗慎，使用全連接網(wǎng)絡(luò)作為轉(zhuǎn)換器）卤材、UNIT（共享隱層空間假設(shè)扇丛、循環(huán)損失帆精、VAE）卓练、MUNIT（為內(nèi)容和風(fēng)格建立兩個(gè)隱層假設(shè)堤器，并用于多個(gè)域闸溃，內(nèi)容code不變辉川，風(fēng)格多變）、DRIT（將隱層空間解耦為域共享內(nèi)容空間——捕獲共同信息乓旗、域特定屬性空間）屿愚，SPA-GAN在CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上务荆，從判別器輸出注意力圖并輸入生成器中用于協(xié)助生成器關(guān)注圖像中更多有區(qū)分度的區(qū)域函匕，并修改了循環(huán)一致性損失并增加特征圖損失（與解碼器第一層輸出運(yùn)算），SPA-GAN作為最新的研究成果具有最低的KID和最高的分類準(zhǔn)確率盅惜；不足之處在于理論基礎(chǔ)欠缺，特別是在消融實(shí)驗(yàn)部分關(guān)于使用編碼器和解碼器第幾層的輸出用于計(jì)算特征圖損失的解釋欠缺结啼，只是從實(shí)驗(yàn)結(jié)果出發(fā)來(lái)分析郊愧。
參考文獻(xiàn)
[1] Emami H , Aliabadi M M , Dong M , et al. SPA-GAN: Spatial Attention GAN for Image-to-Image Translation[J]. IEEE Transactions on Multimedia, 2020, PP(99):1-1.
