About this paper
- Title: Adversarial Discriminative Domain Adaptation
- Authors: Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell
- Topic: Domain Adaptation
- From:CVPR 2017
Contributions
- 作者提出了一個(gè)通用的對(duì)抗自適應(yīng)（adversarial adaptation）框架。作者將base model, weights constraint, adversarial objective等因素納入這一框架。之前關(guān)于對(duì)抗自適應(yīng)的方法都可以看做這一框架的特例扭仁，這有助于我們歸納之前方法的異同予弧，同時(shí)能指導(dǎo)我們?cè)O(shè)計(jì)新的算法。
- 作者基于提出的通用框架烁设，提出了一種新的對(duì)抗自適應(yīng)算法。這一算法使用判別模型，不進(jìn)行權(quán)重共享砸彬，使用GAN loss。
Methods
Generalized architecture for adversarial domain adaptation
作者提出的通用框架如下圖所示斯入。作者認(rèn)為不同的對(duì)抗自適應(yīng)算法主要有三方面不同;
生成式模型還是判別式模型
生成式模型用隨機(jī)噪聲作為輸入砂碉，在圖像空間產(chǎn)生樣本。一般會(huì)使用判別器的中間層特征來訓(xùn)練一個(gè)任務(wù)相關(guān)的分類器刻两。
判別模型則會(huì)直接將圖片映射到特征空間增蹭，然后輸入到分類器中進(jìn)行訓(xùn)練。不同域的映射結(jié)構(gòu)是否共享權(quán)重
很多之前的對(duì)抗自適應(yīng)方法都采用源域和目標(biāo)域的映射結(jié)構(gòu)共享權(quán)重的方式磅摹。這樣做可以減少模型的參數(shù)滋迈，同時(shí)保證這樣的映射至少在目標(biāo)域上是有判別力的。但是這樣同一個(gè)網(wǎng)絡(luò)需要處理來自兩個(gè)不同域的圖片户誓，這樣可能會(huì)在優(yōu)化過程中出現(xiàn)病態(tài)條件饼灿。
還有一些方法只對(duì)一部分層進(jìn)行權(quán)重的共享，如CoGAN厅克。
當(dāng)然我們也可以使源域和目標(biāo)域的映射結(jié)構(gòu)完全不共享參數(shù)赔退。-
使用何種對(duì)抗損失函數(shù)
所有不同的對(duì)抗自適應(yīng)方法都使用相同損失函數(shù)（L_{advD}）訓(xùn)練判別器。
但是訓(xùn)練映射網(wǎng)絡(luò)的對(duì)抗損失不盡相同。
-
minmax loss
這個(gè)Loss對(duì)應(yīng)生成對(duì)抗網(wǎng)絡(luò)的最大最小目標(biāo)函數(shù)硕旗。但是這個(gè)損失函數(shù)存在一個(gè)問題窗骑，在訓(xùn)練開始的時(shí)候判別器收斂的很快，會(huì)導(dǎo)致梯度消失漆枚。
-
GAN loss
這個(gè)損失函數(shù)才是GAN真正使用的損失函數(shù)创译。在訓(xùn)練生成器的時(shí)候使用相反的標(biāo)簽來訓(xùn)練一個(gè)標(biāo)準(zhǔn)的分類器。
-
domain confusion loss：
這個(gè)是作者在另一篇論文中提出的損失函數(shù)墙基。用來解決源域和目標(biāo)域特征映射都改變時(shí)進(jìn)行對(duì)抗訓(xùn)練會(huì)產(chǎn)生的震蕩問題软族。
ADDA architecture
- 首先，作者使用判別模型残制。因?yàn)樽髡哒J(rèn)為用于生成樣本的大量參數(shù)與要執(zhí)行的判別任務(wù)無關(guān)立砸。
- 其次，作者使用獨(dú)立的源域和目標(biāo)域映射網(wǎng)絡(luò)初茶，兩部分不共享參數(shù)颗祝。這是一個(gè)更靈活的設(shè)計(jì)，可以讓映射網(wǎng)絡(luò)學(xué)習(xí)到更多的特定領(lǐng)域特征恼布。作者用預(yù)訓(xùn)練的源域映射網(wǎng)絡(luò)權(quán)重初始化目標(biāo)域映射網(wǎng)路螺戳。
- 最后，作者使用GAN loss作為映射網(wǎng)絡(luò)的對(duì)抗損失折汞。
ADDA的訓(xùn)練過程分為三步：
-
首先倔幼，使用源域數(shù)據(jù)對(duì)源域映射網(wǎng)絡(luò)M_s和分類器C進(jìn)行監(jiān)督訓(xùn)練，優(yōu)化損失函數(shù)L_{cls}
-
其次爽待，固定源域映射網(wǎng)絡(luò)M_s损同，使用目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)對(duì)目標(biāo)域映射網(wǎng)絡(luò)M_t和判別器D進(jìn)行對(duì)抗訓(xùn)練，優(yōu)化損失函數(shù)L_{advD}和L_{advM}堕伪。
最后揖庄，使用訓(xùn)練好的目標(biāo)域映射網(wǎng)絡(luò)M_t和分類器C對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行測(cè)試。
