Multi-Adversarial Domain Adaptation?
來源:AAAI2018
作者:Zhongyi Pei, Zhangjie Cao, Mingsheng Long, and Jianmin Wang
機(jī)構(gòu):清華大學(xué)軟件學(xué)院
數(shù)據(jù)集:Office 31,ImageCLEF-DA
1.動機(jī)
作者發(fā)現(xiàn)厂抖,只用一個判別器不能很好地捕捉到多模式結(jié)構(gòu)瘤旨,如圖一所示膜廊,只用一個判別器去對齊原域和目標(biāo)域時级及,不同種類的樣本可能會被錯誤地對齊酷师,比如把原域的貓和目標(biāo)域的狗對齊了。
如何捕捉多模式結(jié)構(gòu)呢肌割?作者提出了用多個判別器來捕捉呜叫,判別器的個數(shù)正好等于原域樣本的種類數(shù)。
這篇論文的前兩位作者是龍明盛老師的學(xué)生怠李,龍明盛老師也在他的論文Conditional Adversarial Domain Adaptation中提出處理多模式結(jié)構(gòu)的方法圾叼,即認(rèn)為分類器的輸出包含多模式信息蛤克,并想方設(shè)法利用。
2.論文主體
2.1為什么選擇K個判別器夷蚊?
因?yàn)轭悩?biāo)簽預(yù)測器的結(jié)果為K類构挤,域判別器也被人為地分為K個,因而由于這個K相同惕鼓,給二者拉上一個聯(lián)系筋现,即用類標(biāo)簽預(yù)測器的結(jié)果來表示數(shù)據(jù)點(diǎn)xi在K個域判別器里的參與程度。換句話說箱歧,類標(biāo)簽在哪個類的預(yù)測結(jié)果概率大矾飞,那該數(shù)據(jù)點(diǎn)在這一個類的域判別器中的參與度就大。
用這種方法是因?yàn)椴恢滥繕?biāo)域的標(biāo)簽呀邢,因而無法知道域判別器和每一類的對應(yīng)關(guān)系洒沦。
2.2MADA的作用?
The multi-adversarial domain adaptation (MADA) model simultaneously enhances positive transfer by maximally matching the multimode structures underlying data distributions across domains, and circumvents negative transfer by avoiding false alignment of the distribution modes across domains.
1.增強(qiáng)正遷移驼鹅,最大化對齊不同域的多模結(jié)構(gòu)
2.同時減弱負(fù)遷移微谓,避免不同域分布模式的錯誤對齊。
3.損失函數(shù)
大的方面來說输钩,分成兩類損失,一是原域樣本的分類損失仲智,二是原域樣本和目標(biāo)域樣本的域判器損失买乃。