領(lǐng)域自適應(yīng)筆記7

Domain Separation Networks

來源:NIPS 2016

作者:Konstantinos Bousmalis搞乏,George Trigeorgis偏瓤,Nathan Silberman惧浴,Dilip Krishnan线婚,Dumitru Erhan

機(jī)構(gòu):Google Brain Mountain View, CA????

? ? ? ???? Imperial College London 嗅蔬,London UK济蝉,

? ? ?? ?? Google Research? New York, NY

????????? Google Research?? Cambridge, MA

數(shù)據(jù)集:MNIST , MNIST-M 肺然,

the German Traffic Signs Recognition Benchmark (GTSRB),

the Streetview House Numbers (SVHN)? 蔫缸,

cropped LINEMOD? dataset( a standard for object instance recognition and 3D pose estimation)

實(shí)現(xiàn)框架:

代碼:文中作者說We provide code at https://github.com/tensorflow/models/domain_adaptation.,但是鏈接打不開际起。



本文基于下面一個(gè)假設(shè):We hypothesize that explicitly modeling what is? unique to each domain can improve a model’s ability to extract domain-invariant? features.


網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)解讀:

用了三個(gè)特征提取器(Encoder)拾碌,一個(gè)用于提取原域的獨(dú)有特征,一個(gè)用于提取目標(biāo)域的獨(dú)有特征街望,還有一個(gè)提取原域和目標(biāo)域共有的特征校翔。這里用兩個(gè)損失來控制提取的特征,一個(gè)是l_{difference} ,用于使得提取出的原域(目標(biāo)域)獨(dú)有特征和公共特征盡可能的不同灾前。另一個(gè)是l_{similarity} ,用于使得公共特征提取器提取出的原域和目標(biāo)域的公共特征盡可能的相似防症。

1.差異損失:

2.相似性損失

文中相似性損失選擇了兩個(gè),如下:


DANN相似性損失

DANN相似性損失,要用域判別器去判斷公共特征提取器提取出的特征屬于原域還是目標(biāo)域告希。域判別器和公共特征提取器E_{c} 之間構(gòu)成一個(gè)對抗扑浸。


MMD相似性損失

MMD相似性損失是基于核函數(shù)的。

The Maximum Mean Discrepancy (MMD) loss [11] is a kernel-based distance function between pairsof samples燕偶。

3.分類損失

? 原域數(shù)據(jù)還要計(jì)算一個(gè)分類損失l_{task} ,公共提取器提取出的原域樣本的特征喝噪,送入分類器去分類,就得到了這個(gè)分類損失指么。


分類損失酝惧,又叫交叉熵?fù)p失

4.重構(gòu)損失


用原域樣本經(jīng)過公共特征提取器提取的特征和經(jīng)過私有的特征提取器提取的特征進(jìn)行重構(gòu)原域樣本,重構(gòu)后的原域樣本和原域樣本做損失伯诬,就得到了一個(gè)重構(gòu)損失晚唇。

目標(biāo)域樣本也是如此,得到一個(gè)目標(biāo)域樣本的重構(gòu)損失盗似。


重構(gòu)損失


對重構(gòu)損失里一些符號的說明

5.最終的損失函數(shù)


最終的損失函數(shù)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末哩陕,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子赫舒,更是在濱河造成了極大的恐慌悍及,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件接癌,死亡現(xiàn)場離奇詭異心赶,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)缺猛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進(jìn)店門缨叫,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人荔燎,你說我怎么就攤上這事耻姥。” “怎么了湖雹?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵咏闪,是天一觀的道長。 經(jīng)常有香客問我摔吏,道長,這世上最難降的妖魔是什么纵装? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任征讲,我火速辦了婚禮,結(jié)果婚禮上橡娄,老公的妹妹穿的比我還像新娘诗箍。我一直安慰自己,他們只是感情好挽唉,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布滤祖。 她就那樣靜靜地躺著筷狼,像睡著了一般。 火紅的嫁衣襯著肌膚如雪匠童。 梳的紋絲不亂的頭發(fā)上埂材,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天,我揣著相機(jī)與錄音汤求,去河邊找鬼俏险。 笑死,一個(gè)胖子當(dāng)著我的面吹牛扬绪,可吹牛的內(nèi)容都是我干的竖独。 我是一名探鬼主播,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼挤牛,長吁一口氣:“原來是場噩夢啊……” “哼莹痢!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起墓赴,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤格二,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后竣蹦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體顶猜,經(jīng)...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年痘括,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了长窄。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,675評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡纲菌,死狀恐怖挠日,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情翰舌,我是刑警寧澤嚣潜,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站椅贱,受9級特大地震影響懂算,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜庇麦,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一计技、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧山橄,春花似錦垮媒、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽萌衬。三九已至,卻和暖如春它抱,著一層夾襖步出監(jiān)牢的瞬間秕豫,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工抗愁, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留馁蒂,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓蜘腌,卻偏偏與公主長得像沫屡,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子撮珠,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,685評論 2 360

推薦閱讀更多精彩內(nèi)容