Domain Separation Networks
來源:NIPS 2016
作者:Konstantinos Bousmalis搞乏,George Trigeorgis偏瓤,Nathan Silberman惧浴,Dilip Krishnan线婚,Dumitru Erhan
機(jī)構(gòu):Google Brain Mountain View, CA????
? ? ? ???? Imperial College London 嗅蔬,London UK济蝉,
? ? ?? ?? Google Research? New York, NY
????????? Google Research?? Cambridge, MA
數(shù)據(jù)集:MNIST , MNIST-M 肺然,
the German Traffic Signs Recognition Benchmark (GTSRB),
the Streetview House Numbers (SVHN)? 蔫缸,
cropped LINEMOD? dataset( a standard for object instance recognition and 3D pose estimation)
實(shí)現(xiàn)框架:
代碼:文中作者說We provide code at https://github.com/tensorflow/models/domain_adaptation.,但是鏈接打不開际起。
本文基于下面一個(gè)假設(shè):We hypothesize that explicitly modeling what is? unique to each domain can improve a model’s ability to extract domain-invariant? features.
網(wǎng)絡(luò)結(jié)構(gòu)解讀:
用了三個(gè)特征提取器(Encoder)拾碌,一個(gè)用于提取原域的獨(dú)有特征,一個(gè)用于提取目標(biāo)域的獨(dú)有特征街望,還有一個(gè)提取原域和目標(biāo)域共有的特征校翔。這里用兩個(gè)損失來控制提取的特征,一個(gè)是,用于使得提取出的原域(目標(biāo)域)獨(dú)有特征和公共特征盡可能的不同灾前。另一個(gè)是
,用于使得公共特征提取器提取出的原域和目標(biāo)域的公共特征盡可能的相似防症。
1.差異損失:
2.相似性損失
文中相似性損失選擇了兩個(gè),如下:
DANN相似性損失,要用域判別器去判斷公共特征提取器提取出的特征屬于原域還是目標(biāo)域告希。域判別器和公共特征提取器之間構(gòu)成一個(gè)對抗扑浸。
MMD相似性損失是基于核函數(shù)的。
The Maximum Mean Discrepancy (MMD) loss [11] is a kernel-based distance function between pairsof samples燕偶。
3.分類損失
? 原域數(shù)據(jù)還要計(jì)算一個(gè)分類損失,公共提取器提取出的原域樣本的特征喝噪,送入分類器去分類,就得到了這個(gè)分類損失指么。
4.重構(gòu)損失
用原域樣本經(jīng)過公共特征提取器提取的特征和經(jīng)過私有的特征提取器提取的特征進(jìn)行重構(gòu)原域樣本,重構(gòu)后的原域樣本和原域樣本做損失伯诬,就得到了一個(gè)重構(gòu)損失晚唇。
目標(biāo)域樣本也是如此,得到一個(gè)目標(biāo)域樣本的重構(gòu)損失盗似。