About this paper
Title: Unsupervised Domain Adaptation by Backpropagation
Authors: Yaroslav Ganin, Victor Lempitsky
Topic: Domain Adaptation
From:ICML 2015
Contributions
本文的主要貢獻是提出了一種全新的度量源域和目標域數(shù)據(jù)分布差異性的方法（基于對抗的方法）照卦。
Methods
Model Architecture
figure.1
本文方法的思路非常簡單，模型有三個組成部分：
（1）特征提取器
（2）標簽分類器
（3）域類別分類器
只考慮上面的分支的話粉渠，我們利用源域數(shù)據(jù)可以訓練得到一個效果良好的源域數(shù)據(jù)分類器豹芯。但是因為源域數(shù)據(jù)和目標域數(shù)據(jù)之間存在shift(bias)，這個模型無法很好的對目標域數(shù)據(jù)進行分類瞧捌。常用的一種方法就是將目標域數(shù)據(jù)和源域數(shù)據(jù)的特征分布對齊锭亏，這樣用源域數(shù)據(jù)訓練好的模型就可以給目標域數(shù)據(jù)分類了咖城。
本文的方法就是提出了一種新的將源域和目標域數(shù)據(jù)分布對齊的方法。所以本文的想法是增加一個域分類器歪赢，判斷來自特征提取器的特征是源域特征還是目標域特征化戳，如果域分類器在訓練良好的情況下無法分辨特征是來自源域還是目標域，那么說明源域特征和目標域特征的數(shù)據(jù)分布是相似的（對齊的）埋凯。
Optimization
那么這樣一個看起來不是那么常規(guī)的模型該如何優(yōu)化呢点楼？先來直觀解釋，然后上公式白对。
直觀解釋
首先掠廓，對于上面這一支，因為只有源域數(shù)據(jù)有標簽甩恼，所以只會訓練源域數(shù)據(jù)蟀瞧。特征提取器和標簽分類器都會最小化分類誤差，以在源域數(shù)據(jù)上取得好的分類效果条摸。
其次跨嘉，對于下面這一支侵佃，源域數(shù)據(jù)和目標域數(shù)據(jù)都會訓練嘲叔。特征提取器會最大化域分類誤差姐扮，以期望獲得域不變特征，而域分類則要最小化域分類誤差子巾，以保證能準確的判斷特征的域類別帆赢。這里就體現(xiàn)的對抗的思想（和GAN非常相似！）线梗。
總結一下椰于，模型三個部分的作用：
（1）標簽分類器：最小化分類誤差，對源域數(shù)據(jù)精確分類仪搔。
（2）域分類器：最小化域分類誤差瘾婿，以便能夠準備的對特征的域類別進行分類。
（3）特征提取器：一方面，最小化分類誤差偏陪，獲得由判別力的特征抢呆。另一方面，最大化域分類誤差笛谦，使特征具有域不變性抱虐。
公式
figure.2.png
figure.3.png
figure.4
