Transferrable Prototypical Networks for Unsupervised Domain Adaptation

本文的結(jié)構(gòu)是在論文Prototypical Networks for Few-shot Learning的結(jié)構(gòu)上改的。

Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class.

作者：Yingwei Pan , Ting Yao , Yehao Li , Yu Wang , Chong-Wah Ngo , and Tao Mei

來源：CVPR 2019

機構(gòu)：JD AI Research, Beijing, China绢涡，City University of Hong Kong, Kowloon, Hong Kong（香港城市大學(xué)）牲剃，中山大學(xué)

數(shù)據(jù)集：VisDA 2017 dataset，MNIST, USPS and SVHN datasets

相似方法的論文：Progressive Feature Alignment for Unsupervised Domain Adaptation

Learning Semantic Representations for Unsupervised Domain Adaptation

不同之處：

本文不僅考慮了類之間的差異雄可，還考慮了樣本和分類器的關(guān)系（這個比較少見）.

本文的分類器和一般論文中的分類器不同凿傅，

1.本文采用的分類器是計算一個樣本和類的prototype的距離，計算prototype的開銷會不會很大数苫？

2.若給目標域樣本分配的偽標簽是錯誤的聪舒，對最終的分類是否有影響？

3.Prototypical Networks for Few-shot Learning這篇論文里針對的是帶標簽樣本數(shù)目比較少的情況虐急，在領(lǐng)域自適應(yīng)中箱残，一般情況下，原域樣本數(shù)目還是很多的止吁，直接拿few-shot的方法來用被辑，計算開銷會變得很大，是否會忽略了樣本數(shù)目多帶來的好處赏殃，效果會好嗎敷待？

4.文中進行了class-level的對齊，但是好像沒有進行整體的對齊仁热，為什么榜揖？

Different from the existing transfertechniques [16, 17] which are typically composed oftwo cascaded networks for learning domain-invariant featuresand target-discriminative classifiers respectively, weconsider unsupervised domain adaptation in the frameworkof Prototypical Networks. Such framework naturally unifiesthe learning of features and classifiers into one networkby constructing classifiers purely on the prototype of eachclass. This design reflects a very simple inductive bias thatis beneficial in domain adaptation regime.

以上是作者對本文框架的不同之處的解釋，已有的遷移技術(shù)由兩個級聯(lián)網(wǎng)絡(luò)組成抗蠢，分別學(xué)習(xí)特征和分類器举哟，而本文用的Prototypical Networks則把特征學(xué)習(xí)和分類器融合到一個網(wǎng)絡(luò)中。

整體框架

論文思路：

1.首先迅矛，用原域樣本算出每個類的prototype妨猩，假設(shè)原域分為C類，則計算出C個prototype秽褒，然后對于一個目標域樣本壶硅，計算它和這C個prototype的距 離威兜，選擇離它最近的類的標簽作為目標域樣本的標簽。這樣庐椒，就得到了帶標簽的目標域樣本椒舵，之后就可以利用帶標簽的目標域樣本去計算prototype了。

為目標域樣本分配偽標簽

2.每一個類計算出了3個prototype约谈，一個是只用原域數(shù)據(jù)計算出的笔宿，一個是只用目標域數(shù)據(jù)計算出的，還有一個是既用原域數(shù)據(jù)棱诱，又用目標域數(shù)據(jù)計算出的泼橘。

為每一個類計算出3個prototype

3.在訓(xùn)練的時候，對于每一類迈勋，兩兩最小化最小化這三個prototype之間的距離炬灭，本文計算的是reproducing kernel

Hilbert space (RKHS) distance。

multi-granulardiscrepancy losses (i.e., class-level discrepancy loss）

4.score distributions有3個粪躬，一個是由原域的prototype預(yù)測出來的担败，一個是由目標域的prototype預(yù)測出來的，還有一個是由原域和目標域的prototype預(yù)測出來的镰官。

樣本xi屬于類c的概率

一個樣本提前，對應(yīng)3個score distribution

5.在訓(xùn)練的時候，兩兩最小化這三個score distributions之間的KL散度泳唠。

sample-level discrepancy loss

意思是當(dāng)原域和目標域的分布很好地對齊后狈网，無論使用原域樣本得到的分類器還是目標域樣本得到的分類器，抑或原域樣本笨腥，目標域樣本共同得到的分類器拓哺，對一個來自原域或目標域的樣本，這三個分類器對其進行分類脖母，不同分類器把該樣本分到某一類別的概率是相同的士鸥。

6.最終的損失函數(shù)：

優(yōu)化目標

本文的分類器與眾不同

supervised classification loss

這個損失函數(shù)是用原域樣本進行分類，因為原域樣本有標簽谆级，所以可以去訓(xùn)練分類器烤礁，使得分類器的分類性能更加好。

更抽象的層面：

1.本文在哪些層面進行了域適配肥照？

? class level? and sample level

2 文中作者給出的General purpose? Domain Adaptation以及Task specific? Domain Adaptation分別指什么脚仔？

General purpose? Domain Adaptation

Task specific? Domain Adaptation

3.什么是prototype networks?

已有的prototype networks特點

4.在Task specific? Domain Adaptation中，本文考慮了樣本和分類器之間的關(guān)系舆绎。

holistic? adj. 整體的; 全面的; 功能整體性的

Most of the existing models aim to reduce the domain shift bymeasuring the holistic domain? discrepancy/domain confusion over source and target data, while leaving the domain discrepancy of eachclass or the relations between samples and classifiers unexploited.

preliminarily??? 初步; 預(yù)先; 初步地

Prototypical Networks is preliminarily proposed in [26]to construct an embedding space in which points clusteraround a single prototype representation of each class.