1. Motivation
2017年ICCV上發(fā)表了一篇題為[1]的論文說：一般我們所講的領(lǐng)域適應(yīng)(domain adaptation)是在一個(gè)閉集(close set)的前提條件下進(jìn)行的，即源域和目標(biāo)與擁有相同的標(biāo)簽類別对省。但是在大多數(shù)的實(shí)際情況中整陌，源域和目標(biāo)域可能只共享了一部分相同類別。如圖1所示（圖片來源于文獻(xiàn)[1]）疼约，在Close set domain adaptation問題中，目標(biāo)與中出現(xiàn)的標(biāo)簽類別全在源域中出現(xiàn)了，而在Open set domain adaptation問題中速妖，目標(biāo)域中出現(xiàn)的摩托車虱颗、電視沥匈、飛機(jī)等均未在源域中出現(xiàn)；相反忘渔，源域中出現(xiàn)的鳥高帖、筆記本、杯子也未在目標(biāo)域中出現(xiàn)畦粮。
顯然domain adaptation in close set中的方法不能用于解決domain adaptation in open set問題散址，在進(jìn)行特征對(duì)齊的時(shí)候只能對(duì)其已知的類別乖阵，不能對(duì)齊未知的類別。
2. Method
為解決Open Set問題预麸，作者提出了Open Set Domain Adaptation方法瞪浸，步驟如下：
(a) 源域中包含已知帶標(biāo)簽的樣本（分別用紅、藍(lán)吏祸、綠以及不同形狀表示）和未知樣本（灰色表示）对蒲，而目標(biāo)域中不包含任何標(biāo)簽信息；
(b) 首先贡翘，我們?yōu)橐恍┠繕?biāo)樣本分配類別標(biāo)簽蹈矮，留下未標(biāo)記的異常樣本；
(c) 通過減小標(biāo)記為同一類別的源域和目標(biāo)域數(shù)據(jù)之間的距離鸣驱，我們可以學(xué)習(xí)到從源域到目標(biāo)域的映射關(guān)系含滴。降(b)和(c)反復(fù)迭代，直到源域與目標(biāo)域之間的距離收斂到局部最小值丐巫；
(d) 為了個(gè)目標(biāo)域的樣本打上標(biāo)簽（紅色谈况，綠色，藍(lán)色和灰色（未知類別））递胧，我們?cè)谝呀?jīng)映射到目標(biāo)域的源域數(shù)據(jù)上學(xué)習(xí)分類器碑韵，并用它來分類目標(biāo)域樣本。
這里分別以Usupervised Domain Adaptation(無監(jiān)督領(lǐng)域自適應(yīng))和Semi-supervised Domain Adaptation(半監(jiān)督領(lǐng)域自適應(yīng))兩個(gè)應(yīng)用場(chǎng)景來介紹缎脾。
2.1 Unsupervised Domain Adaptation
源域數(shù)據(jù)：個(gè)類別祝闻，其中
個(gè)已知，1個(gè)未知
目標(biāo)域數(shù)據(jù)：
目標(biāo)：給目標(biāo)域中的每一個(gè)數(shù)據(jù)打上標(biāo)簽
損失函數(shù)：將目標(biāo)域樣本標(biāo)記為標(biāo)簽
的損失函數(shù)記為：
遗菠，其中
是目標(biāo)域樣本t的特征表達(dá)联喘，
是源域中標(biāo)簽為
的樣本的均值。這里采用的是樣本一階矩來度量?jī)蓚€(gè)分布間差異辙纬，當(dāng)然我們是希望
越小越好豁遭，表明給目標(biāo)域數(shù)據(jù)
的標(biāo)簽越接近真實(shí)標(biāo)簽。
為了增加模型的魯棒性贺拣，這里并不會(huì)為目標(biāo)域中的沒有一個(gè)樣本都分配一個(gè)標(biāo)簽蓖谢，而是引入了異常值
，整個(gè)模型的優(yōu)化目標(biāo)如下：
其中
2.2 Semi-supervised Domain Adaptation
當(dāng)目標(biāo)域有一小部分標(biāo)記數(shù)據(jù)之后無監(jiān)督問題可以變成一個(gè)半監(jiān)督問題腕够。要處理semi-supervised情況级乍，只需要在現(xiàn)有的unsupervised情況下，添加那些有l(wèi)abel的target的約束信息燕少。作者為了達(dá)到這個(gè)目的卡者，引入了一個(gè)新的變量蒿囤，其中
表示帶目標(biāo)域帶標(biāo)簽樣本集客们，
表示目標(biāo)域樣本
的標(biāo)簽。該項(xiàng)表示所有已有標(biāo)簽的目標(biāo)域樣本不改變其標(biāo)簽材诽。目標(biāo)函數(shù)就變成了：
其中底挫，
2.3 Mapping
我們假設(shè)有一個(gè)線性變換，可以估計(jì)出源域到目標(biāo)域的映射關(guān)系睁枕，用一個(gè)矩陣官边。損失函數(shù)如下：
對(duì)
References:
[1] Busto, P. P. , and J. Gall . "Open Set Domain Adaptation." IEEE International Conference on Computer Vision IEEE, 2017.
[2] 《小王愛遷移》系列之九：開放集遷移學(xué)習(xí)(Open Set)
