研究表明，人類的學(xué)習(xí)過程本身就是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的結(jié)合，事實上绒北，許多研究都強調(diào)嬰兒和幼兒同時學(xué)習(xí)對物體和規(guī)律進(jìn)行分類。例如察署，嬰幼兒通過玩具形狀來識別不同的類別;在孩子12-18個月大的時間里闷游，動物或車輛的拼圖游戲鼓勵學(xué)習(xí)物體之間的空間關(guān)系。這種類型的聯(lián)合學(xué)習(xí)無疑是人類在幼年時期達(dá)到復(fù)雜視覺概括能力的關(guān)鍵因素贴汪。
拼圖游戲
拼圖游戲本身是一個無監(jiān)督視覺任務(wù)脐往，之前有許多方法來解決這個任務(wù)，本文將拼圖游戲轉(zhuǎn)化為一個分類任務(wù)扳埂。具體的實現(xiàn)方式如下：
1. 將圖像裁剪成的patches业簿，本文中
。
2. 將這些patches隨機(jī)打亂阳懂，共有種組合梅尤，根據(jù)漢明距離，給每一種排序方式打上一個序列標(biāo)簽岩调，例如1巷燥，2，3号枕，4缰揪，5，6葱淳，7钝腺，8抛姑，9序列標(biāo)簽為1；9艳狐，2定硝，3，4毫目，5蔬啡，6，7蒜茴，8星爪，1序列標(biāo)簽為2浆西；
3. 為減少分類任務(wù)的難度和分類的類別數(shù)粉私，只選取了其中的P類，近零。
本文相當(dāng)于將拼圖任務(wù)轉(zhuǎn)化為一個30分類的分類任務(wù)诺核。
域泛化與域適應(yīng)
機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)的一個基本假設(shè)是獨立同分布久信。訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)分布相差巨大窖杀，就會導(dǎo)致分類識別性能急劇下降。域適應(yīng)假定存在源域與目標(biāo)域裙士，源域中數(shù)據(jù)有標(biāo)簽入客，目標(biāo)域中數(shù)據(jù)無標(biāo)簽。目標(biāo)域數(shù)據(jù)用于指導(dǎo)源域訓(xùn)練腿椎。在傳統(tǒng)的域適應(yīng)中桌硫，條件是非常苛刻的啃炸，一般滿足：
1. 兩個域的標(biāo)簽種類相同铆隘，且分布接近。
2. 兩個域存在Covariate Shift南用，即膀钠。
3. 僅存在一個目標(biāo)域和一個源域。
4. 目標(biāo)域數(shù)據(jù)存在裹虫。
針對以上的條件肿嘲，都有學(xué)者進(jìn)一步研究。以增加域適應(yīng)的實用性筑公。域泛化對比域適應(yīng)是沒有目標(biāo)域數(shù)據(jù)的（目標(biāo)域數(shù)據(jù)不參與訓(xùn)練）睦刃，在僅知道源域的數(shù)據(jù)與標(biāo)簽的條件下，訓(xùn)練出的模型要求在任何分布下泛化性能均有提升十酣。
模型方法
本文采用多任務(wù)的方法來同時解決拼圖任務(wù)與分類任務(wù)涩拙，模型圖如下：
網(wǎng)絡(luò)模型很簡單际长，一個主干網(wǎng)絡(luò)，后面接兩個結(jié)構(gòu)相同的全連接網(wǎng)絡(luò)兴泥，一個用于分類任務(wù)工育，另外一個用于拼圖任務(wù)。通過前述的方法打亂圖像搓彻，在同一個iter中將順序圖像和打亂圖像按比例一起送入網(wǎng)絡(luò)如绸，文中設(shè)置了一個超參數(shù)來控制比例，例如一個iter送入的batch是32旭贬，
,那么一個batch中順序圖片數(shù)量為16怔接，打亂圖片數(shù)量為16。另外順序圖片是參與分類任務(wù)與拼圖任務(wù)的稀轨，但是打亂圖片僅參與拼圖任務(wù)扼脐。
在應(yīng)用于無監(jiān)督域適應(yīng)中，僅需要在目標(biāo)域無標(biāo)簽數(shù)據(jù)上添加最小化預(yù)測不確定度loss奋刽，瓦侮。這個loss在《A DIRT-T APPROACH TO UNSUPERVISED DOMAIN ADAPTATION 》和《Co-regularized Alignment for Unsupervised Domain Adaptation》這兩篇域適應(yīng)論文中也用到了。
實驗過程
作者設(shè)置了4個實驗佣谐，分別顯示該模型在拼圖任務(wù)肚吏，多域泛化，單域泛化狭魂、多域適應(yīng)四個任務(wù)中有效果罚攀。
一些重要的結(jié)論如下：
1. 與單純的拼圖任務(wù)做對比，發(fā)現(xiàn)分類任務(wù)對于拼圖任務(wù)性能有提升雌澄。
2. 本文的方法在三個域泛化數(shù)據(jù)集上顯示：對比于源域訓(xùn)練泛化的模型斋泄，性能有所提升（）,但都不明顯。
3. 應(yīng)用于多域適應(yīng)掷伙，依然有效果是己。
