懶癌晚期 拖延了兩周才來更新
是真的最近有點(diǎn)忙 忙著開題忙著期末考
但就是每天看著很忙很累 但又不知道做了啥 做了得到了什么
但還是要努力鴨退客！很多東西現(xiàn)在看不到 后面就會(huì)慢慢得到顯現(xiàn)吧萌狂。
論文名稱：《Domain-Adaptive Few-Shot Learning》
論文地址：https://www.aminer.cn/pub/5e7495c591e0111c7cee13bb/domain-adaptive-few-shot-learning
論文解讀參考：https://blog.csdn.net/m0_37929824/article/details/105379668
論文代碼參考：https://github.com/dingmyu/DAPN
本篇文章只記錄個(gè)人閱讀論文的筆記，具體翻譯误趴、代碼等不展開凉当，詳細(xì)可見上述的鏈接.
最近的論文閱讀可能會(huì)寫得簡(jiǎn)單籠統(tǒng)一點(diǎn)了售葡。
Background
Existing few-shot learning (FSL) methods make the implicit assumption that the few target class samples are from the same domain as the source class samples. However, in practice this assumption is often invalid – the target classes could come from a different domain. This poses an additional challenge of domain adaptation (DA) with few training samples.
現(xiàn)有的小樣本學(xué)習(xí)的（FSL）方法都做出了一個(gè)隱含的假設(shè)挟伙，即目標(biāo)類樣本與源類樣本來自同一目標(biāo)像寒。也就是說诺祸，base class和novel(test) class來自同一個(gè)域（數(shù)據(jù)集）祭芦。但是實(shí)際上龟劲，這種假設(shè)通常在應(yīng)用中會(huì)無效，因?yàn)榈哪繕?biāo)類可能來自不同的域仰禀。這給小樣本的領(lǐng)域適應(yīng)（DA帶來了另一個(gè)挑戰(zhàn)答恶。也就引出了小樣本學(xué)習(xí)中的域適應(yīng)的問題。先做一個(gè)概念的講解
在上述這張圖中污呼，總共出現(xiàn)了四個(gè)任務(wù)燕酷，這邊重點(diǎn)講一下后面三個(gè)即域適應(yīng)周瞎、小樣本學(xué)習(xí)、域適應(yīng)的小樣本學(xué)習(xí)挤渐。
域適應(yīng)：源域和目標(biāo)域的特征空間浴麻、類別空間相同囤攀、但邊緣分布不同。在圖上可以理解為同一種狗膏萧，但是在目標(biāo)域和源域上的圖像風(fēng)格不同榛泛。
小樣本學(xué)習(xí)：測(cè)試中出現(xiàn)的目標(biāo)域噩斟，源域中即訓(xùn)練中沒有出現(xiàn)剃允。
域適應(yīng)的小樣本：可以把上述兩個(gè)概念結(jié)合起來，也就是說目標(biāo)域和源域相比既要求是不同類又要求不同風(fēng)格椒楣。這意味著從源類訓(xùn)練的視覺識(shí)別模型需要適應(yīng)新的類和新的領(lǐng)域捧灰，而目標(biāo)類的樣本很少统锤。一些說明：
現(xiàn)有的UDA方法（無監(jiān)督域適應(yīng)方法）假定目標(biāo)域和源域具有相同的標(biāo)簽空間，是針對(duì)跨域的分布對(duì)齊而設(shè)計(jì)的拧抖，因此它們本質(zhì)上不適合FSL，因?yàn)槟繕?biāo)類與源完全不同一個(gè)：無論是全局分布還是每個(gè)類的分布對(duì)齊方式擦盾，都會(huì)對(duì)類分離和模型區(qū)分性產(chǎn)生不利影響迹卢。故徒仓，如何在保持源/目標(biāo)按類別區(qū)分的同時(shí)實(shí)現(xiàn)DA的域分布對(duì)齊成為DA-FSL的關(guān)鍵掉弛。
注意：本文不是做簡(jiǎn)單的跨域數(shù)據(jù)集而是著眼于更大的領(lǐng)域變化（重在風(fēng)格場(chǎng)景，如自然圖像和卡通圖像）谋作，之前的用在小樣本的跨域數(shù)據(jù)集（miniImageNet →CUB）遵蚜，僅用于評(píng)估跨數(shù)據(jù)集的泛化奈惑，而不是開發(fā)新的跨域FSL方法
Work
Our contributions:
1.The DA-FSL problem is formally defined and tackled. For the first time, we address both the few-shot DA and few-shot recognition problems jointly in a unified framework.
2.We propose a novel adversarial learning method to learn feature representation which is not only domain-confused for domain adaptation but also domain-specific for class separation. Extensive experiments show that our model outperforms the state-of-the-art FSL and do?main adaptation models (as well as their na¨?ve combinations).
（1）DA-FSL問題已正式定義并解決肴甸。首次在一個(gè)統(tǒng)一的框架中同時(shí)解決了小樣本的域適應(yīng)和識(shí)別問題雷滋。 （2）提出了一種新穎的對(duì)抗性學(xué)習(xí)方法來學(xué)習(xí)特征表示晤斩，該方法不僅對(duì)于領(lǐng)域自適應(yīng)而言是領(lǐng)域混淆的姆坚，而且對(duì)于類分離而言也是領(lǐng)域特定的兼呵。Methodology
先上圖
整個(gè)網(wǎng)絡(luò)如上所示，大致可以分為三部分即小樣本學(xué)習(xí)模塊（原型網(wǎng)絡(luò)）维苔、域適應(yīng)模塊、多任務(wù)學(xué)習(xí)模塊没宾。Prototypical Network
原型網(wǎng)絡(luò)這邊不具體介紹循衰，感興趣的可以去看一下原型網(wǎng)絡(luò)最早提出的原文褐澎。
原型網(wǎng)絡(luò)即采用的是原型的分類器工三，即為支持集中每個(gè)類別計(jì)算出一個(gè)原型（每個(gè)類別所有樣本特征向量的平均值），然后根據(jù)查詢樣本的特征向量與各個(gè)類別原型之間的距離預(yù)測(cè)類別每一個(gè)類的原型是支持集中的樣本embedding的均值向量胁出，其中Sc為支持集中每個(gè)類的樣本計(jì)算query instance和各個(gè)類原型間的距離全蝶，通過softmax得到分類概率分布Domain Adversarial Adaptation Module
域適應(yīng)模塊主要目標(biāo)是學(xué)習(xí)一種特征嵌入空間抑淫，在該特征嵌入空間中始苇，源域和目標(biāo)域的全局分布是對(duì)齊的筐喳，而特定于域的判別信息仍然保留避归。為此，我們選擇在嵌入模塊之前和之后強(qiáng)制執(zhí)行域區(qū)分性和域?qū)R學(xué)習(xí)目標(biāo)
具體來說哺窄，我們輸入圖像經(jīng)過resnet網(wǎng)絡(luò)提取特征之后進(jìn)入embeding模塊,這部分包含了一個(gè)自編碼器和注意力子模塊(為了使ˉf盡可能地與域混淆萌业，我們?cè)谄渖蠌?qiáng)加了一個(gè)由完全連接（FC）層組成的注意力子模塊)。
將自編碼器和注意子模塊組合在一起婴程，我們得到嵌入模塊的最終輸出為
Domain Adaptive Loss
注意排抬，域自適應(yīng)/混淆損失對(duì)于彌合源域和目標(biāo)之間的域差距很有用授段，但是它也具有在每個(gè)類級(jí)別過度對(duì)齊的有害的副作用侵贵，這會(huì)損害FSL性能。為了緩解此問題卡睦，我們引入了域區(qū)分損失漱抓，以使每個(gè)域內(nèi)的每個(gè)類分布彼此不同乞娄。Adaptive Re-weighting Module
本文所提出的模型包含多個(gè)目標(biāo)，包括原型網(wǎng)絡(luò)中兩個(gè)loss和域適應(yīng)中的兩個(gè)loss确镊，故可以視為多任務(wù)學(xué)習(xí)蕾域。因此到旦，我們采用一種自適應(yīng)多任務(wù)損失函數(shù)，該函數(shù)基于最大化具有任務(wù)相關(guān)不確定性的高斯似然性采呐，以便自動(dòng)確定目標(biāo)的權(quán)重昔汉。
Experiments
Datasets and Settings
(1) mini ImageNet(2) tieredImageNet
(3) DomainNet:為了為DA-FSL生成新的現(xiàn)實(shí)數(shù)據(jù)集靶病，我們利用了現(xiàn)有的多源域適應(yīng)數(shù)據(jù)集娄周，這是迄今為止最大的UDA數(shù)據(jù)集。 Cs有275個(gè)類別（每個(gè)類別平均516張圖像）裳涛，Cd有55個(gè)類別（每個(gè)類別僅k張圖像）众辨，Ct有70個(gè)類別。在這項(xiàng)工作中郊闯，我們將DomainNet中的真實(shí)照片域作為源域团赁，并將草圖域作為目標(biāo)域谨履。每個(gè)圖像縮放到84×84。
Baselines:
(1) FSL Baselines
(2) UDA Baselines
(3) UDA+FSL Baselines
Results:
在所有數(shù)據(jù)集上，我們的DAPN都能夠勝任最新的FSL和UDA方法矗钟。
我們的DAPN模型顯然也比兩個(gè)UDA + FSL基線表現(xiàn)更好，這表明UDA和FSL的簡(jiǎn)單組合不如我們專門為DA-FSL設(shè)計(jì)的DAPN模型有效躬它。
當(dāng)與單純的最近鄰分類器（用于FSL）結(jié)合使用時(shí)冯吓，現(xiàn)有的UDA方法的性能與任何現(xiàn)有的FSL方法一樣好。這表明解決域適應(yīng)問題是我們DA-FSL設(shè)置的關(guān)鍵儿普。Ablation Study on Our Full Model
DAA –域?qū)惯m配模塊與樸素的最近鄰居分類器結(jié)合在一起；
FSL + DAA –將FSL和DAA模塊合并為DA FSL，而無需使用自適應(yīng)重加權(quán)菇夸。由于我們的完整模型使用自適應(yīng)重加權(quán)（ARW）結(jié)合了兩個(gè)主要模塊仪吧，因此可以表示為完整或FSL + DAA + ARW。
可以看出：（1）當(dāng)使用更多的模塊來解決DA-FSL問題時(shí)择诈，性能不斷提高羞芍，證明了每個(gè)模塊的貢獻(xiàn)郊艘。 （2）DAA對(duì)經(jīng)典FSL的改進(jìn)表明，域自適應(yīng)模塊對(duì)于DA-FSL設(shè)置非常重要步做，即使使用簡(jiǎn)單的最近鄰分類器奈附，它也可以很好地執(zhí)行。 （3）ARW模塊明顯改善了性能将鸵，驗(yàn)證了其在確定多重?fù)p失權(quán)重方面的有效性顶掉。
總結(jié)
在這項(xiàng)工作中挑胸，我們提出了一個(gè)新的小樣本學(xué)習(xí)的方法，稱為DA-FSL（域適應(yīng)的小樣本學(xué)習(xí)）簿透。 為了同時(shí)學(xué)習(xí)幾個(gè)小樣本的新類的分類器老充，并彌合域間隙螟左，我們提出了一種新的DAPN模型觅够，在統(tǒng)一的框架內(nèi)整合原型度量學(xué)習(xí)和域自適應(yīng)蔚约。 在DAPN中嵌入領(lǐng)域自適應(yīng)特征學(xué)習(xí)之前涂籽，顯式地增強(qiáng)每類的源/目標(biāo)分離评雌，減輕了域?qū)R對(duì)FSL的負(fù)面影響景东。大量實(shí)驗(yàn)表明奔誓，DAPN優(yōu)于最先進(jìn)的FSL和DA模型
Ending!
干巴爹
所以一個(gè)小時(shí)不到能更新的東西
為啥要拖兩周！
