付彥偉?
【領(lǐng)域報(bào)告】小樣本學(xué)習(xí)年度進(jìn)展|VALSE2018?https://zhuanlan.zhihu.com/p/38246454
零/小樣本以及開集條件下的社交媒體分析?https://blog.csdn.net/XWUkefr2tnh4/article/details/79021641
當(dāng)小樣本遇上機(jī)器學(xué)習(xí)(超詳細(xì)) https://blog.csdn.net/mao_feng/article/details/78939864
[原創(chuàng)]論文淺嘗?|?當(dāng)知識圖譜遇上零樣本學(xué)習(xí)——零樣本學(xué)習(xí)綜述?http://www.jintiankansha.me/t/9hBKh0fd7h
張俊 ?小樣本綜述 https://zhuanlan.zhihu.com/p/61215293
task 小樣本綜述https://mp.weixin.qq.com/s/-73CC3JqnM7wxEqIWCejWQ
0 問題定義
Few-shot Learning?是?Meta Learning 在監(jiān)督學(xué)習(xí)領(lǐng)域的應(yīng)用乓旗。Meta Learning府蛇，又稱為 learning to learn，在 meta training 階段將數(shù)據(jù)集分解為不同的 meta task屿愚，去學(xué)習(xí)類別變化的情況下模型的泛化能力汇跨，在 meta testing 階段务荆，面對全新的類別，不需要變動(dòng)已有的模型穷遂，就可以完成分類函匕。??
形式化來說，few-shot 的訓(xùn)練集中包含了很多的類別蚪黑，每個(gè)類別中有多個(gè)樣本盅惜。在訓(xùn)練階段，會(huì)在訓(xùn)練集中隨機(jī)抽取 C 個(gè)類別忌穿，每個(gè)類別 K 個(gè)樣本（總共 CK 個(gè)數(shù)據(jù)）抒寂，構(gòu)建一個(gè) meta-task，作為模型的支撐集（support set）輸入掠剑；再從這 C 個(gè)類中剩余的數(shù)據(jù)中抽取一批（batch）樣本作為模型的預(yù)測對象（batch set）屈芜。即要求模型從 C*K 個(gè)數(shù)據(jù)中學(xué)會(huì)如何區(qū)分這 C 個(gè)類別，這樣的任務(wù)被稱為 C-way K-shot 問題朴译。??
訓(xùn)練過程中井佑，每次訓(xùn)練（episode）都會(huì)采樣得到不同 meta-task，所以總體來看动分，訓(xùn)練包含了不同的類別組合毅糟，這種機(jī)制使得模型學(xué)會(huì)不同 meta-task 中的共性部分，比如如何提取重要特征及比較樣本相似等澜公，忘掉 meta-task 中 task 相關(guān)部分姆另。通過這種學(xué)習(xí)機(jī)制學(xué)到的模型，在面對新的未見過的 meta-task 時(shí)坟乾，也能較好地進(jìn)行分類迹辐。?圖 1 展示的是一個(gè) 2-way 5-shot 的示例，可以看到 meta training 階段構(gòu)建了一系列 meta-task 來讓模型學(xué)習(xí)如何根據(jù) support set 預(yù)測 batch set 中的樣本的標(biāo)簽甚侣；meta testing 階段的輸入數(shù)據(jù)的形式與訓(xùn)練階段一致（2-way 5-shot）明吩，但是會(huì)在全新的類別上構(gòu)建 support set 和 batch。
1 通過遷移學(xué)習(xí)方法
1 ）Model Based?
通過模型結(jié)構(gòu)的設(shè)計(jì)快速在少量樣本上更新參數(shù)殷费，直接建立輸入 x 和預(yù)測值 P 的映射函數(shù)印荔；
One-shot learning with memory-augmented neural networks
**Meta networks?的快速泛化能力源自其“快速權(quán)重”的機(jī)制，在訓(xùn)練過程中產(chǎn)生的梯度被用來作為快速權(quán)重的生成详羡。模型包含一個(gè) meta learner 和一個(gè) base learner仍律，meta learner 用于學(xué)習(xí) meta task 之間的泛化信息，并使用 memory 機(jī)制保存這種信息实柠，base learner 用于快速適應(yīng)新的 task水泉，并和 meta learner 交互產(chǎn)生預(yù)測輸出。
Assignment 1: 研究 meta networks
2）Metric Based 相似度
通過度量 batch 集中的樣本和 support 集中樣本的距離，借助最近鄰的思想完成分類草则；
a 孿生網(wǎng)絡(luò)（Siamese Network）
b?匹配網(wǎng)絡(luò)（Match Network）
c 原型網(wǎng)絡(luò)（Prototype Network）
d 關(guān)系網(wǎng)絡(luò)（Relation Network）
e 圖網(wǎng)絡(luò) few-shot with GNN?
3）Optimization Based?
認(rèn)為普通的梯度下降方法難以在 few-shot 場景下擬合钢拧，因此通過調(diào)整優(yōu)化方法來完成小樣本分類的任務(wù)。
Assignment2 ：研究下面兩篇
找到一個(gè)網(wǎng)絡(luò)最好的初始位置炕横，經(jīng)過幾個(gè)小樣本的調(diào)整后可以得到最好的表現(xiàn)源内。?[7] Ravi, Sachin, and Hugo Larochelle. "Optimization as a model for few-shot learning." (2016).?
[8] Finn, Chelsea, Pieter Abbeel, and Sergey Levine. "Model-agnostic meta-learning for fast adaptation of deep networks." Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017.
2 通過數(shù)據(jù)增強(qiáng)方法
semantic feature augmentation in few-shot learning 在語義空間增強(qiáng)（付彥偉的，58份殿，76）
low-shot visual recognition by shrinking and hallucinating features
AGA (3d)
3 災(zāi)難遺忘
4 付彥偉說目前的成果主要還是基于把已知類別的一些信息遷移到新的類別上姿锭。可能未來可以嘗試下更多的方向伯铣，比如利用無監(jiān)督的信息或者是半監(jiān)督的方法。（沒啥用轮纫？腔寡？）
4 一些模型比較
5 meta-learning References
S. Thrun. Learning To Learn: Introduction. Kluwer Academic Publishers, 1996.
Ricardo JVilalta and Youssef. Drissi. A perspective view and survey of meta-learning. Artificial intelligence review, 2002.
Meta-Learning: A Survey
Brenden M Lake, Tomer D Ullman, Joshua B Tenenbaum, and Samuel J Gershman. Building machines that learn and think like people. Beh. and Brain Sc., 40, 2017.
