當前學界最火熱當非深度學習莫屬，然而深度學習往往需要大量數(shù)據(jù)才能work，這跟人的學習方式還是有很大的區(qū)別——人類具有具一反三，推理學習的能力夷都。目前人工智能的水平離人類的水準還是有相當長的一段距離像樊。
其實尤莺，由于深度網(wǎng)絡強大的學習特征的能力，很多過去的學習范式都陸續(xù)與深度學習結合起來生棍，很大得推動了對應領域的發(fā)展颤霎。比如Bayesian Deep Learning, Reinforcement Learning。這是兩個個人非惩康危看好的方向友酱。
這里引用楊強教授的一頁ppt：機器學習的昨天，今天柔纵，明天
很多人都在質疑深度學習還能火多久缔杉，個人看來，深度學習還存在很多未解決的問題搁料，很多方向都還只是剛剛開始或详。
好，言歸正傳郭计，所謂遷移學習霸琴，或者領域適應，一般就是要將從源領域【Source Domain】學習到的東西應用到目標領域【Target Domain】上去昭伸。源領域和目標領域之間往往有gap/domain discrepancy【源領域的數(shù)據(jù)和目標領域的數(shù)據(jù)遵循不同的分布】梧乘。
遷移什么，怎么遷移庐杨，什么時候能遷移选调，這是遷移學習要解決的主要問題。目前大多數(shù)論文都關注在遷移什么和怎么遷移上面灵份，然而什么時候才能進行遷移也是很關鍵的一點学歧，要做工程上的驗證【筆者也不知道這一步要怎么做，望有前輩不吝賜教】各吨。
更為嚴重的是，如果遷移的“姿勢”不對袁铐，則很有可能會產(chǎn)生負遷移【negative transfer】揭蜒，也就是只用target domain做比加上source domain數(shù)據(jù)做更好。AFAIK剔桨，目前并沒有很好的解決辦法...
根據(jù)遷移的層次不同屉更，可以分成以下幾個類別：
1. Instance-based Transfer Learning
一般就是對樣本進行加權，給比較重要的樣本較大的權重
2. Feature-based Transfer Learning
在特征空間進行遷移洒缀，一般需要把源領域和目標領域的特征投影到同一個特征空間里進行
3. Model-based Transfer Learning
整個模型應用到目標領域去瑰谜，比如目前常用的對預訓練好的深度網(wǎng)絡做微調欺冀。也可以叫做參數(shù)遷移吧
4. Relational Transfer Learning
關系的遷移，也是最近剛聽到的概念萨脑，目前還沒看過相關論文隐轩，暫不妄論。
根據(jù)源和目標領域是否相同渤早、源和目標任務是否相同职车、以及源和目標領域是否有標注數(shù)據(jù)，又可以把遷移學習分成如下圖所示：
一些前沿的遷移學習方向
Source-Free Transfer Learning
不知道是哪個源領域
Transitive Transfer Learning
傳遞性遷移學習鹊杖，兩個domain之間如果相隔得太遠悴灵，那么我們就插入一些intermediate domains，一步步做遷移
Reinforcement Transfer Learning
怎么遷移智能體學習到的知識：比如我學會了一個游戲骂蓖，那么我在另一個相似的游戲里面也是可以應用一些類似的策略的
關于遷移學習的綜述积瞒，可以參考
A Survey on Transfer Learning_TKDE10
才疏學淺，所寫恐難免有疏漏登下，望海涵指正茫孔！
