所謂遷移學(xué)習(xí)科贬,就是將一個問題上訓(xùn)練好的模型衷敌,通過簡單的調(diào)整,使其適用于一個新的問題的過程蛉腌。
一官份、遷移學(xué)習(xí)的特點
1只厘、需求的訓(xùn)練數(shù)據(jù)集合較小
當(dāng)需要訓(xùn)練A問題的模型所需的訓(xùn)練數(shù)據(jù)匱乏時,可以選擇訓(xùn)練與A問題有關(guān)聯(lián)且數(shù)據(jù)量較為豐富的B問題舅巷,然后將訓(xùn)練和調(diào)優(yōu)好的B-model結(jié)合A問題的數(shù)據(jù)集羔味,通過遷移學(xué)習(xí)得到A-model。舉例:用電影推薦模型悄谐,遷移學(xué)習(xí)音樂推薦模型
2介评、訓(xùn)練時間較小
3、可以方便的進(jìn)行遷移以滿足個性化
比如手機上的智能個人助理
二爬舰、遷移學(xué)習(xí)的四種實現(xiàn)方法
1们陆、樣本遷移( Instance-based Transfer Learning )
2、特征遷移 ( Feature-based Transfer Learning )
3情屹、模型遷移( Model-based Transfer Learning )
4坪仇、關(guān)系遷移( Relational Transfer Learning )
三、遷移學(xué)習(xí)的實現(xiàn)步驟和難點
1垃你、獲取一個相對大的預(yù)訓(xùn)練數(shù)據(jù)
2椅文、選擇一個合適的預(yù)訓(xùn)練模型,調(diào)優(yōu)訓(xùn)練參數(shù)和網(wǎng)絡(luò)層數(shù)
3惜颇、檢驗預(yù)訓(xùn)練模型效果
4皆刺、準(zhǔn)備遷移學(xué)習(xí)訓(xùn)練數(shù)據(jù),訓(xùn)練遷移網(wǎng)絡(luò)并評估和優(yōu)化
難點:當(dāng)獲取更多數(shù)據(jù)和更好的算法后凌摄,預(yù)訓(xùn)練模型難以更新
四羡蛾、遷移網(wǎng)絡(luò)的實驗工具
NanoNets工具
NanoNets是一個簡單方便的基于云端實現(xiàn)的遷移學(xué)習(xí)工具,其內(nèi)部包含了一組已經(jīng)實現(xiàn)好的預(yù)訓(xùn)練模型锨亏,每個模型有數(shù)百萬個訓(xùn)練好的參數(shù)痴怨。用戶可以自己上傳或通過網(wǎng)絡(luò)搜索得到數(shù)據(jù),NanoNets將自動根據(jù)待解問題選擇最佳的預(yù)訓(xùn)練模型器予,并根據(jù)該模型建立一個NanoNets(納米網(wǎng)絡(luò))浪藻,并將之適配到用戶的數(shù)據(jù)。NanoNets和預(yù)訓(xùn)練模型之間的關(guān)系結(jié)構(gòu)如下所示乾翔。
NanoNets官網(wǎng):http://nanonets.ai/