遷移學(xué)習(xí)的兩種基本應(yīng)用場景：
1 模型初始化又叫做 finetuning， 一般的模型初始化是一個隨機初始斗搞，但是使用訓(xùn)練好的參數(shù)作為初始化渡紫，可能模型會更快的收斂和有更好的表現(xiàn)性能。
2 將訓(xùn)練好的模型及其參數(shù)固定底循，在該模型后面增加新的網(wǎng)絡(luò)或者在訓(xùn)練好的模型中間仿滔，替換新的網(wǎng)絡(luò)惠毁，以期達到一種固定預(yù)定義的特征選擇器作用。
1 模型初始化
加載預(yù)訓(xùn)練模型崎页，然后將最后的全連接層的輸出層替換成新的全連接鞠绰，使輸出有2類，當(dāng)替換新的連接層以后飒焦，我們開始新的訓(xùn)練任務(wù)蜈膨。
2 固定的特征提取器
這里我們需要凍結(jié)網(wǎng)絡(luò)的梯度更新，除了最后的全連接層荒给，通過設(shè)置特征提取網(wǎng)絡(luò)的requires_grad=False 來凍結(jié)訓(xùn)練好的參數(shù)丈挟，這樣他們在loss.backward中刁卜，就不會計算梯度并更新參數(shù)了志电。當(dāng)我們替換掉原始網(wǎng)絡(luò)中的某一層網(wǎng)絡(luò)時，新的這一層網(wǎng)絡(luò)的requires_grad=True, 所以在訓(xùn)練和loss.backward中會計算梯度并更新參數(shù)蛔趴。
