(7)PyTorch預(yù)訓(xùn)練

(1)直接加載預(yù)訓(xùn)練模型

????????如果我們使用的模型和原模型完全一樣源武,那么我們可以直接加載別人訓(xùn)練好的模型:

????????my_resnet = MyResNet(*args, **kwargs)

????????my_resnet.load_state_dict(torch.load("my_resnet.pth"))

????????當(dāng)然這樣的加載方法是基于PyTorch推薦的存儲模型的方法:

????????torch.save(my_resnet.state_dict(),"my_resnet.pth")

????????還有第二種加載方法:

????????my_resnet=torch.load("my_resnet.pth")

(2)加載部分預(yù)訓(xùn)練模型

????????其實大多數(shù)時候我們需要根據(jù)我們的任務(wù)調(diào)節(jié)我們的模型盆繁,所以很難保證模型和公開的模型完全一樣汁掠,但是預(yù)訓(xùn)練模型的參數(shù)確實有助于提高訓(xùn)練的準(zhǔn)確率所袁,為了結(jié)合二者的優(yōu)點蒜危,就需要我們加載部分預(yù)訓(xùn)練模型趁俊。

????????pretrained_dict=model_zoo.load_url(model_urls['resnet152'])

????????model_dict=model.state_dict()#?將pretrained_dict里不屬于model_dict的鍵剔除掉

????????pretrained_dict={k:vfork,vinpretrained_dict.items()ifkinmodel_dict}#?更新現(xiàn)有的model_dict

????????model_dict.update(pretrained_dict)#?加載我們真正需要的state_dict

????????model.load_state_dict(model_dict)

????????因為需要剔除原模型中不匹配的鍵脚作,也就是層的名字警没,所以我們的新模型改變了的層需要和原模型對應(yīng)層的名字不一樣匈辱,比如:resnet最后一層的名字是fc(PyTorch中),那么我們修改過的resnet的最后一層就不能取這個名字杀迹,可以叫fc_亡脸,層的名字要改變

(3)微改基礎(chǔ)模型預(yù)訓(xùn)練

????????對于改動比較大的模型,我們可能需要自己實現(xiàn)一下再加載別人的預(yù)訓(xùn)練參數(shù)树酪。但是浅碾,對于一些基本模型PyTorch中已經(jīng)有了,而且我只想進(jìn)行一些小的改動那么怎么辦呢续语?難道我又去實現(xiàn)一遍嗎垂谢?當(dāng)然不是。

????????我們首先看看怎么進(jìn)行微改模型疮茄。

????????微改基礎(chǔ)模型

????????????PyTorch中的torchvision里已經(jīng)有很多常用的模型了滥朱,可以直接調(diào)用:

????????????????AlexNet、VGG力试、ResNet徙邻、SqueezeNet、DenseNet畸裳、

????????????????importtorchvision.modelsasmodels:

????????????????????????????resnet18=models.resnet18()

????????????????????????????alexnet=models.alexnet()

????????????????????????????squeezenet=models.squeezenet1_0()

????????????????????????????densenet=models.densenet_161()

????????????但是對于我們的任務(wù)而言有些層并不是直接能用缰犁,需要我們微微改一下,比如躯畴,resnet最后的全連接層是分1000類民鼓,而我們只有21類;又比如蓬抄,resnet第一層卷積接收的通道是3丰嘉, 我們可能輸入圖片的通道是4,那么可以通過以下方法修改:

????????????resnet.conv1=nn.Conv2d(4,64,kernel_size=7,stride=2,padding=3,bias=False)resnet.fc=nn.Linear(2048,21)

?(4)簡單預(yù)訓(xùn)練

????????????模型已經(jīng)改完了嚷缭,接下來我們就進(jìn)行簡單預(yù)訓(xùn)練吧饮亏。

????????????我們先從torchvision中調(diào)用基本模型耍贾,加載預(yù)訓(xùn)練模型,然后路幸,重點來了荐开,將其中的層直接替換為我們需要的層即可

????????????????resnet=torchvision.models.resnet152(pretrained=True)#?原本為1000類,改為10類

????????????????resnet.fc=torch.nn.Linear(2048,10)

????????????其中使用了pretrained參數(shù)简肴,會直接加載預(yù)訓(xùn)練模型晃听,內(nèi)部實現(xiàn)和前文提到的加載預(yù)訓(xùn)練的方法一樣。因為是先加載的預(yù)訓(xùn)練參數(shù)砰识,相當(dāng)于模型中已經(jīng)有參數(shù)了能扒,所以替換掉最后一層即可。OK辫狼!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末初斑,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子膨处,更是在濱河造成了極大的恐慌见秤,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,406評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件真椿,死亡現(xiàn)場離奇詭異鹃答,居然都是意外死亡,警方通過查閱死者的電腦和手機瀑粥,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,395評論 3 398
  • 文/潘曉璐 我一進(jìn)店門挣跋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人狞换,你說我怎么就攤上這事≈廴猓” “怎么了修噪?”我有些...
    開封第一講書人閱讀 167,815評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長路媚。 經(jīng)常有香客問我黄琼,道長,這世上最難降的妖魔是什么整慎? 我笑而不...
    開封第一講書人閱讀 59,537評論 1 296
  • 正文 為了忘掉前任脏款,我火速辦了婚禮,結(jié)果婚禮上裤园,老公的妹妹穿的比我還像新娘撤师。我一直安慰自己,他們只是感情好拧揽,可當(dāng)我...
    茶點故事閱讀 68,536評論 6 397
  • 文/花漫 我一把揭開白布剃盾。 她就那樣靜靜地躺著腺占,像睡著了一般。 火紅的嫁衣襯著肌膚如雪痒谴。 梳的紋絲不亂的頭發(fā)上衰伯,一...
    開封第一講書人閱讀 52,184評論 1 308
  • 那天,我揣著相機與錄音积蔚,去河邊找鬼意鲸。 笑死,一個胖子當(dāng)著我的面吹牛尽爆,可吹牛的內(nèi)容都是我干的怎顾。 我是一名探鬼主播,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼教翩,長吁一口氣:“原來是場噩夢啊……” “哼杆勇!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起饱亿,我...
    開封第一講書人閱讀 39,668評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蚜退,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后彪笼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體钻注,經(jīng)...
    沈念sama閱讀 46,212評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,299評論 3 340
  • 正文 我和宋清朗相戀三年配猫,在試婚紗的時候發(fā)現(xiàn)自己被綠了幅恋。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,438評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡泵肄,死狀恐怖捆交,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情腐巢,我是刑警寧澤品追,帶...
    沈念sama閱讀 36,128評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站冯丙,受9級特大地震影響肉瓦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜胃惜,卻給世界環(huán)境...
    茶點故事閱讀 41,807評論 3 333
  • 文/蒙蒙 一泞莉、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧船殉,春花似錦鲫趁、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,279評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至幽崩,卻和暖如春苦始,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背慌申。 一陣腳步聲響...
    開封第一講書人閱讀 33,395評論 1 272
  • 我被黑心中介騙來泰國打工陌选, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蹄溉。 一個月前我還...
    沈念sama閱讀 48,827評論 3 376
  • 正文 我出身青樓咨油,卻偏偏與公主長得像,于是被迫代替她去往敵國和親柒爵。 傳聞我的和親對象是個殘疾皇子役电,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,446評論 2 359

推薦閱讀更多精彩內(nèi)容