轉(zhuǎn)：
采用預(yù)訓(xùn)練模型：可利用ImageNet上的參數(shù)
pytouch Model Zoo提供的模型
AlexNet VGG Inception ResNet DenseNet
下載了Github 下載從Tensorflow inception
Hyperdboard（Githubshang ） 訓(xùn)練記錄曲線
0.0001是較好的學(xué)習(xí)率
80%/20% training/validing
數(shù)據(jù)增強(qiáng)：把原來的樣本用數(shù)據(jù)的手段變得更多舶斧，防止過擬合的方法
提升模型：1仿耽、換取參數(shù)量更大的模型
2福铅、不在卷積層改動(dòng)币他，而是在全連接層進(jìn)行改進(jìn)
3陶衅、改動(dòng)頂層
4惰蜜、小模型拼接
5带欢、batchnorm dropout L2
調(diào)參：階段性降低學(xué)習(xí)率
記錄數(shù)據(jù)結(jié)果
模型選擇：
resnet/densenet
VGG/inception v3
TTA：在測(cè)試時(shí)對(duì)一個(gè)樣本的不同增強(qiáng)進(jìn)行預(yù)測(cè)胁塞，獲得不同結(jié)果
將不同結(jié)果平均或投票獲得最終結(jié)果
k折交叉驗(yàn)證
把數(shù)據(jù) 劃分為5折，4折做訓(xùn)練集护盈，1折做預(yù)測(cè)集
可以得到五個(gè)模型挟纱，一起展現(xiàn)性能，共享同一個(gè)劃分腐宋，控制變量
模型集成階段：把五個(gè)模型集成到一起紊服，獲得五個(gè)概率，
用ensemle selection的 average bagging 概率矩陣模型
attention stacking
stacking 每一個(gè)模型的每一個(gè)類上都有一個(gè)權(quán)重胸竞，不同模型對(duì)不同類的表現(xiàn)不一樣
每一個(gè)類單獨(dú)做一個(gè)單分類器欺嗤，去預(yù)測(cè)17個(gè)結(jié)果，
對(duì)每一個(gè)類做多模型的softmax卫枝，使得參數(shù)加權(quán)為1煎饼，則其輸出為其權(quán)重
