64.1 目標(biāo)檢測中如何從零開始訓(xùn)練(train from scratch)
- 目標(biāo)檢測和其他任務(wù)從零訓(xùn)練模型一樣，只要擁有足夠的數(shù)據(jù)以及充分而有效的訓(xùn)練喻杈，同樣能訓(xùn)練出不亞于利用預(yù)訓(xùn)練模型的檢測器。
- 1湃交、數(shù)據(jù)集不大時奸披，同樣需要進(jìn)行數(shù)據(jù)集增強(qiáng)习绢。
- 2污茵、預(yù)訓(xùn)練模型擁有更好的初始化樱报，train from scratch需要更多的迭代次數(shù)以及時間訓(xùn)練和優(yōu)化檢測器。
- 而二階段模型由于并不是嚴(yán)格的端對端訓(xùn)練泞当，此時可能需要更多的迭代次數(shù)以及時間迹蛤，而一階段檢測模型訓(xùn)練會相對更容易些（例如DSOD以ScratchDet及）。
- 3襟士、目標(biāo)檢測中train from scratch最大的問題還是batch size過小盗飒。
- 所以可采取的策略是增加GPU使用異步batchnorm增大batch size，若條件限制無法使用更多GPU時陋桂，可使用groupnorm代替batchnorm
- 4逆趣、由于分類模型存在對多目標(biāo)的捕捉能力弱以及對物體空間位置信息不敏感等問題，可借鑒DetNet訓(xùn)練一個專屬于目標(biāo)檢測的模型網(wǎng)絡(luò)嗜历，增強(qiáng)對多目標(biāo)宣渗、尺度和位置擁有更強(qiáng)的適應(yīng)性。
64.2 如何改善 GAN 的性能
- 優(yōu)化GAN性能
- 設(shè)計(jì)或選擇更適合目的代價(jià)函數(shù)秸脱。
- 添加額外的懲罰落包。
- 避免判別器過度自信和生成器過度擬合部蛇。
- 更好的優(yōu)化模型的方法摊唇。
- 添加標(biāo)簽明確優(yōu)化目標(biāo)。
- GAN常用訓(xùn)練技巧
- 輸入規(guī)范化到（-1涯鲁，1）之間巷查，最后一層的激活函數(shù)使用tanh（BEGAN除外）
- 使用wassertein GAN的損失函數(shù)
- 如果有標(biāo)簽數(shù)據(jù)的話有序，盡量使用標(biāo)簽，也有人提出使用反轉(zhuǎn)標(biāo)簽效果很好岛请，另外使用標(biāo)簽平滑旭寿，單邊標(biāo)簽平滑或者雙邊標(biāo)簽平滑
- 使用mini-batch norm， 如果不用batch norm 可以使用instance norm 或者weight norm
- 避免使用RELU和pooling層崇败，減少稀疏梯度的可能性盅称，可以使用leakrelu激活函數(shù)
- 優(yōu)化器盡量選擇ADAM，學(xué)習(xí)率不要設(shè)置太大后室，初始1e-4可以參考缩膝，另外可以隨著訓(xùn)練進(jìn)行不斷縮小學(xué)習(xí)率，
- 給D的網(wǎng)絡(luò)層增加高斯噪聲岸霹，相當(dāng)于是一種正則
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運(yùn)維
企業(yè)級大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
