MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks?
原文鏈接：https://arxiv.org/pdf/2009.08453v1.pdf
代碼：https://github.com/szq0214/MEAL-V2
簡介
? ? 作者提出了一種非常簡單高效的提升ResNet網(wǎng)絡(luò)性能的方案渣聚。即：多老師版的知識蒸餾模型加上對抗訓(xùn)練拍顷。原理和實(shí)現(xiàn)都很簡單。如圖：? ??
MEAL V2與V1對比實(shí)現(xiàn)圖?
? ? 相關(guān)的loss函數(shù)：
學(xué)生模型與老師模型的KL loss
老師模型loss
對抗loss
效果展示：
實(shí)驗結(jié)果
