1.文章總體脈絡(luò)
Adversarial training是一種判別式有監(jiān)督的對(duì)抗訓(xùn)練，在加入額外的擾動(dòng)(perturbations)的情況下仍然具有較好的判別能力。
Virtual Adversarial training是Adversarial training的一種擴(kuò)展，適用于半監(jiān)督學(xué)習(xí)(loss與noise)改淑。
2.文章內(nèi)容
文章的核心是：在word embedding(標(biāo)準(zhǔn)化處理)上增加擾動(dòng)，從而增強(qiáng)模型的魯棒性，提升分類器的準(zhǔn)確率壁袄。
Adversarial training
擾動(dòng)的選擇：
損失函數(shù)：
無(wú)論是r的選取還是loss函數(shù)，都是與標(biāo)簽y有關(guān)媚媒，因此對(duì)抗訓(xùn)練只是適用于有監(jiān)督的方式嗜逻。
選擇的擾動(dòng)r是最小化loss函數(shù)，從而提升魯棒性缭召。而g為loss函數(shù)的梯度栈顷，對(duì)應(yīng)的是梯度上升令哟，因此取-g方向。g//|g|是為了進(jìn)行歸一化處理妨蛹。那么前面的e可以視為是調(diào)節(jié)擾動(dòng)大小的一個(gè)值屏富。
Virtual Adversarial training
擾動(dòng)選擇：
損失函數(shù)：
無(wú)論是r的選取還是loss函數(shù)，都只是與分布有關(guān)系蛙卤，因此對(duì)抗訓(xùn)練使用于半監(jiān)督的方式狠半。
選擇的擾動(dòng)r是最大化KL散度，從而提升魯棒性颤难。因此用g的方向即可神年。
label data 和 unlabeld data
無(wú)標(biāo)簽的用Virtual Adversarial training，有標(biāo)簽的用Adversarial training行嗤，最后模型的loss為兩個(gè)loss之和已日。
參考鏈接：
