? ? ?? 最近對半監(jiān)督學習很感興趣彻犁，尤其是關于半監(jiān)督學習在卷積神經(jīng)網(wǎng)絡中的應用。這里首先列出相關的文獻，后面繼續(xù)補充對于每一篇文獻的介紹以及使用效果憨降。
論文：Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks (ICML 2013) 召噩，鏈接：http://deeplearning.net/wp-content/uploads/2013/03/pseudo_label_final.pdf
核心思想：通過網(wǎng)絡對無標簽數(shù)據(jù)進行預測母赵，然后將預測結(jié)果進行銳化，得到偽標簽（Pseudo-Label ）具滴。這里采用的銳化方法是一種極端的銳化方式——將預測結(jié)果最大概率位置置為1凹嘲，其余地方置為0（相當于對向量求無窮范數(shù)）。最后將銳化后的偽標簽和無標簽數(shù)據(jù)組成新數(shù)據(jù)對加入訓練构韵≈懿洌考慮到開始的網(wǎng)絡預測結(jié)果可能不準確（置信度低），因此無標簽數(shù)據(jù)對在誤差函數(shù)中對應的權重比較低疲恢，隨著訓練epoch增加權重逐漸增加凶朗。
論文：Semi-Supervised Learning with Ladder Networks?(NIPS 2015)，鏈接：https://arxiv.org/abs/1507.02672
核心思想：無監(jiān)督方法開始的時候都采用在無標簽數(shù)據(jù)上進行 Auto-Encoder預訓練显拳，然后在有標簽數(shù)據(jù)上進行監(jiān)督訓練俱尼。這種方式效果不好的原因在于無監(jiān)督的預訓練其根本目的在于最大限度地保留所有特征用于恢復自身，而為了完成某種任務的監(jiān)督訓練所需要的信息可能只是其中一部分萎攒，一種更加高明的方式應該是最大限度保留所有該任務需要的特征而不是所有特征浴滴。為此論文設計了一種形狀像梯子一樣的網(wǎng)絡結(jié)構(gòu)仰迁，在編碼解碼恢復自身的特征只有一部分用于監(jiān)督訓練。
論文：Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results (NIPS 2017)键痛，地址：https://arxiv.org/abs/1703.01780
論文：Temporal Ensembling for Semi-supervised Learning (ICLR 2017)货矮，鏈接：https://arxiv.org/pdf/1610.02242
論文：Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning (TPAMI)羊精，鏈接：https://arxiv.org/abs/1704.03976
核心思想：前面通過各種隨機擾動（在圖片里面就是crop、rotate囚玫、flip喧锦、亮度變換等），使得沒有標簽的圖像通過網(wǎng)絡之后得到的target盡可能一致（從變化中找到不變量）抓督，以此來作為約束或者正則項燃少。由于這樣的做法在訓練過程中形成了一個閉環(huán)，可以將這樣的約束寫成loss的形式铃在，訓練起來也很方便阵具。但是顯然這樣的方法太過于隨機，找到的隨機擾動可能不是問題的痛點定铜，因此這里采用對抗生成的方法阳液，用一個網(wǎng)絡去尋找無標簽數(shù)據(jù)的痛點，相對于前面的隨機擾動來說揣炕，通過網(wǎng)絡生成的隨機擾動更加具有針對性帘皿，約束也更強。
論文：MixMatch: A Holistic Approach to Semi-Supervised Learning畸陡，鏈接：https://arxiv.org/abs/1905.02249
核心思想：google的文章鹰溜，基本上將前面的方法進行了概括
論文：Unsupervised Data Augmentation for Consistency Training虽填，鏈接：https://arxiv.org/pdf/1904.12848
總結(jié)：雖然論文結(jié)果說得天花亂墜，但是一到實際場景好像就不行奉狈，比如自己隨便造一個數(shù)據(jù)集卤唉，可能就有問題。論文里經(jīng)常用這么幾個數(shù)據(jù)集minist仁期、cifar10桑驱、cifar100等，那其他數(shù)據(jù)集呢跛蛋？為什么不使用下呢熬的？所以這本身也說明了一個問題，就是半監(jiān)督學習可能需要一定的假設才能成功（說白了就這幾個數(shù)據(jù)集才有效）赊级。如果有一天押框，當大家在kaggle比賽中都爭先恐后地采用這種半監(jiān)督方法的時候，那就是半監(jiān)督真正大放異彩的時候理逊。
