1. Semi-Supervised Learning
Semi-Supervised Learning（半監(jiān)督學習）是監(jiān)督學習和無監(jiān)督學習的一種結(jié)合方法。半監(jiān)督學習使用大量的未標記數(shù)據(jù)袍暴，以及同時使用標記數(shù)據(jù)编检，來進行模式識別工作访得。
2. Pseudo-Label
產(chǎn)生偽標簽的步驟非常簡單，可以用如下步驟概括：
Step1: 給定帶標簽數(shù)據(jù)和不帶標簽的數(shù)據(jù)
Step2: 使用帶標簽數(shù)據(jù)訓練模型
Step3: 使用訓練好的模型預(yù)測沒有標簽的數(shù)據(jù)柠逞，得到Pseudo-label(偽標簽)
Step4：從不帶標簽的數(shù)據(jù)中拿出一部分數(shù)據(jù)加入到帶標簽數(shù)據(jù)集中。重復Step2
3. Entropy-based Regularization
對于分類模型，我們當然期望輸出的某一個類別擁有很大的置信度撰糠，其它的類別置信度很小，這樣表明該模型對預(yù)測結(jié)果很有信心辩昆。
在數(shù)學中阅酪，我們可以用熵來度量該模型對輸出結(jié)果有沒有信心。有關(guān)熵的介紹可以參考之前的一篇博客：什么是熵汁针，如何計算术辐？。
若
若
可以看到猾骡，當模型對某一預(yù)測結(jié)果置信度越高瑞躺，熵越小敷搪。對于預(yù)測模型，我們自然希望它的熵越小越好隘蝎。
所以购啄，我們可以在損失函數(shù)上加上熵正則項：
4. Why could Pseudo-Label work?
那么偽標簽為何能夠用于半監(jiān)督模型呢，論文 Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks給出了兩點解釋：
- 半監(jiān)督學習的目的是為了使用無標簽數(shù)據(jù)增強模型的泛化性嘱么。而cluster assumption表明狮含，決策邊界位于低密度區(qū)域(low-density regions)能夠提高模型的泛化性。而高密度區(qū)域的結(jié)果應(yīng)該具有相似的輸出結(jié)果曼振。而偽標簽就是取最高概率的作為偽標簽几迄；
- 熵正則通過最小化未標記數(shù)據(jù)的類概率的條件熵，促進了類之間的低密度分離冰评，而無需對密度進行任何建模映胁，通過熵正則化與偽標簽具有相同的作用效果，都是希望利用未標簽數(shù)據(jù)的分布的重疊程度的信息甲雅。
