編輯丨陳彩嫻
現(xiàn)實(shí)應(yīng)用中，數(shù)據(jù)易得，而有標(biāo)簽的數(shù)據(jù)少有。一般而言，當(dāng)監(jiān)督學(xué)習(xí)任務(wù)面臨標(biāo)簽數(shù)據(jù)不足問題時(shí)，可以考慮以下四種解決辦法：1.預(yù)訓(xùn)練+微調(diào)：首先在一個(gè)大規(guī)模無監(jiān)督數(shù)據(jù)語料庫上對(duì)一個(gè)強(qiáng)大的任務(wù)無關(guān)模型進(jìn)行預(yù)訓(xùn)練（例如通過自監(jiān)督學(xué)習(xí)在自由文本上對(duì)語言模型進(jìn)行預(yù)訓(xùn)練，或者在無標(biāo)簽圖像上對(duì)視覺模型進(jìn)行預(yù)訓(xùn)練），之后再使用一小組標(biāo)簽樣本在下游任務(wù)上對(duì)該模型進(jìn)行微調(diào)。2.半監(jiān)督學(xué)習(xí)：同時(shí)從標(biāo)簽樣本和無標(biāo)簽樣本中學(xué)習(xí)，研究者使用該方法在視覺任務(wù)上進(jìn)行了大量研究。3.主動(dòng)學(xué)習(xí)：標(biāo)注成本高，即便成本預(yù)算有限，也希望盡可能收集更多的標(biāo)簽數(shù)據(jù)。主動(dòng)學(xué)習(xí)學(xué)習(xí)選擇最有價(jià)值的無標(biāo)簽樣本，并在接下來的收集過程中收集此類數(shù)據(jù)，在預(yù)算有限的情況下，幫助模型盡可能達(dá)到預(yù)期效果。4.預(yù)訓(xùn)練+數(shù)據(jù)集自動(dòng)生成：給定一個(gè)功能強(qiáng)大的預(yù)訓(xùn)練模型，可以利用該模型來自動(dòng)生成更多得多的標(biāo)簽樣本。受小樣本學(xué)習(xí)大獲成功的驅(qū)動(dòng)，該方法在語言領(lǐng)域的應(yīng)用尤其普遍。本文全面介紹半監(jiān)督學(xué)習(xí)這一方法，作者為OpenAI研究員Lilian Weng，博客地址：https://lilianweng.github.io/半監(jiān)督學(xué)習(xí)同時(shí)使用標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)來訓(xùn)練模型。有趣的是，現(xiàn)有關(guān)于半監(jiān)督學(xué)習(xí)的文獻(xiàn)大多集中在視覺任務(wù)上。而預(yù)訓(xùn)練+微調(diào)方法才是語言任務(wù)中更常見的范式。本文所提到的所有方法的損失，都由兩部分構(gòu)成：
。其中監(jiān)督損失
在樣本全部為標(biāo)簽樣本的情況下非常容易計(jì)算出來。我們需要重點(diǎn)關(guān)注如何設(shè)計(jì)無監(jiān)督損失
。加權(quán)項(xiàng)
通常選擇使用斜坡函數(shù)，其中t是訓(xùn)練步數(shù)，隨著訓(xùn)練次數(shù)的增加，的占比提升。聲明：此文并不覆蓋所有半監(jiān)督方法，僅聚焦于模型架構(gòu)調(diào)優(yōu)方面的。關(guān)于在半監(jiān)督學(xué)習(xí)中，如何使用生成模型和基于圖的方法，可以參考《深度半監(jiān)督學(xué)習(xí)全覽》（An Overview of Deep Semi-Supervised Learning）這篇論文。 | |
| |
| 標(biāo)簽數(shù)據(jù)集，其中 是真實(shí)標(biāo)簽的獨(dú)熱表示。 |
| |
| 整個(gè)數(shù)據(jù)集，包括標(biāo)簽樣本和無標(biāo)簽樣本。 |
| 可以表示無標(biāo)簽樣本， 也可以表示標(biāo)簽樣本。 |
| 經(jīng)過增強(qiáng)處理的無標(biāo)簽樣本或標(biāo)簽樣本。 |
| |
| 分別表示損失，監(jiān)督損失，無監(jiān)督損失 |
| 無監(jiān)督損失權(quán)重，隨著訓(xùn)練步數(shù)增加而增加。 |
| 給定輸入情況下，標(biāo)簽數(shù)據(jù)集的條件概率。 |
| 使用加權(quán)θ生成的神經(jīng)網(wǎng)絡(luò)，即期望訓(xùn)練出的模型。 |
| |
| |
| 兩個(gè)分布間的距離函數(shù)，例如均方誤差、交叉熵、KL散度等。 |
| Teacher 模型權(quán)重的移動(dòng)平均線加權(quán)超參數(shù)。 |
| α為混合樣本的系數(shù) , |
| |
| 選擇合格的預(yù)測(cè)結(jié)果的置信度閾值。 |
在已有研究文獻(xiàn)中，討論了以下幾種假設(shè)來支撐對(duì)半監(jiān)督學(xué)習(xí)方法中的某些設(shè)計(jì)進(jìn)行決策。假設(shè)1：平滑度假設(shè)（Smoothness Assumptions）如果兩個(gè)數(shù)據(jù)樣本在特征空間的高密度區(qū)域接近，它們的標(biāo)簽應(yīng)該會(huì)相同或非常相似。假設(shè)2：聚類假設(shè)（Cluster Assumptions）特征空間既有密集區(qū)域，也有稀疏區(qū)域。密集分組的數(shù)據(jù)點(diǎn)很自然地形成聚類。同一聚類中的樣本應(yīng)具有相同的標(biāo)簽。這是對(duì)假設(shè)1的一個(gè)小擴(kuò)展。假設(shè)3：低密度分離假設(shè)（Low-density Separation Assumptions）類之間的決策邊界往往位于稀疏的低密度區(qū)域，因?yàn)槿绻贿@樣的話，決策邊界就會(huì)將高密度聚類分割為分別對(duì)應(yīng)兩個(gè)聚類的兩個(gè)類，這就會(huì)導(dǎo)致假設(shè)1和假設(shè)2都失效。假設(shè)4：流形假設(shè)（Manifold Assumptions）高維數(shù)據(jù)往往位于低維流形上。盡管現(xiàn)實(shí)世界的數(shù)據(jù)可能是在非常高的維度上被觀察到的（例如，真實(shí)世界的物體/場(chǎng)景的圖像），但它們實(shí)際上可以被更低維的流形捕獲，這種低維流形上會(huì)捕獲數(shù)據(jù)的某些屬性，并將一些相似的數(shù)據(jù)點(diǎn)進(jìn)行緊密組合（例如真實(shí)世界的物體/場(chǎng)景的圖像，并不是源自于所有像素組合的均勻分布）。這就使得模型能夠?qū)W習(xí)一種更有效的表征方法去發(fā)現(xiàn)和評(píng)估無標(biāo)簽數(shù)據(jù)點(diǎn)之間的相似性。這也是表征學(xué)習(xí)的基礎(chǔ)。關(guān)于此假設(shè)，更詳細(xì)的闡述可參考《如何理解半監(jiān)督學(xué)習(xí)中的流行假設(shè)》這篇文章。
鏈接：https://stats.stackexchange.com/questions/66939/what-is-the-manifold-assumption-in-semi-supervised-learning
一致性正則化（Consistency Regularization）
一致性正則化，也叫一致性訓(xùn)練，假設(shè)給定相同輸入，神經(jīng)網(wǎng)絡(luò)中的隨機(jī)性（例如使用 Dropout算法）或數(shù)據(jù)增強(qiáng)轉(zhuǎn)換不會(huì)更改模型預(yù)測(cè)。本節(jié)中的每個(gè)方法都有一個(gè)一致性正則化損失：
。SimCLR、BYOL、SimCSE 等多個(gè)自監(jiān)督學(xué)習(xí)方法都采用了這一思想。相同樣本的不同增強(qiáng)版本，產(chǎn)生的表征都相同。語言建模中的交叉視圖訓(xùn)練（Cross-view training ）和自監(jiān)督學(xué)習(xí)中的多視圖學(xué)習(xí)（Multi-view learning）的研究動(dòng)機(jī)相同。
圖1：Π-模型概覽。同一個(gè)輸入經(jīng)過不同的隨機(jī)增強(qiáng)和 dropout掩膜的擾動(dòng)產(chǎn)生兩個(gè)版本，通過網(wǎng)絡(luò)得到兩個(gè)輸出，Π-模型預(yù)測(cè)這兩個(gè)輸出是一致的。（圖片來源：Laine 、 Aila 2017發(fā)表的論文《半監(jiān)督學(xué)習(xí)的時(shí)序集成》 ）
Sajjadi 等人在2016年發(fā)表的論文《深度半監(jiān)督學(xué)習(xí)的隨機(jī)變換和擾動(dòng)正則化》（Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning）中，提出了一種無監(jiān)督學(xué)習(xí)損失，它能夠?qū)⑼粩?shù)據(jù)點(diǎn)經(jīng)過隨機(jī)變換（例如dropout、隨機(jī)最大池化）產(chǎn)生兩個(gè)版本，并在通過網(wǎng)絡(luò)后輸出的兩個(gè)結(jié)果之間的差異最小化。由于其標(biāo)簽沒有被明確使用，所以該損失可以應(yīng)用到無標(biāo)簽數(shù)據(jù)集。Laine 、Aila 后來在2017年發(fā)表的論文《半監(jiān)督學(xué)習(xí)的時(shí)序集成》（Temporal Ensembling for Semi-Supervised Learning）中，為這種處理方式取了一個(gè)名字，叫做 Π模型。其中，
指同一個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)用不同的隨機(jī)增強(qiáng)或dropout掩膜的取值。該損失使用整個(gè)數(shù)據(jù)集。2.時(shí)序集成（Temporal ensembling）
圖2：時(shí)序集成概覽。其學(xué)習(xí)目標(biāo)是對(duì)每個(gè)樣本的指數(shù)移動(dòng)平均值（ EMA）做出標(biāo)簽預(yù)測(cè)。（圖片來源：Laine 、 Aila 2017發(fā)表的論文《半監(jiān)督學(xué)習(xí)的時(shí)序集成》）Π模型需要每個(gè)樣本通過神經(jīng)網(wǎng)絡(luò)兩次，這就使得計(jì)算成本增加一倍。為了減少成本，時(shí)序集成模型持續(xù)將每個(gè)訓(xùn)練樣本
的實(shí)時(shí)模型預(yù)測(cè)的指數(shù)移動(dòng)平均值（EMA）作為學(xué)習(xí)目標(biāo)，EMA 在每輪迭代中僅需計(jì)算和更新一次。由于時(shí)序集成模型的輸出
被初始化為0，因而除以
進(jìn)行歸一化來糾正這一啟動(dòng)偏差。出于同一原因，Adam 優(yōu)化器也有這樣的偏差糾正項(xiàng)。其中
是在第t輪迭代中的集成預(yù)測(cè)，
是在當(dāng)前回合的模型預(yù)測(cè)。需要注意的是，由于
=0，進(jìn)行偏差糾正后，
就完全等于在第1輪迭代中的模型預(yù)測(cè)值。
圖3：Mean Teacher 框架概覽（圖片來源：Tarvaninen、 Valpola在2017年發(fā)表的論文《均值教師模型是表現(xiàn)更好的模范模型：加權(quán)平均一致性目標(biāo)優(yōu)化半監(jiān)督深度學(xué)習(xí)結(jié)果》）時(shí)序集成模型將追蹤每一個(gè)訓(xùn)練樣本的標(biāo)簽預(yù)測(cè)的指數(shù)移動(dòng)平均值作為學(xué)習(xí)目標(biāo)。然而，這種標(biāo)簽預(yù)測(cè)僅在每一次迭代中發(fā)生變化，當(dāng)訓(xùn)練數(shù)據(jù)集很大時(shí)，這種方法就顯得冗雜。為了克服目標(biāo)更新速度慢的問題，Tarvaninen、 Valpola在2017年發(fā)表的論文《均值教師模型是表現(xiàn)更好的模范模型：加權(quán)平均一致性目標(biāo)優(yōu)化半監(jiān)督深度學(xué)習(xí)結(jié)果》（Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results）中，提出了Mean Teacher算法，該算法通過跟蹤模型權(quán)值的移動(dòng)平均值而不是模型輸出來更新目標(biāo)。權(quán)重為θ的原始模型叫做Student模型，將權(quán)重為連續(xù)多個(gè)Student模型的移動(dòng)平均權(quán)重θ′的模型，稱為Mean Teacher模型：
一致性正則化損失是Student模型和Teacher 模型的預(yù)測(cè)之間的距離，并且該差距應(yīng)該最小化。Mean Teacher 模型能夠提供比Student模型更準(zhǔn)確的預(yù)測(cè)。該結(jié)論在實(shí)證實(shí)驗(yàn)中得到了證實(shí)，如圖 4 所示。
圖4：Π 模型和 Mean Teacher模型在 SVHN 數(shù)據(jù)集上的分類誤差。Mean Teacher模型（用橙線表示）比Student模型（用藍(lán)線表示）的表現(xiàn)更好。（圖片來源：Tarvaninen、 Valpola在2017年發(fā)表的論文《均值教師模型是表現(xiàn)更好的模范模型：加權(quán)平均一致性目標(biāo)優(yōu)化半監(jiān)督深度學(xué)習(xí)結(jié)果》）- 輸入增強(qiáng)方法（例如，輸入圖像的隨機(jī)翻轉(zhuǎn)、高斯噪聲）或?qū)tudent模型進(jìn)行dropout處理對(duì)于模型實(shí)現(xiàn)良好的性能是必要的。Teacher模式不需要進(jìn)行dropout處理。
- 性能對(duì)指數(shù)移動(dòng)平均值的衰減超參數(shù)β敏感。一個(gè)比較好的策略是在增長(zhǎng)階段使用較小的β=0.99，在后期Student模型改進(jìn)放緩時(shí)使用較大的β=0.999。
- 結(jié)果發(fā)現(xiàn)，一致性成本函數(shù)的均方誤差（MSE）比KL發(fā)散等其他成本函數(shù)的表現(xiàn)更好。
4.將噪聲樣本作為學(xué)習(xí)目標(biāo)
最近的幾種一致性訓(xùn)練方法學(xué)習(xí)將原始的無標(biāo)簽樣本與其相應(yīng)的增強(qiáng)版本之間的預(yù)測(cè)差異最小化。這種思路與 Π 模型非常相似，但其一致性正則化損失僅適用于無標(biāo)簽數(shù)據(jù)。
在Goodfellow等人于2014年發(fā)表的論文《解釋和利用對(duì)抗性樣本》（Explaining and Harnessing Adversarial Examples）中，對(duì)抗性訓(xùn)練（Adversarial Training）將對(duì)抗性噪聲應(yīng)用到輸入上，并訓(xùn)練模型使其對(duì)此類對(duì)抗性攻擊具有魯棒性。該方法在監(jiān)督學(xué)習(xí)的應(yīng)用公式如下：其中
是真實(shí)分布，近似于真值標(biāo)簽的獨(dú)熱編碼，
是模型預(yù)測(cè)，
是計(jì)算兩個(gè)分布之間差異的距離函數(shù)。Miyato 等人在2018年發(fā)表的論文《虛擬對(duì)抗性訓(xùn)練：對(duì)監(jiān)督和半監(jiān)督方法都適用的正則化方法》（Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning）中提出虛擬對(duì)抗性訓(xùn)練（Virtual Adversarial Training，VAT），該方法是對(duì)抗性訓(xùn)練思想在半監(jiān)督學(xué)習(xí)領(lǐng)域的一個(gè)延伸。由于
是未知的，VAT 將該未知項(xiàng)替換為當(dāng)前權(quán)重設(shè)定為
時(shí)，當(dāng)前模型對(duì)原始輸入的預(yù)測(cè)。需要注意的是，是模型權(quán)重的的固定值，因而在上不會(huì)進(jìn)行梯度更新。VAT 損失既適用于標(biāo)簽樣本，也適用于無標(biāo)簽樣本。它計(jì)算的是當(dāng)前模型在每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)流形的負(fù)平滑度。對(duì)這種損失進(jìn)行優(yōu)化能夠讓預(yù)測(cè)流形更加平滑。Verma等人在2019年論文《半監(jiān)督學(xué)習(xí)的插值一致性訓(xùn)練》（Interpolation Consistency Training for Semi-Supervised Learning）中提出插值一致性訓(xùn)練（Interpolation Consistency Training，ICT），通過添加更多數(shù)據(jù)點(diǎn)的插值來強(qiáng)化數(shù)據(jù)集，讓模型預(yù)測(cè)和對(duì)應(yīng)標(biāo)簽的插值盡可能一致。Hongyi Zhang等人在2018年的論文《Mixup：超越經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化》（Mixup: Beyond Empirical Risk Minimization）中提出MixUp方法，即通過簡(jiǎn)單的加權(quán)和來將兩個(gè)圖像進(jìn)行混合處理。插值一致性訓(xùn)練即根據(jù)這一思路，讓預(yù)測(cè)模型為一個(gè)混合樣本生成標(biāo)簽，來匹配對(duì)應(yīng)輸入的預(yù)測(cè)插值：其中
表示Mean Teacher 模型的θ的移動(dòng)平均值。
圖6：插值一致性訓(xùn)練概覽。使用MixUp方法生成更多以插值標(biāo)簽作為學(xué)習(xí)目標(biāo)的插值樣本。(圖片來源：Verma等人在2019年論文《半監(jiān)督學(xué)習(xí)的插值一致性訓(xùn)練》)由于兩個(gè)隨機(jī)選擇的無標(biāo)簽樣本屬于不同類別的概率很高（例如ImageNet中就有1000個(gè)目標(biāo)類別），因此在兩個(gè)隨機(jī)無標(biāo)簽樣本之間應(yīng)用Mixup方法，就很可能生成在決策邊界附近的插值。根據(jù)低密度分離（Low-density Separation）假設(shè)，決策邊界往往位于低密度區(qū)域。其中
表示θ的移動(dòng)平均值。與VAT類似，Xie 等人在2020年的論文《一致性訓(xùn)練的無監(jiān)督數(shù)據(jù)增強(qiáng)》（Unsupervised Data Augmentation for Consistency Training）中提出的無監(jiān)督數(shù)據(jù)增強(qiáng)（Unsupervised Data Augmentation，UDA），學(xué)習(xí)給無標(biāo)簽樣本和增強(qiáng)樣本預(yù)測(cè)相同的輸出。UDA特別聚焦于研究噪聲的“質(zhì)量”如何通過一致性訓(xùn)練來影響半監(jiān)督學(xué)習(xí)的性能。要想生成有意義和有效的噪聲樣本，使用先進(jìn)的數(shù)據(jù)增強(qiáng)方法至關(guān)重要。良好的數(shù)據(jù)增強(qiáng)方法應(yīng)該能夠產(chǎn)生有效的（即不改變標(biāo)簽）和多樣的噪聲，并帶有有針對(duì)性的歸納偏置（Inductive Biases）。針對(duì)圖像領(lǐng)域，UDA 采用的是RandAugment方法，該方法由Cubuk 等人在2019年的論文《RandAugment: 減少搜索空間的實(shí)用型自動(dòng)數(shù)據(jù)增強(qiáng)方法》（RandAugment: Practical automated data augmentation with a reduced search space）中提出。它對(duì)Python圖像處理庫PIL中可用的增強(qiáng)操作進(jìn)行統(tǒng)一采樣，無需學(xué)習(xí)或優(yōu)化，因此比使用AutoAugment方法，成本要便宜得多。
圖7：CIFAR-10分類中各種半監(jiān)督學(xué)習(xí)方法的比較。在未經(jīng)過RandAugment處理的50000個(gè)樣本進(jìn)行訓(xùn)練時(shí)，Wide-ResNet-28-2和PyramidNet+ShakeDrop 在完全監(jiān)督下，錯(cuò)誤率分別為**5.4**和**2.7**。針對(duì)語言領(lǐng)域，UDA結(jié)合使用回譯（ back-translation）和基于TF-IDF的詞替換（word replacement）兩種方法。回譯保留了高層次意義，但是不保留某些詞本身，而基于TF-IDF的詞替換則去掉TF-IDF分?jǐn)?shù)較低的無信息性詞。在語言任務(wù)的實(shí)驗(yàn)中，研究者發(fā)現(xiàn)發(fā)現(xiàn)UDA與遷移學(xué)習(xí)和表征學(xué)習(xí)是互補(bǔ)的；例如，在域內(nèi)無標(biāo)簽數(shù)據(jù)上對(duì)BERT模型進(jìn)行微調(diào)（即圖8中的
），能進(jìn)一步提升性能。
圖8：不同文本分類任務(wù)上，無監(jiān)督數(shù)據(jù)增強(qiáng)方法采用不同初始化設(shè)置的比較。（圖片來源：Xie 等人在2020年的論文《一致性訓(xùn)練的無監(jiān)督數(shù)據(jù)增強(qiáng)》）在計(jì)算 
時(shí)，UDA可以通過使用以下三種訓(xùn)練技巧來優(yōu)化結(jié)果：- 低置信度掩膜（Low confidence masking）：如果樣本的預(yù)測(cè)置信度低于閾值
，則對(duì)其進(jìn)行掩膜處理。 - 銳化預(yù)測(cè)分布(Sharpening Prediction Distribution)：在Softmax中使用低溫
來對(duì)預(yù)測(cè)概率分布進(jìn)行銳化。 - 域內(nèi)數(shù)據(jù)過濾(In-Domain Data Filtration)：為了從大的域外數(shù)據(jù)集中提取更多的域內(nèi)數(shù)據(jù) ，研究人員訓(xùn)練一個(gè)分類器來預(yù)測(cè)域內(nèi)標(biāo)簽，然后保留具有高置信度預(yù)測(cè)的樣本作為域內(nèi)候選樣本。
其中，
是模型權(quán)重的固定值，與VAT中的一樣，因而沒有梯度更新，
是經(jīng)過增強(qiáng)的數(shù)據(jù)點(diǎn)，
是預(yù)測(cè)置信度閾值，
是分布銳化溫度。
偽標(biāo)簽（Pseudo Labeling）
Lee等人在2013年的論文《偽標(biāo)簽：深度神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單而高效的半監(jiān)督學(xué)習(xí)方法》（Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks）中提出偽標(biāo)簽，它基于當(dāng)前模型預(yù)測(cè)的最大的softmax概率，將偽標(biāo)簽分配給無標(biāo)簽樣本，然后在完全監(jiān)督設(shè)置下，同時(shí)在標(biāo)簽樣本和無標(biāo)簽樣本上訓(xùn)練模型。為什么偽標(biāo)簽?zāi)芷鹱饔?？偽?biāo)簽實(shí)際上相當(dāng)于熵正則化，它將無標(biāo)簽數(shù)據(jù)的類概率的條件熵（ conditional entropy ）最小化，從而實(shí)現(xiàn)類之間的低密度分離。換句話說，預(yù)測(cè)的類概率實(shí)際上是計(jì)算類重疊，最小化熵相當(dāng)于減少類重疊，從而降低密度分離。
圖9：(a )表示僅使用600 個(gè)標(biāo)簽數(shù)據(jù)對(duì)模型訓(xùn)練后，在MINIST 測(cè)試集上進(jìn)行測(cè)試輸出的t-SNE可視化結(jié)果，(b)表示使用600 個(gè)標(biāo)簽數(shù)據(jù)以及60000 個(gè)無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽對(duì)模型進(jìn)行訓(xùn)練后，在MINIST 測(cè)試集上進(jìn)行測(cè)試輸出的t-SNE可視化結(jié)果。偽標(biāo)簽?zāi)軌蚴箤W(xué)到的嵌入空間實(shí)現(xiàn)更好的分離效果。(圖片來源：Lee等人在2013年的論文《偽標(biāo)簽：深度神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單而高效的半監(jiān)督學(xué)習(xí)方法》)使用偽標(biāo)簽進(jìn)行訓(xùn)練自然是一個(gè)迭代過程。這里將生成偽標(biāo)簽的模型叫做Teacher 模型，將使用偽標(biāo)簽學(xué)習(xí)的模型稱作Student 模型。1.標(biāo)簽傳播（Label propagation）
Iscen等人在2019年發(fā)表的論文《深度半監(jiān)督學(xué)習(xí)的標(biāo)簽傳播》（Label Propagation for Deep Semi-supervised Learning）中提出標(biāo)簽傳播概念，是一種基于特征嵌入在樣本之間構(gòu)建相似圖的思想。接著將偽標(biāo)簽從已知樣本“擴(kuò)散”到傳播權(quán)重與圖中成對(duì)相似性得分成正比的無標(biāo)簽樣本。從概念上來看，它類似于k-NN分類器，兩者都存在無法很好地?cái)U(kuò)展到大型數(shù)據(jù)集上的問題。
圖10：標(biāo)簽傳播工作原理示意圖。（圖片來源：Iscen等人在2019年發(fā)表的論文《深度半監(jiān)督學(xué)習(xí)的標(biāo)簽傳播》）2.自訓(xùn)練（Self-Training）
自訓(xùn)練不是一個(gè)新概念，Scudder等人在1965年發(fā)表的論文《自適應(yīng)模式識(shí)別機(jī)器的錯(cuò)誤概率》（Probability of error of some adaptive pattern-recognition machines）、 Nigram & Ghani等人在CIKM 2000 上發(fā)表的論文《分析協(xié)同訓(xùn)練的有效性和適用性》（Analyzing the Effectiveness and Applicability of Co-trainin）都涉及到這個(gè)概念。它是一種迭代算法，輪番進(jìn)行以下兩步操作，直到每個(gè)無標(biāo)簽樣本都匹配到一個(gè)標(biāo)簽：- 首先，它在標(biāo)簽數(shù)據(jù)上構(gòu)建分類器。
- 接著，它使用該分類器預(yù)測(cè)無標(biāo)簽數(shù)據(jù)的標(biāo)簽，并將置信度最高的標(biāo)簽轉(zhuǎn)換為標(biāo)簽樣本。
Xie 等人在2020年發(fā)表的論文《使用噪聲學(xué)生進(jìn)行自訓(xùn)練來優(yōu)化 ImageNet 分類》（Self-training with Noisy Student improves ImageNet classification）中，將自訓(xùn)練應(yīng)用于深度學(xué)習(xí)，并取得了巨大成果。在ImageNet分類任務(wù)中，研究者首先訓(xùn)練了一個(gè)EfficientNet模型作為Teacher模型，為3億張無標(biāo)簽圖像生成偽標(biāo)簽，然后訓(xùn)練了一個(gè)更大的EfficientNet模型作為Student 模型，以學(xué)習(xí)真實(shí)標(biāo)簽圖像和偽標(biāo)簽圖像。在他們的實(shí)驗(yàn)設(shè)置中，一個(gè)關(guān)鍵的元素是在Student模型訓(xùn)練期間加入噪聲，而Teacher模型生成偽標(biāo)簽過程則不加入噪聲來。因此，他們的方法被稱為“噪聲學(xué)生（Noisy Student ）”，即使用隨機(jī)深度、dropout和RandAugment方法給Student 模型加入噪聲。Student 模型表現(xiàn)得比Teacher 模型更好，很大程度上就是加入噪聲帶來的好處。添加的噪聲具有復(fù)合效應(yīng)，可以促使模型在標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)上產(chǎn)生的決策邊界變得平滑。Student 模型自訓(xùn)練還有其他幾個(gè)重要的技術(shù)設(shè)置，包括：- Student 模型加應(yīng)該足夠大（即比Teacher 模型大），以適用于更多數(shù)據(jù)。
- 加入噪聲的Student 模型應(yīng)該結(jié)合數(shù)據(jù)平衡方法，這對(duì)于平衡每個(gè)類重的偽標(biāo)簽圖像的數(shù)量尤其重要。
- 軟偽標(biāo)簽比硬標(biāo)簽效果更好。
加入噪聲的Student 模型還提高了防御 FGSM（快速梯度符號(hào)攻擊，其使用輸入數(shù)據(jù)的損失梯度，并調(diào)整輸入數(shù)據(jù)從而最大化損失）的對(duì)抗魯棒性，即便該模型未針對(duì)對(duì)抗魯棒性進(jìn)行優(yōu)化。Du 等人在2020年的論文《自訓(xùn)練優(yōu)化自然語言理解的預(yù)訓(xùn)練》（Self-training Improves Pre-training for Natural Language Understanding）中提出SentAugment 方法，旨在解決語言領(lǐng)域進(jìn)行自訓(xùn)練時(shí)，域內(nèi)無標(biāo)簽數(shù)據(jù)不足的問題。它依靠句向量從大型語料庫中找到無標(biāo)簽的域內(nèi)樣本，并使用檢索到的句子進(jìn)行自訓(xùn)練。3.減小確認(rèn)偏誤（Confirmation Bias）
確認(rèn)偏誤是由于Teacher模型還不夠成熟導(dǎo)致提供錯(cuò)誤的偽標(biāo)簽的問題。對(duì)錯(cuò)誤標(biāo)簽進(jìn)行過擬合可能并不會(huì)產(chǎn)生更好的Student模型。為了減小確認(rèn)偏誤，Eric Arazo等人在論文《深度半監(jiān)督學(xué)習(xí)中的偽標(biāo)簽和確認(rèn)偏誤》（Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning）中提出了兩種新方法。一種是采用軟標(biāo)簽的Mixup方法，給定
兩個(gè)樣本和它們對(duì)應(yīng)的真標(biāo)簽和偽標(biāo)簽
，插值標(biāo)簽方程可以轉(zhuǎn)化為softmax輸出的交叉熵?fù)p失：如果標(biāo)簽樣本太少，使用Mixup方法還不夠。因此論文作者通過對(duì)標(biāo)簽樣本進(jìn)行過采樣，從而對(duì)每個(gè)小批量中的標(biāo)簽樣本設(shè)置最小數(shù)量。這比對(duì)標(biāo)簽樣本進(jìn)行權(quán)重補(bǔ)償效果更好，因?yàn)樗鼤?huì)更頻繁地更新，而不是頻次少的更大幅度的更新——這種更新其實(shí)更不穩(wěn)定。與一致性正則化一樣，數(shù)據(jù)增強(qiáng)和dropout方法對(duì)于發(fā)揮偽標(biāo)簽的作用，也很重要。Hieu Pham等人在2021年論文《元偽標(biāo)簽》（Meta Pseudo Labels）中提出元偽標(biāo)簽，根據(jù)Student模型對(duì)在標(biāo)簽數(shù)據(jù)集上表現(xiàn)的反饋，不斷調(diào)整Teacher模型。Teacher模型和Student模型同步進(jìn)行訓(xùn)練，Teacher模型學(xué)習(xí)生成更好的偽標(biāo)簽，Student模型從偽標(biāo)簽中學(xué)習(xí)。將Teacher模型和Student模型的權(quán)重分別設(shè)為
和
，Student模型在標(biāo)簽樣本上的損失定義為的函數(shù)
，并傾向于通過優(yōu)化Teacher模型來相應(yīng)地最小化這一損失。然而，優(yōu)化上述方程并非易事。借用MAML （模型無關(guān)的元學(xué)習(xí)， Model-Agnostic Meta-Learnin）的思路，它近似于在進(jìn)行多步
計(jì)算的同時(shí)，對(duì)進(jìn)行一步梯度更新。由于使用的是軟偽標(biāo)簽，上述目標(biāo)函數(shù)是可微函數(shù)。但是如果使用硬偽標(biāo)簽，則是不可微函數(shù)，因此需要用到REINFORCE等強(qiáng)化學(xué)習(xí)方法。優(yōu)化過程是在兩個(gè)模型之間的交替進(jìn)行的：- Student模型更新：給定一批無標(biāo)簽樣本
，我們可以通過函數(shù)
生成偽標(biāo)簽，并使用一步隨機(jī)梯度下降優(yōu)化
：
。 - Teacher模型更新：給定一批標(biāo)簽樣本
，我們重復(fù)使用Student模型的更新來優(yōu)化
：
。此外，還將UDA對(duì)象應(yīng)用于Teacher模型以兼并一致性正則化。
圖11：元偽標(biāo)簽與其他半監(jiān)督或自監(jiān)督學(xué)習(xí)方法在圖像分類任務(wù)中的性能比較。（圖片來源：Hieu Pham等人在2021年論文《元偽標(biāo)簽》）可以將一致性正則化、偽標(biāo)簽兩種方法結(jié)合起來，應(yīng)用到半監(jiān)督學(xué)習(xí)。 Berthelot等人在2019年的論文《MixMatch: 一種面向半監(jiān)督學(xué)習(xí)的整體性方法》（MixMatch: A Holistic Approach to Semi-Supervised Learning）中提出的MixMatch 方法，是一種應(yīng)用于半監(jiān)督學(xué)習(xí)的整體性方法，它通過整合以下方法來使用無標(biāo)簽數(shù)據(jù)：- 一致性正則化（Consistency regularization）：讓模型對(duì)受到擾動(dòng)的無標(biāo)簽樣本輸出相同的預(yù)測(cè)。
- 熵最小化（Entropy minimization）：讓模型對(duì)無標(biāo)簽數(shù)據(jù)輸出置信預(yù)測(cè)。
- MixUp 增強(qiáng)：讓模型在樣本之間進(jìn)行線性行為。
給定一批標(biāo)簽數(shù)據(jù)
和無標(biāo)簽數(shù)據(jù)
，通過
運(yùn)算得到其增強(qiáng)版本，
和
分別表示增強(qiáng)樣本和給無標(biāo)簽樣本預(yù)測(cè)到的標(biāo)簽。其中
是銳化溫度，用來減少猜測(cè)到的標(biāo)簽重疊；K 是每一個(gè)無標(biāo)簽樣本生成的增強(qiáng)版本個(gè)數(shù)；
是MixMatch 函數(shù)中的參數(shù)。對(duì)于每一個(gè)
，MixMatch都會(huì)生成K個(gè)增強(qiáng)版本，
等于k分別為1，....，K的的增強(qiáng)版本，模型基于平均值
來猜測(cè)偽標(biāo)簽。
圖12：MixMatch中的“標(biāo)簽猜測(cè)”過程：K 個(gè)增強(qiáng)無標(biāo)簽樣本的平均值，修正預(yù)測(cè)的邊際分布，最終使分布銳化銳。（圖片來源：Berthelot等人在2019年的論文《MixMatch: 一種面向半監(jiān)督學(xué)習(xí)的整體性方法》）根據(jù)該論文的消融研究，對(duì)無標(biāo)簽數(shù)據(jù)進(jìn)行 MixUp增強(qiáng)尤其重要。去除偽標(biāo)簽分布上的溫度銳化會(huì)嚴(yán)重影響性能。對(duì)于標(biāo)簽猜測(cè)，計(jì)算無標(biāo)簽數(shù)據(jù)多個(gè)增強(qiáng)版本的平均值也是必不可少的。Berthelot等人在2020年的論文《ReMixMatch:使用分布對(duì)齊和增強(qiáng)錨定進(jìn)行半監(jiān)督學(xué)習(xí)》（ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring）中，進(jìn)一步提出ReMixMatch方法，通過引入以下兩種新機(jī)制來改進(jìn)MixMatch方法：
圖13：ReMixMatch 方法對(duì)MixMatch方法的兩項(xiàng)改進(jìn)的圖示。（圖片來源：Berthelot等人在2020年的論文《ReMixMatch:使用分布對(duì)齊和增強(qiáng)錨定進(jìn)行半監(jiān)督學(xué)習(xí)》）1.分布對(duì)齊（Distribution alignment）。該方法讓邊緣分布
與真值標(biāo)簽的邊緣分布相近。設(shè)定為真值標(biāo)簽的類分布，
是無標(biāo)簽數(shù)據(jù)上的預(yù)測(cè)類分布的移動(dòng)平均。模型對(duì)無標(biāo)簽樣本的預(yù)測(cè)
經(jīng)過歸一化處理為
以匹配真實(shí)邊緣分布。需要注意的是，如果邊際分布不一致，熵最小化則不是一個(gè)有用的目標(biāo)。并且，有標(biāo)簽和無標(biāo)簽數(shù)據(jù)上的類分布相互匹配的假設(shè)確實(shí)太絕對(duì)了，在現(xiàn)實(shí)環(huán)境中不一定是正確的。2.增強(qiáng)錨定(Augmentation Anchoring)。給定一個(gè)無標(biāo)簽樣本，首先會(huì)生成一個(gè)弱增強(qiáng)的“錨定”版本，接著使用 CTAugment (控制理論增強(qiáng)，Control Theory Augment)方法對(duì)K個(gè)強(qiáng)增強(qiáng)版本計(jì)算平均值。CTAugment僅僅對(duì)講模型預(yù)測(cè)保持在網(wǎng)絡(luò)容差范圍內(nèi)的增強(qiáng)版本進(jìn)行采樣。ReMixMatch損失由以下幾個(gè)項(xiàng)組成：- 應(yīng)用了數(shù)據(jù)增強(qiáng)和Mixup方法的監(jiān)督損失
- 應(yīng)用了數(shù)據(jù)增強(qiáng)和Mixup方法卻使用偽標(biāo)簽作為目標(biāo)的無監(jiān)督損失
- 不使用Mixup方法情況下，單個(gè)強(qiáng)增強(qiáng)的無標(biāo)簽圖像的交叉熵?fù)p失
- 自監(jiān)督學(xué)習(xí)中的旋轉(zhuǎn)損失（ rotation loss）。
Junnan Li 等人在2020年論文《DivideMix:使用噪聲標(biāo)簽學(xué)習(xí)來實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)》（DivideMix: Learning with Noisy Labels as Semi-supervised Learning）中提出DivideMix方法，它將半監(jiān)督學(xué)習(xí)與使用噪聲標(biāo)簽的學(xué)習(xí)（Learning with noisy labels，LNL）相結(jié)合。它通過高斯混合模型（GMM）對(duì)每個(gè)樣本損失分布進(jìn)行建模，將訓(xùn)練數(shù)據(jù)動(dòng)態(tài)劃分為含有干凈樣本的標(biāo)簽數(shù)據(jù)集和含有噪聲樣本的無標(biāo)簽數(shù)據(jù)集。按照Arazo等人在2019年論文《無監(jiān)督標(biāo)簽噪聲建模和損失修正》（Unsupervised Label Noise Modeling and Loss Correction）中提出的想法，他們?cè)诿總€(gè)樣本交叉熵?fù)p失上擬合了一個(gè)二元高斯混合模型。干凈樣本期望比噪聲樣本更快得到更低的損失。更小均值的高斯混合模型對(duì)應(yīng)干凈標(biāo)簽的聚類，這里將其表示為c。如果高斯混合模型的后驗(yàn)概率
（即樣本屬于干凈樣本集的概率）大于閾值，則該樣本被視為干凈樣本，否則被視為噪聲樣本。數(shù)據(jù)進(jìn)行聚類的過程叫做協(xié)同劃分（co-divide）。為了避免確認(rèn)偏誤，DividImax方法同時(shí)訓(xùn)練兩個(gè)交叉的網(wǎng)絡(luò)，其中每個(gè)網(wǎng)絡(luò)都使用來自另一個(gè)網(wǎng)絡(luò)的數(shù)據(jù)集分離出來的部分，類似于雙 Q 學(xué)習(xí) (Double Q-Learning) 的工作原理。?圖14：DivideMix獨(dú)立訓(xùn)練兩個(gè)網(wǎng)絡(luò)，以減少確認(rèn)偏誤。兩個(gè)網(wǎng)絡(luò)同時(shí)運(yùn)行?協(xié)同劃分,、協(xié)同細(xì)化 和協(xié)同猜測(cè)。（圖片來源：Junnan Li 等人在2020年論文《DivideMix:使用噪聲標(biāo)簽學(xué)習(xí)來實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)》）與MixMatch相比，DivideMix有一個(gè)額外的用于處理噪音樣本的?co-divide步驟，并在訓(xùn)練期間做了如下改進(jìn)：標(biāo)簽協(xié)同細(xì)化（Label co-refinement:）：它將真值標(biāo)簽
與網(wǎng)絡(luò)預(yù)測(cè)
進(jìn)行線性組合，其中是另一個(gè)網(wǎng)絡(luò)產(chǎn)生干凈數(shù)據(jù)集概率 
條件下，
多個(gè)增強(qiáng)版本的平均值。標(biāo)簽協(xié)同猜測(cè)（Label co-guessing）：它對(duì)兩個(gè)模型對(duì)無標(biāo)簽數(shù)據(jù)樣本的預(yù)測(cè)進(jìn)行平均。
圖15：DivideMix算法。（圖片來源：Junnan Li 等人在2020年論文《DivideMix:使用噪聲標(biāo)簽學(xué)習(xí)來實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)》） Sohn等人在2020年的論文《FixMatch: 使用一致性和置信度簡(jiǎn)化半監(jiān)督學(xué)習(xí)》（FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence）中提出的FixMatch方法，通過弱增強(qiáng)方法在無標(biāo)簽樣本上生成偽標(biāo)簽，并且只保持高置信度的預(yù)測(cè)。在這里，弱增強(qiáng)和高置信度過濾都有助于生成高質(zhì)量的可信偽標(biāo)簽?zāi)繕?biāo)。然后，F(xiàn)ixMatch在給定一個(gè)經(jīng)過大幅增強(qiáng)的樣本情況下，預(yù)測(cè)這些偽標(biāo)簽。
圖16：FixMatch方法的工作原理圖示。(圖片來源：Sohn等人在2020年的論文《FixMatch: 使用一致性和置信度簡(jiǎn)化半監(jiān)督學(xué)習(xí)》）
其中
是無標(biāo)簽樣本的偽標(biāo)簽；
是決定
和
的相對(duì)大小的超參數(shù)。弱增強(qiáng)
：標(biāo)準(zhǔn)的平移和變換增強(qiáng)。強(qiáng)增強(qiáng)
：AutoAugment、 Cutout、 RandAugment和 CTAugment等數(shù)據(jù)增強(qiáng)方法。
圖17：FixMatch和其他幾種半監(jiān)督學(xué)習(xí)方法在圖像分類任務(wù)上的性能。(圖片來源：Sohn等人在2020年的論文《FixMatch: 使用一致性和置信度簡(jiǎn)化半監(jiān)督學(xué)習(xí)》） - 當(dāng)使用閾值τ時(shí)，使用溫度參數(shù)T對(duì)銳化預(yù)測(cè)分布不會(huì)產(chǎn)生顯著影響。
- Cutout和CTAugment是強(qiáng)增強(qiáng)方法，對(duì)模型達(dá)到良好的性能“功不可沒”。
- 當(dāng)標(biāo)簽猜測(cè)使用強(qiáng)增強(qiáng)來取代弱增強(qiáng)時(shí)，模型在訓(xùn)練早期就發(fā)散了。如果舍棄弱增強(qiáng)，模型就會(huì)過度擬合猜測(cè)的標(biāo)簽。
- 使用弱增強(qiáng)而不是強(qiáng)增強(qiáng)進(jìn)行偽標(biāo)簽預(yù)測(cè)，會(huì)導(dǎo)致模型性能不穩(wěn)定。強(qiáng)數(shù)據(jù)增強(qiáng)，對(duì)于模型性能的穩(wěn)定性而言，至關(guān)重要。
結(jié)合強(qiáng)大的預(yù)訓(xùn)練
該方法通過自監(jiān)督學(xué)習(xí)在大型無監(jiān)督數(shù)據(jù)語料庫上對(duì)與任務(wù)無關(guān)的模型進(jìn)行預(yù)訓(xùn)練，然后使用小型標(biāo)簽數(shù)據(jù)集在下游任務(wù)上對(duì)該模型進(jìn)行微調(diào)，這是一種常見的范式，尤其是在語言任務(wù)中。研究表明，如果將半監(jiān)督學(xué)習(xí)與預(yù)訓(xùn)練相結(jié)合，模型可以獲得額外的收益。Zoph 等人在2020年的論文《重新思考預(yù)訓(xùn)練和自訓(xùn)練》（Rethinking Pre-training and Self-training），研究了自訓(xùn)練比預(yù)訓(xùn)練更有效多少。他們的實(shí)驗(yàn)設(shè)置是使用ImageNet 進(jìn)行預(yù)訓(xùn)練或自訓(xùn)練，從而改進(jìn) COCO結(jié)果。需要注意的是，在使用 ImageNet 進(jìn)行自訓(xùn)練時(shí)，它會(huì)丟棄標(biāo)簽，僅將 ImageNet 樣本用作無標(biāo)簽的數(shù)據(jù)點(diǎn)。何愷明等人在2018年的論文《重新思考ImageNet 預(yù)訓(xùn)練》（Rethinking ImageNet Pre-training）中已經(jīng)證明，如果下游任務(wù)（例如目標(biāo)檢測(cè)）非常不同，ImageNet 分類預(yù)訓(xùn)練的效果就不是很好。
圖18：(a) 數(shù)據(jù)增強(qiáng)（從弱到強(qiáng)）的結(jié)果和 (b) 標(biāo)簽數(shù)據(jù)集大小對(duì)目標(biāo)檢測(cè)性能的影響。在圖例中：“Rand Init”表示經(jīng)過隨機(jī)權(quán)重初始化的模型；`ImageNet` 使用在ImageNet數(shù)據(jù)集上Top-1準(zhǔn)確率為84.5%的預(yù)訓(xùn)練模型進(jìn)行初始化；`ImageNet++`使用在 ImageNet數(shù)據(jù)集上Top-1準(zhǔn)確率為86.9%的預(yù)訓(xùn)練模型進(jìn)行初始化。(圖片來源：Zoph 等人在2020年的論文《重新思考預(yù)訓(xùn)練和自訓(xùn)練》)該實(shí)驗(yàn)獲得了一系列有趣的發(fā)現(xiàn)：- 可用于下游任務(wù)的標(biāo)簽樣本越多，預(yù)訓(xùn)練的有效性就越低。預(yù)訓(xùn)練在低數(shù)據(jù)模式（20%）下是有幫助的，但在高數(shù)據(jù)情況下是中性的或起反作用的。
- 在高數(shù)據(jù)/強(qiáng)增強(qiáng)模式下，即便預(yù)訓(xùn)練會(huì)起反作用，自訓(xùn)練也是有幫助的。
- 即使使用相同的數(shù)據(jù)源，自訓(xùn)練也可以在預(yù)訓(xùn)練的基礎(chǔ)上帶來額外的改進(jìn)。
- 自監(jiān)督預(yù)訓(xùn)練（例如通過 SimCLR進(jìn)行預(yù)訓(xùn)練）會(huì)損害模型在高數(shù)據(jù)模式下的性能，跟監(jiān)督預(yù)訓(xùn)練差不多。
- 聯(lián)合訓(xùn)練監(jiān)督和自監(jiān)督學(xué)習(xí)目標(biāo)有助于解決預(yù)訓(xùn)練和下游任務(wù)之間的不匹配問題。預(yù)訓(xùn)練、聯(lián)合訓(xùn)練和自訓(xùn)練都是加性的。
- 噪聲標(biāo)簽或非目標(biāo)標(biāo)簽（即預(yù)訓(xùn)練標(biāo)簽未與下游任務(wù)標(biāo)簽對(duì)齊）比目標(biāo)的偽標(biāo)簽更差。
- 自訓(xùn)練在計(jì)算上比在預(yù)訓(xùn)練模型上進(jìn)行微調(diào)，更昂貴。
Ting Chen等人在2020年的論文《大型自監(jiān)督模型是強(qiáng)大的半監(jiān)督學(xué)習(xí)者》（Big Self-Supervised Models are Strong Semi-Supervised Learners）中，提出了一個(gè)三步程序（three-step procedure）方法，將自監(jiān)督預(yù)訓(xùn)練、有監(jiān)督微調(diào)以及自訓(xùn)練的優(yōu)勢(shì)都結(jié)合在一起：1.使用無監(jiān)督或子監(jiān)督方法對(duì)一個(gè)大模型進(jìn)行訓(xùn)練；2.在一些標(biāo)簽示例上對(duì)該模型進(jìn)行有監(jiān)督微調(diào)，其中使用大型（深且寬）的神經(jīng)網(wǎng)絡(luò)至關(guān)重要，因?yàn)槭褂酶俚臉?biāo)簽樣本下，模型越大，性能更佳。3.在自訓(xùn)練中采用偽標(biāo)簽，對(duì)無標(biāo)簽示例進(jìn)行蒸餾。a.可以將一個(gè)大模型的知識(shí)蒸餾到一個(gè)小模型中，因?yàn)檫@種特定任務(wù)的用法并不需要學(xué)到的表示的額外容量。b.蒸餾損失公式如下，其中Teacher網(wǎng)絡(luò)是固定的，權(quán)重為
。 
圖19：半監(jiān)督學(xué)習(xí)框架通過與任務(wù)無關(guān)的無監(jiān)督預(yù)訓(xùn)練（左）和特定任務(wù)的自訓(xùn)練和蒸餾（右）來使用無標(biāo)簽的數(shù)據(jù)語料庫。(圖片來源：Ting Chen等人在2020年的論文《大型自監(jiān)督模型是強(qiáng)大的半監(jiān)督學(xué)習(xí)者》）
論文作者在 ImageNet 分類任務(wù)上進(jìn)行了實(shí)驗(yàn)。自監(jiān)督預(yù)訓(xùn)練使用 SimCLRv2，SimCLR 的直接改進(jìn)版本。他們?cè)趯?shí)證研究中的觀察結(jié)果，證實(shí)了Zoph 等人在2020年提出的一些成果：- 更大模型的標(biāo)簽學(xué)習(xí)更加高效；
- SimCLR 中更大/更深的project heads可以改善表征學(xué)習(xí)；
- 使用無標(biāo)簽數(shù)據(jù)進(jìn)行蒸餾，能優(yōu)化半監(jiān)督學(xué)習(xí)。
圖20：SimCLRv2 + 半監(jiān)督蒸餾在 ImageNet 分類上的性能對(duì)比。（圖片來源：Ting Chen等人在2020年的論文《大型自監(jiān)督模型是強(qiáng)大的半監(jiān)督學(xué)習(xí)者》）通過對(duì)最近半監(jiān)督學(xué)習(xí)方法的總結(jié)，我們可以發(fā)現(xiàn)不少方法都旨在減少確認(rèn)偏誤：- 通過先進(jìn)的數(shù)據(jù)增強(qiáng)方法將有效且多樣化的噪聲應(yīng)用于樣本。
- 在處理圖像時(shí)，MixUp 是一種有效的數(shù)據(jù)增強(qiáng)方法。該方法同樣可用于語言任務(wù)，實(shí)現(xiàn)較小的增量?jī)?yōu)化（(Guo et al. 2019)。
- 設(shè)置閾值，并去掉置信度低的偽標(biāo)簽。
- 設(shè)置每個(gè)小批量中的標(biāo)簽樣本的最少數(shù)量。
@article{weng2021semi, title = "Learning with not Enough Data Part 1: Semi-Supervised Learning", author = "Weng, Lilian", journal = "lilianweng.github.io", year = "2021", url = "https://lilianweng.github.io/posts/2021-12-05-semi-supervised/"}[1] Ouali, Hudelot & Tami. “An Overview of Deep Semi-Supervised Learning” arXiv preprint arXiv:2006.05278 (2020).[2] Sajjadi, Javanmardi & Tasdizen “Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning.” arXiv preprint arXiv:1606.04586 (2016).[3] Pham et al. “Meta Pseudo Labels.” CVPR 2021.[4] Laine & Aila. “Temporal Ensembling for Semi-Supervised Learning” ICLR 2017.[5] Tarvaninen & Valpola. “Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results.” NeuriPS 2017[6] Xie et al. “Unsupervised Data Augmentation for Consistency Training.” NeuriPS 2020.[7] Miyato et al. “Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning.” IEEE transactions on pattern analysis and machine intelligence 41.8 (2018).[8]Ian J. Goodfellow et al.”Explaining and Harnessing Adversarial Examples“，2014[9] Verma et al. “Interpolation consistency training for semi-supervised learning.” IJCAI 2019[10] Lee. “Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks.” ICML 2013 Workshop: Challenges in Representation Learning.[11] Iscen et al. “Label propagation for deep semi-supervised learning.” CVPR 2019.[12] Xie et al. “Self-training with Noisy Student improves ImageNet classification” CVPR 2020.[13] Jingfei Du et al. “Self-training Improves Pre-training for Natural Language Understanding.” 2020[14 Iscen et al. “Label propagation for deep semi-supervised learning.” CVPR 2019[15] Arazo et al. “Pseudo-labeling and confirmation bias in deep semi-supervised learning.” IJCNN 2020.[16] Berthelot et al. “MixMatch: A holistic approach to semi-supervised learning.” NeuriPS 2019[17] Berthelot et al. “ReMixMatch: Semi-supervised learning with distribution alignment and augmentation anchoring.” ICLR 2020[18] Eric Arazo et al. Unsupervised Label Noise Modeling and Loss Correction,2019[19] Sohn et al. “FixMatch: Simplifying semi-supervised learning with consistency and confidence.” CVPR 2020[20] Junnan Li et al. “DivideMix: Learning with Noisy Labels as Semi-supervised Learning.” 2020 [code][21] Zoph et al. “Rethinking pre-training and self-training.” 2020.[22] Chen et al. “Big Self-Supervised Models are Strong Semi-Supervised Learners” 2020掃碼添加 AI 科技評(píng)論 微信號(hào)，投稿&進(jìn)群：雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
