鑽石舞台

訓練一個好的神經網絡通常需要大量標記數據，而由於獲得標記數據需要承受高昂的貨幣成本以及巨大的人力資源需求，因此大大增加了神經網絡訓練的難度。為了解決此類問題，人們往往採用半監督學習 (Semi-Supervised Learning, SSL)，它可以有效地利用稀缺的標記數據和豐富的未標記數據來訓練一個準確的分類器。該工作由京東探索研究院、南京理工大學、香港浸會大學合作完成，目前已被NeurIPS 2021接收。

圖1. 問題描述：（a）表示封閉集合問題。(b) 和 (c) 描述了類別分布不匹配問題，其中 (b) 描述了子集不匹配；(c) 描述了交叉不匹配。(d) 表示特徵分布不匹配。圖中紅色虛線框表示特徵分布不匹配，綠色實線框表示類別分布不匹配。

經典的半監督算法依賴於封閉集合假設，即標記數據和未標記數據來自於相同的類分布和相同的特徵分布。具體來說，標記數據的所包含的類別等於未標記數據的所包含的類別，而且標記數據特徵的邊緣分布與未標記數據特徵的邊緣分布相同，如圖1中（a）所示。然而在開放世界中，手頭的數據集可能會嚴重的違反上述假設，並同時具有類別分布不匹配和特徵分布不匹配，如圖1（b），（c），和（d）所示。在這種開放集的情況下，傳統的基於封閉集合的半監督學習會遭受嚴重的性能下降，如圖2，3所示。

圖2. 類別分布差異對半監督學習效果的影響[1]

圖3. 特徵分布差異對半監督學習效果的影響[2]

現有的方法需要知道標記數據和未標記數據的類別之間的關係，這極大地限制了它們的實際應用。當類別關係未知時，來自標記數據類別和未標記數據類別的潛在獨有數據都可能嚴重誤導學習過程。此外，現有工作僅考慮類分布不匹配，完全忽略了特徵分布不匹配問題。所以，有必要設計一種全局的方法來解決類別分布不匹配的不同場景，同時處理特徵分布不匹配。

本文力求解決現實情形的分布不匹配問題：（1）類別分布不匹配，該問題又包含子集不匹配和交叉不匹配；（2）特徵分布不匹配。為全局的解決上述兩種問題，本論文提出了一種基於共享類別檢測及特徵適應（Class-shAring data detection and Feature Adaptation，CAFA）的半監督框架，能夠使得傳統半監督方法很好的適配於各種現實情形。

本文設定中，有一個標記數據集包含個實例數據用標記，以及一個未標記的數據集由個未標記數據組成，其中遠小於。兩個數據集和分別來自兩個不同的特徵分布和。我們使用表示標記數據的已知類集，使用表示未標記數據的未知類集。特別地，我們使用表示和共享的類別集合，並使用和分別表示標記數據和未標記數據私有的類集。和中帶標籤的標記數據的特徵分布表示為和，以及屬於和的未標記數據的特徵分布分別表示為和。

我們的目標是有效地從標記數據集和未標記數據集中識別出類別共享數據，然後消除識別出的標記和未標記數據之間的不匹配特徵分布以幫助訓練一個更準確半監督模型用於對目標類別集合進行分類。

圖4. CAFA框架

如圖4所示，CAFA框架包含一個特徵提取器、一個分類器、一個對抗性判別器和一個非對抗性判別器。給定輸入實例，我們使用來計算其特徵表示。然後我們使用通過分類器輸出標籤預測。非對抗性判別器產生領域相似度分數，它量化了一個實例與一個分布的相似程度。對抗性判別器旨在對抗性地適應共享類別集合中標記數據和未標記數據的特徵分布。

本方法的大致框架可以表示為如下：

有監督保真項特佂適應項類別共享數據探索項

（1）

其中、、分別為、、的參數。在公式1中，第一項被稱為有監督保真項，它涉及標準交叉熵損失。第二項被稱為特徵適應項，它引入了對來自和類別共享數據的對抗性學習損失。這裡的類別共享數據是通過兩個分數和來檢測的，該評分過程將在後續進行詳細說明。通過這樣的特徵適應過程，我們的 CAFA 方法可以最大限度地利用未標記的數據從而有益於半監督學習。第三項是共享類別數據探索項，它使用半監督損失進行訓練，以充分利用類共享數據。通過以上描述，可見類別共享數據檢測，特徵適應，以及半監督訓練為本方法的主要模塊，接下來將對它們進行詳細介紹。

1、類別共享檢測

類共享數據檢測旨在正確區分屬於的訓練數據和中的訓練數據。為了實現這個目標，我們希望分別為標記數據和未標記數據建模兩個類共享分數和，它們應該滿足以下不等式[3]:

(2)

為了能夠更好的檢測，上述不等式應該儘量滿足較大的間隔。在這裡，我們使用域相似性和標籤預測偏移來建模 和 。

圖 5. 域相似性訓練

通過最小化交叉熵損失將來自的數據預測為 0 ，同時並將來自的數據預測為 1。輸出值便可以認為是輸入的域相似度。同時我們採用MixUp [4]方法來加強和之間的關係從而產生具有判別性的域相似性。通過MixUp訓練能夠使類共享數據的域相似度比屬於和中的私有數據更接近。從而能夠得到：

（3）

僅利用域相似性不足以檢測類共享數據。因此，我們引入標籤預測偏移來提高檢測性能。

圖6. 標籤預測偏移

給定輸入實例，然後對加上對抗擾動，通過計算網絡預測的偏差即可得到標籤預測偏移。同時，計算出的標籤預測偏移將滿足以下不等式[5]：

（4）

為了整合上述和，我們可以通過如下公式來計算所需對標記樣本和未標記樣本的評分和：

（5）

計算之前，和都被歸一化到區間 。通過 公式9，我們的類共享分數可以完美地滿足公式2，因此它們可以有效地檢測和的類別共享數據。

2、特徵適應

在檢測到上述的類共享數據後，現在我們應該消除和之間的特徵分布不匹配問題，使得可以正確提取未標記數據的價值以幫助後續半監督學習。為此，我們將未標註數據作為源域（i.e., 1），將標註數據作為目標域（i.e., 0），利用對抗域自適應來實現這個目標。具體來說，我們將類共享分數和。應用於對抗性學習損失，並訓練對抗性判別器來區分標記數據和未標記數據。同時，特徵提取器被訓練來欺騙。上述對抗過程可以表述為以下最小-最大優化問題：

（6）

通過兩個類共享分數和進行加權之後，我們可以成功緩解和之間的特徵分布不匹配問題，並不受無關分布和的影響。

3、半監督訓練

通過前面提到的類共享數據檢測和特徵適應，我們可以通過減輕類分布不匹配和特徵分布不匹配的負面影響來充分利用開放數據集。然後，我們應該着眼於有效探索類共享的未標記數據，同時削弱私有數據的負面影響。特別是標記數據集中的私有數據可能會將未標記數據誤導到中，而中的未標記私有數據可能會被錯誤地納入網絡訓練，導致性能進一步下降。為了解決這個問題，我們提出以下半監督訓練策略：

（7）

其中用於削弱網絡對未標記私有數據的學習，表示每個未標記數據校準後的偽學習目標，以減輕由標記私有數據引入的學習偏差。為了校準原始有偏差的偽目標 ，我們提出使用加權 softmax 函數。具體來說，我們計算每個類別的的平均權重為：

（8）

根據公式2，如果屬於，計算出的權重會很大，如果屬於，計算出的便會很小。然後我們可以通過如下公式來校準偽目標 ：

（9）

其中符號表示輸入向量的第個概率值。通過這樣的過程，中屬於的條目將被抑制，而屬於的概率值將被抑制被增強，這成功地減輕了來自原始目標的偏差。

因此，我們的通用框架可以通過將公式6和公式7代入公式1中的特徵適應項和類別共享數據探索項來進行實例化。我們的 CAFA 框架可以有效地解決開放集問題的不同場景，且無需任何類別關係的先驗知識，並取得令人鼓舞的表現。

為了驗證提出方法的有效性，我們分別在存在類別分布不一致、特徵分布不一致以及前兩種情況混合的數據集上測試了效果：

可見我們提出的方法能夠很好的解決開放半監督學習的不同情況，並且在大多任務上都超過了對比的方法。

同時，我們還進行了消融實驗，對方法的各個模塊進行拆解，對比效果如下：

可見我們的方法每一個模塊都至關重要，尤其是特徵擬合模塊對半監督學習的影響最大。

為了解決傳統半監督算法無法很好的適用於現實情形的問題，本文力求解決現實情形的分布不匹配問題：（1）類別分布不匹配，該問題又包含子集不匹配和交叉不匹配；（2）特徵分布不匹配。同時，現有方法無法同時解決類別分布不匹配問題的兩種子情形，從而進一步限制了它們的實際用途。為全局的解決上述兩種問題，我們提出了一種基於共享類別檢測及特徵分布適應（Class-shAring data detection and Feature Adaptation， CAFA）的半監督框架，能夠使得傳統半監督方法很好的適配於各種現實情形，詳實的實驗證明了我們方法在解決開放集半監督問題的優越性。