近日，以計算機學院2024級博士研究生張莉琳為第一作者，楊寧副教授為通信作者的論文“Weakly Supervised Contrastive Adversarial Training for Learning Robust Features from Semi-supervised Data”被國際計算機視覺與模式識別會議（The IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025）錄用。CVPR是是人工智能領域的頂級會議之一，在學術界和產業界享有極高的聲譽，是中國計算機學會推薦的A類會議。

【背景和目標問題】

盡管現有的對抗訓練方法取得了顯著成功，但它們仍然面臨一個關鍵挑戰：魯棒特征的學習。研究表明，對抗樣本的存在源于自然數據中非魯棒特征的存在。這些非魯棒特征可能與標簽具有統計相關性，并且可以通過對抗樣本進行修改。相反，魯棒特征與標簽之間具有強因果相關性，因此在對抗樣本的擾動下保持不變。然而，現有的對抗訓練方法通常在由范數約束指定的?-球內盲目搜索對抗擾動，這可能導致不完全擾動，即并非所有非魯棒特征都有機會被擾動。未擾動的非魯棒特征會導致這些特征與標簽之間的相關性仍然存在，從而無法被目標分類器剔除，最終導致對抗魯棒性顯著下降。

【挑戰】

實現完全擾動在現實世界中面臨兩大挑戰：首先，魯棒/非魯棒特征無法顯式識別，因為沒有關于這些特征位置的監督信號；其次，標注數據的稀疏性進一步加劇了魯棒/非魯棒特征的不可識別性。

【方法】

為了應對這些挑戰，本文提出了一種新穎的弱監督對比對抗訓練（WSCAT）方法，該方法能夠利用部分標注數據幫助目標分類器提取魯棒特征。具體而言，首先注意到自然數據和對抗數據嵌入之間的互信息衡量了需要保留的相關性量，最小化這種互信息可以阻斷非魯棒特征與標簽之間的相關性。基于這一觀察，論文提出了一種基于信息論的完全對抗樣本生成方法，通過在對抗樣本的優化中引入額外的互信息約束來搜索完全擾動。進一步，我們用弱監督動態損失替代難以計算的互信息，以實現完全對抗樣本生成。該弱監督動態損失將當前目標分類器的預測結果與InfoNCE損失結合，動態反映非魯棒特征與標簽之間的相關性，而無需依賴標簽。

圖片

【創新】

1. 問題識別：論文指出了現有對抗訓練方法中不完全擾動的問題，即并非所有非魯棒特征在對抗樣本生成過程中都被擾動，這阻礙了魯棒特征的學習，導致目標分類器的對抗魯棒性不理想。

2. 方法創新：論文提出了一種名為弱監督對比對抗訓練（WSCAT）的新方法。WSCAT通過阻斷非魯棒特征與標簽之間的相關性，在半監督數據集上實現魯棒特征的學習，并在部分標注數據上以弱監督方式生成完全對抗樣本。

3. 理論分析與實驗驗證：論文進行了扎實的理論分析和廣泛的實驗，驗證了WSCAT在多個廣泛采用的基準數據集上的優越性。