今天分享的論文為《CL4CTR: A Contrastive Learning Framework for CTR Prediction》前普，從特征表示角度入手辈讶，將多種對比學(xué)習(xí)損失引入到CTR預(yù)估的模型訓(xùn)練中场航，一起來看一下九妈。
1硬爆、背景
主流的CTR預(yù)估模型大致可以分為兩類古瓤，一類是傳統(tǒng)的模型赢织，如邏輯回歸亮靴，F(xiàn)M，F(xiàn)FM等于置，這些模型僅可以建模低階的特征交互茧吊，另一類是基于深度學(xué)習(xí)的模型，如DeepFM八毯、wide&Deep等搓侄，這些模型可以建模高階的特征交互來提升模型的預(yù)估效果。對于深度學(xué)習(xí)類的CTR預(yù)估模型话速，大都基于三層的設(shè)計范式：Embedding層休讳、特征交互（FI）層和預(yù)估層。在這種設(shè)計范式下尿孔，絕大多數(shù)的工作針對特征交互層展開俊柔，如xDeepFM筹麸、DCN等，對于Embedding層的研究卻很少雏婶。但在實際訓(xùn)練過程中物赶，大多數(shù)CTR模型面臨的一個問題是：出現(xiàn)頻率高的特征對應(yīng)的Embedding會被充分學(xué)習(xí)，出現(xiàn)次數(shù)低的特征對應(yīng)的Embedding無法被充分學(xué)習(xí)留晚，進一步導(dǎo)致模型的表現(xiàn)是次優(yōu)的酵紫。如在Frappe和ML-tag數(shù)據(jù)集中，可以看到明顯的“長尾”現(xiàn)象错维，如下圖所示：
當(dāng)然也有一些工作從特征表示的角度入手進行優(yōu)化奖地，在模型中引入了特征重要度模塊來增強其表示（如FEN，Duel-FEN）赋焕，但額外模塊的引入會帶來額外的學(xué)習(xí)參數(shù)以及線上推理耗時参歹，同時，這些模型僅通過監(jiān)督信號來優(yōu)化特征表示隆判，論文認為這也是遠遠不夠的犬庇。
因此，從特征表示優(yōu)化的角度出發(fā)侨嘀，針對現(xiàn)有模型的一些問題臭挽，將多種對比學(xué)習(xí)的損失引入到模型當(dāng)中，接下來對具體方法進行介紹咬腕。
2欢峰、CL4CTR介紹
論文提出了一種CTR預(yù)估中的對比學(xué)習(xí)框架CL4CTR，整體如下圖所示：
預(yù)估部分的內(nèi)容就不介紹了涨共，主要對三種對比學(xué)習(xí)損失進行介紹纽帖。
2.1 Contrastive Loss
這一部分引入了Contrastive Moudle，基于數(shù)據(jù)增強的思路煞赢，對樣本的embedding進行擾動抛计，構(gòu)造相似的正例樣本，相似的embedding在經(jīng)過相同的特征交互層和映射層之后照筑，得到的結(jié)果也應(yīng)該是相近的吹截。
對于embedding擾動的方式，論文提出了三種方法凝危，分別是隨機mask波俄，按特征mask，按維度mask蛾默，三種方式如下圖所示：
對于擾動后的樣本對懦铺，經(jīng)過特征交互層和映射層之后，希望其得到的向量表示越近越好支鸡，數(shù)學(xué)表示如下：
2.2 Feature Alignment And Field Uniformity Loss
為了確保高頻特征和低頻特征都能夠得到有效的學(xué)習(xí)冬念，受CV和NLP領(lǐng)域中的思路的啟發(fā)趁窃，通過引入正負樣本對，引入alignment和uniformity兩個約束來實現(xiàn)急前。針對CTR預(yù)估場景醒陆，本文將同一個field的特征類比為正樣本對，不同field的特征類比為負樣本對裆针，在這樣的假定下刨摩，F(xiàn)eature Alignment即來自相同域的embedding盡可能接近，F(xiàn)ield Uniformity即來自不同域的特征embedding盡可能遠世吨。數(shù)學(xué)表示如下：
其中澡刹，F(xiàn)表示field的個數(shù)，f表示某一個特定的域耘婚，相似度計算采用cosine距離罢浇。
2.3 Multi-task Training
在引入上述三個對比學(xué)習(xí)損失后，模型的整體損失函數(shù)包含四部分：
首先边篮，模型沒有引入額外的參數(shù)己莺，因此不影響預(yù)測耗時奏甫；其次戈轿，通過引入Contrastive Loss，提升了embedding的表達能力阵子；最后思杯，引入最后一部分損失，保證長尾特征的embedding也能得到有效的學(xué)習(xí)挠进。
3色乾、實驗結(jié)果
最后來看下實驗結(jié)果，首先是與baseline模型的對比：
接下來論文進行了諸多消融實驗驗證模型的效果领突，首先是兼容性分析暖璧，將CL4CTR應(yīng)用于不同的base模型上，均取得了AUC的提升：
其次是Contrastive Loss中不同的數(shù)據(jù)增強方式君旦，針對不同的數(shù)據(jù)集和Base模型澎办，最優(yōu)的數(shù)據(jù)增強方式不同：
最后是loss function，引入三種對比學(xué)習(xí)損失時金砍，效果最優(yōu)：
好了局蚀，論文就介紹到這里，整體來說論文要解決的問題十分明確恕稠，所采取的對比學(xué)習(xí)方法具有一定的借鑒意義～
