導(dǎo)讀：全文約3300字司志，分為以下5個(gè)部分，請按需閱讀囚霸。
I. 研究背景：特征交互與笛卡爾積
II. CAN的實(shí)現(xiàn)：模型結(jié)構(gòu)拓型，實(shí)現(xiàn)細(xì)節(jié)瘸恼，多階優(yōu)化以及各模塊間的獨(dú)立性
III. 實(shí)驗(yàn)結(jié)論：與各類state-of-the-art模型的比較
IV. 模型線上部署：serving時(shí)遇到的問題和解決方案
V. 總結(jié)
文中圖片均來自于論文原文东帅。

本篇文章介紹了阿里媽媽定向廣告團(tuán)隊(duì)的最新作品：Co-Action Net(以下簡稱CAN)。CAN提出了一種全新的特征交互思路帐我，將待交互的特征（用戶側(cè)和商品側(cè)特征）分別作為DNN的輸入和權(quán)重焚刚，用DNN的輸出作為特征交互的結(jié)果扇调。CAN在提升了特征交互的表達(dá)能力同時(shí)狼钮，降低了傳統(tǒng)的笛卡爾積交叉所需要的計(jì)算復(fù)雜度熬芜。
論文地址：https://arxiv.org/abs/2011.05625.
作者的知乎專欄：https://zhuanlan.zhihu.com/p/287898562

I. 研究背景

在CTR預(yù)估任務(wù)中福稳，特征間的交互一直是業(yè)界研究的熱點(diǎn)的圆。由于DNN以一個(gè)隱式的方式來學(xué)習(xí)輸入特征，很難單純依靠DNN來從龐大的稀疏特征集中學(xué)習(xí)到有效的特征交互季俩，因此許多工作都在特征工程中采用了了手動(dòng)特征交互酌住，F(xiàn)M, FNN, PNN, DCN和DeepFM等都從不同的方面闡述了這一點(diǎn)，感興趣的同學(xué)可以參考筆者之前的文章: 《從FM到DeepFM：淺談推薦系統(tǒng)中的模型演化》酪我。

在推薦系統(tǒng)模型的構(gòu)建中都哭，特征工程占有十分重要的地位。在海量的輸入特征中稠歉，用戶行為(user behaviors)和推薦商品(recommended item)兩者的交互可以準(zhǔn)確地建模用戶興趣怒炸，論文作者將這種交互特征統(tǒng)一命名為co-action. 如圖1所示：A和B代表模型的輸入毡代，Target可以為ctr的預(yù)估值。一般來說捏鱼，可以由DNN來學(xué)習(xí)A和B之間的關(guān)系导梆。但如果我們在輸入端就手動(dòng)將A迂烁、B進(jìn)行交互盟步，學(xué)習(xí)的難度會(huì)大大降低。

圖1

對于特征交互狰域，最基本的方式就是做笛卡爾積(Cartesian Product)兆览。在tensorflow中旬陡，這個(gè)操作就是cross column[1]. 對于特征A和B描孟，笛卡爾積將兩者組合成一個(gè)新特征(A, B)砰左；改變A或B的值缠导，就會(huì)得到一個(gè)全新的特征僻造。這種方式可以刻畫出A孩饼、B間的所有組合。在訓(xùn)練樣本充足立膛，不考慮性能的情況下宝泵，笛卡爾積是最好的特征交互方式轩娶。但笛卡爾積有兩個(gè)缺點(diǎn)：

• 樣本不足：推薦模型處理的大多都是稀疏的高維特征鳄抒，樣本空間可以到十億甚至級別，特定樣本組合的出現(xiàn)頻率很低隙券，會(huì)導(dǎo)致笛卡爾積的學(xué)習(xí)變得困難闹司；
• 存儲空間太大：假設(shè)A和B特征空間的大小是M, N游桩，笛卡爾積所需要的存儲空間就是M * N借卧，需要存儲一個(gè)龐大的參數(shù)矩陣筛峭。實(shí)際應(yīng)用中會(huì)采用hash的方式來降低參數(shù)空間影晓，但這樣又犧牲了笛卡爾積的精確度檩禾。

II. Co-Action Network

顧名思義盼产，CAN的目的在于建模不同特征之間的Co-Action戏售，可以理解為一種新的特征交互方式草穆。簡單來說，該論文實(shí)現(xiàn)了一個(gè)pluggable的CAN網(wǎng)絡(luò)單元锋喜，將待交互的兩類特征分別作為CAN網(wǎng)絡(luò)的輸入和權(quán)重跑芳，網(wǎng)絡(luò)的輸出作為特征交互的結(jié)果直颅。

2.1 Co-Action Net的結(jié)構(gòu)

圖2

圖2展示了CAN的基本結(jié)構(gòu)功偿。輸入特征可以分為用戶行為序列(user behavior sequence)械荷，候選商品(target item)，用戶畫像特征(user age 等)和其他特征痹兜。其中user sequence颤诀、target item和other feature通過embedding層后輸入到DIEN網(wǎng)絡(luò)結(jié)構(gòu)崖叫。對于CAN部分，user sequence和target item的embedding被用作CAN的輸入和權(quán)重參數(shù)屈暗，最后輸出的結(jié)果sum pooling起來养叛，與DIEN的輸出concat在一起過后面的DNN部分。下面重點(diǎn)介紹一下整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中的關(guān)鍵：Co-Action Unit.

CAN的整體實(shí)現(xiàn)邏輯還是比較簡單的陕贮。將CAN中的全連接網(wǎng)絡(luò)記為肮之，候選商品特征作為網(wǎng)絡(luò)的weight和bias卜录，而用戶行為序列特征 則是網(wǎng)絡(luò)的輸入艰毒。這里是所有unique ID的個(gè)數(shù)，即item ID的參數(shù)空間柑土；和是embedding size稽屏，且<. 在廣告系統(tǒng)中西乖，與用戶點(diǎn)擊過的商品相比，target item的個(gè)數(shù)較少薄腻，因此用來作為的參數(shù)庵楷。 由于包含了多層的參數(shù)嫁乘，因此其維度需要大于球碉，即<. 通過split和reshape操作轉(zhuǎn)化為weight和bias參數(shù)睁冬，這一過程可以表述如下：

weight展開

CAN計(jì)算過程

與其他特征交互方式相比船逮，CAN有以下幾個(gè)優(yōu)點(diǎn)：

• 相比于笛卡爾積挖胃，CAN結(jié)構(gòu)顯著減小了參數(shù)量梆惯。
  考慮兩個(gè)維度均為[N, D]的特征，其中N為unique IDs的數(shù)目凹髓，D是embedding 維度扁誓。使用笛卡爾積的參數(shù)量為蚀之，而CAN的參數(shù)量則為，T為的參數(shù)量寿谴，通常遠(yuǎn)小于N.
• 對于未出現(xiàn)的新特征組合失受，CAN有更好的泛化性，而笛卡爾積由于是一種硬編碼痪署，沒有這種能力兄旬。
  舉個(gè)例子，現(xiàn)有笛卡爾積的組合特征(A, B)宋舷；對于取值A(chǔ)=A1, B=B1和A=A1, B=B2瓢姻，對應(yīng)的笛卡爾積(A1, B1)和(A1, B2)之間是相互獨(dú)立的，無法共享A=A1這一參數(shù)幻碱。而CAN中利用DNN權(quán)重和輸入獨(dú)立的結(jié)構(gòu)收班，可以建模到上述的這種信息。
• 論文引入了一個(gè)multi-order enhancement機(jī)制來保證高階的特征交互操作社付。

2.2 Multi-order Enhancement

前述的CAN結(jié)構(gòu)只能顯示地建模一階特征交互邻耕。對于更高階的情況，可以通過高階輸入來實(shí)現(xiàn)啼辣，即

其中c是特征交互的階數(shù)鸥拧。

2.3 Multi-level Independence

論文中引入了3種做法來保證CAN學(xué)習(xí)的獨(dú)立性削解。

• Parameters Independence：necessary
  即CAN的參數(shù)（和的embedding）和主網(wǎng)絡(luò)的embedding互相獨(dú)立氛驮。
• Combination Independence: recommended
  我們知道，和是由不同的特征concat而來盏缤，如item id, category id, 等等蓖扑。假設(shè)和分別包含和個(gè)特征律杠。理想情況下柿赊，種的某個(gè)特征應(yīng)該和種的所有特征進(jìn)行交互（反之亦然），這樣才能充分地對特征交互進(jìn)行建模熬甫。但在公式(3)和(4)種可以看到，被split后分別作為不同層的參數(shù)椿肩，這樣就會(huì)有信息的丟失（笛卡爾積就沒有這個(gè)問題）郑象。作者采用的方式是將和分別擴(kuò)大和倍：
  
  
  其中是的輸入維度厂榛，這樣就可以保證所有特征都能夠顯式地在中得到交互丽惭。
• Orders Independence: optional
  對應(yīng)2.2節(jié)中的多階CAN责掏，即不同階數(shù)之間的參數(shù)是不同的。要注意的是如果采用了orders independence痰驱，式(9)中的近似公式就不成立了瞳浦。

III 實(shí)驗(yàn)結(jié)論

3.1 CAN對比其他特征交互模型

由Table 2可以看出术幔，CAN在兩個(gè)實(shí)驗(yàn)數(shù)據(jù)集上的AUC指標(biāo)均優(yōu)于PNN，NCF[2]四敞，DeepFM拔妥；除此之外，笛卡爾積(Cartesian)作為最基礎(chǔ)的特征交互手段铺厨，其結(jié)果是優(yōu)于PNN，NCF和DeepFM的赃磨。但CAN的實(shí)驗(yàn)結(jié)果甚至比笛卡爾積還要好，這里的原因我想有兩點(diǎn)：

• 如2.1節(jié)末尾介紹邻辉，采用DNN的結(jié)構(gòu)來對不同特征進(jìn)行交互腮鞍，其表達(dá)能力和泛化性比笛卡爾積更強(qiáng)；
• 如2.2節(jié)所述吱瘩，CAN可以對高階特征交互進(jìn)行建模迹缀，彌補(bǔ)了笛卡爾積的短板裹芝。

3.2 對于新特征組合的泛化性

為了驗(yàn)證CAN的泛化性，作者將test數(shù)據(jù)集中的那些在訓(xùn)練集中出現(xiàn)過的特征組合都刪除兄朋，構(gòu)造了一個(gè)冷數(shù)據(jù)測試集怜械，該測試集中所有的特征組合都是模型之前沒有見過的。實(shí)驗(yàn)結(jié)果如Table 5 所示：

可以看出峡扩，NCF和DeepFM的結(jié)果要優(yōu)于笛卡爾積教届。與Table 2中的結(jié)論相比驾霜，證明笛卡爾積的泛化性確實(shí)存在問題粪糙；同時(shí)，CAN的AUC最高城舞，也證明了CAN結(jié)構(gòu)的泛化性明顯強(qiáng)于笛卡爾積以及其他的特征交互方式。

IV 模型部署上線

筆者認(rèn)為這是本論文最精華的部分之一家夺。作者在本節(jié)中詳細(xì)論述了CAN模型在部署到阿里巴巴展示廣告系統(tǒng)時(shí)遇到的一些困難和解決方案拉馋，對復(fù)雜ctr預(yù)估模型的落地有很大的指導(dǎo)意義。

特征交互，是在原始特征的基礎(chǔ)上對特征對(feature pair)進(jìn)行額外的組合景馁，勢必會(huì)引入額外的存儲和計(jì)算開銷逗鸣。我們知道，CTR模型的大部分參數(shù)都集中在embedding部分透葛，而笛卡爾積會(huì)讓embedding大小線性增加卿樱。對于兩個(gè)維度（此處維度指unique IDs的數(shù)目）為M和N的特征，笛卡爾積需要引入一個(gè)(M x N, embedding_size)大小的embedding矩陣萨蚕；除此之外岳遥，新增的embedding也會(huì)引入更多的lookup操作，嚴(yán)重影響模型的響應(yīng)時(shí)間浩蓉，latency增大捻艳。作者提到即使采用了IDs frequency filtering（個(gè)人理解是根據(jù)ID出現(xiàn)的頻率讯泣，過濾掉一部分低頻ID來減小參數(shù)量，即低頻過濾）也無法緩解。

對于CAN模型拳锚，雖然參數(shù)大大減小霍掺，但以上問題還是會(huì)影響到模型的部署。論文中使用了6個(gè)ad側(cè)特征和15個(gè)用戶側(cè)特征進(jìn)行交互牙丽，理論上這樣會(huì)引入15 x 6 = 90個(gè)特征組合烤芦。而用戶側(cè)特征多為用戶的行為序列析校，普遍長度都超過100智玻，會(huì)帶來更大的負(fù)擔(dān)。

為了解決以上問題盖彭，論文中采用了以下方案：

• 序列截?cái)?/strong>
  顧名思義谬泌，對用戶側(cè)的特征進(jìn)行截?cái)嗦咔槐Ａ糇罱挠脩粜袨榘盥恚瑴p輕模型壓力。序列截?cái)嗍墙鉀Q此類性能問題的常規(guī)手段邻悬。這樣做會(huì)帶來20%的QPS提升父丰，同時(shí)AUC下跌0.1%，在可接受范圍內(nèi)攘烛。同時(shí)也說明坟漱，CAN帶來的特征交互收益更哄，主要集中在用戶最近的行為中成翩；很久之前的行為對模型效果影響不大。
• 減小特征組合數(shù)
  如前文所述惠拭，所有特征組合一共有90種，但這里面會(huì)包含一些重復(fù)的棒呛，或者沒有實(shí)際意義的特征組合簇秒。一般來說趋观，相同屬性的特征交互建模效果最好。因此實(shí)驗(yàn)只保留了諸如[item_id, item_click_history]编曼、[category_id, category_click_history]這類組合剩辟，刪掉了很多無用或重復(fù)的特征贩猎。
  這里將特征組合數(shù)從90減小到了48吭服，提高了30%的QPS◎蚪洌可見再智能的神經(jīng)網(wǎng)絡(luò)，也離不開手動(dòng)特征工程瓶颠。
• 矩陣計(jì)算性能優(yōu)化
  論文中重新設(shè)計(jì)了部分matrix multiplication的計(jì)算方式拟赊，獲得了QPS的進(jìn)一步提升。具體細(xì)節(jié)沒有介紹粹淋，期待開源代碼中可以看到相關(guān)實(shí)現(xiàn)吸祟。