今天給大家分享的是阿里在KDD2022上中稿的論文政冻。過往的廣告點擊率預(yù)估主要考慮廣告本身的特征温学，而忽略了相鄰展示的其他商家對其的影響，因此本文的出發(fā)點主要是廣告點擊率預(yù)估中的外部性建模崇猫。同時诅福，針對點擊率預(yù)估時由于廣告展示位置不確定所帶來的外部性多樣和不確定的問題匾委，設(shè)計了針對性的解決方案，一起來看一下氓润。

1赂乐、背景

阿里搜索廣告場景下，自然結(jié)果和廣告結(jié)果混合展示咖气。兩部分展示的item分別由自然系統(tǒng)(organic search system,OS)和廣告系統(tǒng)(search advertising system,AS)確定挨措。OS的主要目標(biāo)是優(yōu)化用戶體驗挖滤，而AS的主要目標(biāo)則是最大化平臺收入以及商家ROI。在阿里搜索場景下浅役，自然排序結(jié)果首先由OS給出斩松，然后AS再將廣告結(jié)果插入到固定的槽位中。

因此觉既，我們可以得到兩點信息惧盹，一方面，OS和AS是串行調(diào)用的瞪讼，AS進(jìn)行預(yù)估時钧椰，是可以拿到準(zhǔn)確的自然結(jié)果排序信息，另一方面符欠，廣告是固定位插入的嫡霞，而非像之前介紹的美團的CrossDQN是浮動位插入的。廣告系統(tǒng)AS整體架構(gòu)如下圖所示：

可以看到希柿，AS包含三個階段诊沪，分別是召回、預(yù)估和拍賣曾撤，本文重點關(guān)注預(yù)估部分端姚。過往的點擊率預(yù)估模型，大都只關(guān)注目標(biāo)item本身的特征盾戴，而忽略了其他同時展示的item對其的影響寄锐，這種影響我們將其稱為外部性（Externalities）。同時尖啡，即使是相同的相鄰展示商品橄仆，由于不同用戶關(guān)注的側(cè)重點不同，這種外部性影響也是不同的衅斩，例如價格之間的明顯差距更容易引起價格敏感用戶的關(guān)注盆顾。因此，本文研究的重點是CTR預(yù)估中個性化的外部性影響建模畏梆。

然而您宪，外部性建模面臨以下兩方面的挑戰(zhàn)：
1）一方面，目標(biāo)的廣告可能會被插入到任一廣告位置奠涌，插入到不同位置時宪巨，其相鄰商品是不同的，即外部性是多樣的溜畅。直接預(yù)估所有的可能情況對于系統(tǒng)的負(fù)載有巨大的影響捏卓，因此需要一種更高效的方式去建模；
2）另一方面慈格，盡管自然結(jié)果的排序可以提前得知怠晴，但是廣告的排序是未確定的遥金，如果忽略廣告結(jié)果，會導(dǎo)致外部性影響考慮不完整蒜田，因此需要對廣告最終的展示順序做一定的模擬用于計算更準(zhǔn)確的外部性信息稿械。

為了解決以上兩方面的挑戰(zhàn)，論文在CTR預(yù)估模型中冲粤，設(shè)計了外部性計算模塊美莫，稱為EXternality TRansformer（簡稱EXTR），一起來看一下梯捕。

2茂嗓、EXTR介紹

EXTR的整體結(jié)構(gòu)如下圖所示：

可以看到，EXTR主要包含兩部分科阎，上下文交互模塊Context Interaction Module和外部性提取模塊Externality Extraction Module。其中忿族，上下文交互模塊主要用來對外部item的相互影響進(jìn)行提取锣笨，外部性抽取模塊則用于同時建模廣告在不同位置時的外部性影響。

2.1 上下文交互模塊

上下文交互模塊主要用來對外部item的相互影響進(jìn)行提取道批，外部item包括所有的自然結(jié)果以及除待預(yù)估的目標(biāo)廣告以外其他所有的廣告結(jié)果错英。考慮到用戶自上往下的順序瀏覽習(xí)慣隆豹，建模順序信息是必要的椭岩。因此論文采用Transformer的結(jié)構(gòu)，同時輸入信息中包括商家本身的信息以及ranking encoding璃赡。

由于自然結(jié)果的順序已知判哥，其ranking encoding也是確定的，但廣告結(jié)果的順序并不知道碉考，因此論文進(jìn)一步提出了Potential Allocation Generator (PAG)來對目標(biāo)廣告以外的其他廣告的ranking encodings進(jìn)行預(yù)估塌计，其結(jié)構(gòu)如下：

從圖中可以看出，廣告的ranking encoding是自然結(jié)果ranking encodings的加權(quán)和：

權(quán)重通過如下公式計算得出：

其中侯谁，N是自然結(jié)果的數(shù)量锌仅。為了提升權(quán)重計算的準(zhǔn)確度，論文引入了如下的權(quán)重監(jiān)督信號：

其中k是真實展示結(jié)果中墙贱，廣告j前面的自然結(jié)果的數(shù)量热芹，如果廣告j實際沒有曝光，則K=N+1惨撇∫僚В可以看到，如果自然結(jié)果的順序和廣告j越靠近串纺，則監(jiān)督信號的值越大丽旅，越遠(yuǎn)則值越小椰棘，并通過KL散度來計算對應(yīng)的輔助損失：

2.2 外部性提取模塊

外部性提取模塊目標(biāo)是同時建模目標(biāo)廣告在不同的廣告插入位置時的外部性情況，同樣使用Transformer進(jìn)行建模榄笙，但使用的是target-attention的方式邪狞。結(jié)構(gòu)如下圖所示：

為了目標(biāo)廣告建模所有位置下的外部性情況，transformer的Q為目標(biāo)廣告特征向量和slot encoding的拼接茅撞，K和V則是上下文交互模塊對應(yīng)的輸出：

而在Attention權(quán)重計算上帆卓，引入用戶特征，充分考慮用戶對于不同屬性的偏好程度：

經(jīng)過外部性提取模塊米丘，便得到目標(biāo)廣告插入到不同槽位時對應(yīng)的外部性信息剑令。最后經(jīng)過ctr預(yù)估部分，得到每個位置下的點擊率預(yù)估值拄查。

3吁津、實驗結(jié)果

好了，最后來看一下實驗部分堕扶，EXTR取得了比所有BaseLine更好的效果（但沒有對比美團的深度位置交互網(wǎng)絡(luò)DPIN）：

4碍脏、總結(jié)

外部性建模也逐漸吸引了越來越多的關(guān)注，如阿里的RACP稍算，京東的CIM典尾，美團的DPIN（這里的DPIN指Deep Page-level Interest Network，并非上文說的深度位置建模的DPIN）等糊探。在精排階段钾埂，由于無法獲取準(zhǔn)確的上下文信息，往往需要對外部性進(jìn)行一定的模擬科平，本文的方法也是對上下文模擬提供了一定的借鑒思路褥紫。但論文的場景過于理想化了，如自然結(jié)果順序已知瞪慧，廣告位按照固定位插入等等故源。一方面，出于耗時的考慮汞贸，自然結(jié)果和廣告結(jié)果的處理往往是并行的兩套系統(tǒng)绳军，串行對于耗時的要求更為嚴(yán)格，另一方面固定位廣告插入并非全局最優(yōu)矢腻，浮動位的方案成為當(dāng)前研究的主要趨勢门驾。因此在實際應(yīng)用中，可以借鑒本文設(shè)計更加適合自身的解決方案多柑。

好了奶是，本文就介紹到這里，感興趣的同學(xué)可以閱讀原文～