微信公眾號(hào)廣告點(diǎn)擊率預(yù)估效果優(yōu)化_騰訊大數(shù)據(jù)
http://data.qq.com/article?id=2914

//
2.4廣告與文章內(nèi)容的相似度

由于微信公眾號(hào)位置的流量媒體的特殊性，微信公眾號(hào)廣告位有豐富的媒體信息。同時(shí)廣告內(nèi)容也有文本描述信息糕殉。廣告與文章的上下文內(nèi)容相關(guān)一方面能提高用戶的閱讀體驗(yàn)胁编，另一方面對(duì)用戶是否點(diǎn)擊廣告也有較大的影響[3]。我們嘗試將公眾號(hào)推送文章與廣告內(nèi)容的相似度作為特征加入pCTR模型酵幕，以期能取得提高用戶體驗(yàn)和投放效果的作用，如圖4。

將公眾號(hào)推送文章與廣告內(nèi)容的相似度作為特征加入pCTR模型嘲碧，以期能取得提高用戶體驗(yàn)和投放效果的作用，如圖4.png

//

承載推薦系統(tǒng)的系統(tǒng)架構(gòu)如圖5.png

//
總結(jié)展望篇

目前微信公眾號(hào)位置的效果優(yōu)化方向的選擇依然較多父阻，特征方面愈涩，除了繼續(xù)進(jìn)一步精細(xì)化用分群特征，挖掘特殊人群加矛，探索上下文特征外履婉，還可以嘗試GBDT+LR[1]，GLASSO(Group LASSO)[7]等方法進(jìn)行自動(dòng)化的特征選擇斟览；算法方面毁腿，DNN算法仍有很多可挖掘和優(yōu)化的地方，通過(guò)進(jìn)一步優(yōu)化參數(shù)和挖掘并行計(jì)算潛力苛茂，有望進(jìn)一步提升效果已烤；系統(tǒng)方面，框架的穩(wěn)定性和可靠性的提高將有利于更多算法思想的落地實(shí)現(xiàn)味悄。

**1.背景 **

點(diǎn)擊率預(yù)估（pCTR）是廣告投放過(guò)程中的一個(gè)重要環(huán)節(jié)草戈，精準(zhǔn)的點(diǎn)擊率預(yù)估對(duì)于廣告投放系統(tǒng)收益最大化具有重要意義。pCTR的優(yōu)化主要有算法優(yōu)化侍瑟，系統(tǒng)改進(jìn)唐片，特征探索等幾種途徑。2015年下半年微信公眾號(hào)位置涨颜，在引入了多種新特征费韭，優(yōu)化已有特征的準(zhǔn)確度和覆蓋率，并使用深度學(xué)習(xí)的算法框架后庭瑰，效果取得了明顯提升星持。A/B test結(jié)果顯示，2015下半年微信公眾號(hào)位置弹灭，CTR+ECPM有12%以上的提升督暂。在此將最近微信公眾號(hào)pCTR特征優(yōu)化的一些經(jīng)歷和想法記錄下來(lái)揪垄，歡迎大家討論。

特征探索篇

一般而言逻翁，廣告推薦場(chǎng)景中的特征包括：用戶側(cè)特征（包括用戶的年齡饥努、性別、地域等）八回，廣告?zhèn)忍卣鳎◤V告所屬的類別等）酷愧，廣告位側(cè)特征（廣告位上下文等）。2015年下半年在微信公眾號(hào)位置缠诅，做了較多特征方面的嘗試溶浴，其中包括引入微信商業(yè)興趣、基于主題模型的訂閱興趣管引、提高了反饋特征和用戶畫(huà)像的準(zhǔn)確度和覆蓋率等士败，這些嘗試都取得了較明顯的效果。本節(jié)先簡(jiǎn)要敘述實(shí)驗(yàn)前的特征選擇和實(shí)驗(yàn)后的效果分析的一般方法汉匙，再以基于主題模型的訂閱興趣特征和廣告文本相關(guān)性特征為例拱烁，列舉說(shuō)明2015下半年公眾號(hào)位置的兩個(gè)重要特征的構(gòu)建。
2.1 特征的選擇方法特征選擇按照先計(jì)算信息增益噩翠，再計(jì)算離線AUC戏自，并綜合[1][2]所列的特征選擇方法，選出有效特征加入模型進(jìn)行實(shí)驗(yàn)伤锚。特征選擇遵循先粗選再細(xì)選的方法擅笔。

信息增益：信息增益反應(yīng)的是特征對(duì)點(diǎn)擊行為的區(qū)分度，計(jì)算公式為：

H(y)表示目標(biāo)y的信息熵屯援，H(y|f)表示引入了特征f后的信息熵通過(guò)計(jì)算特征f的IG（即信息熵的增加量）來(lái)判斷對(duì)點(diǎn)擊率的區(qū)分性猛们，從而確定是否加入點(diǎn)擊率預(yù)估模型當(dāng)中去。信息增益存在的一個(gè)問(wèn)題是無(wú)法體現(xiàn)對(duì)廣告的區(qū)分性狞洋，這里我們使用了二階信息增益：設(shè)?為某特征弯淘，ad為某廣告践惑，y為目標(biāo)值(y=-1,1)即代表用戶點(diǎn)擊或者不點(diǎn)擊廣告楣号。

此處IG可理解為針對(duì)某確定的廣告，某特征的信息增益怯伊。也即將廣告出現(xiàn)的概率作為先驗(yàn)信息引入借嗽，計(jì)算某特征區(qū)分廣告的信息增益态鳖。引入先驗(yàn)信息后，針對(duì)某廣告的點(diǎn)擊行為的后驗(yàn)概率計(jì)算如下：

前向特征選擇：關(guān)于前向特征選擇恶导，已經(jīng)文章進(jìn)行了專門(mén)的詳細(xì)論述[2]浆竭，在此不展開(kāi)介紹。我們?cè)谑褂迷摲椒〞r(shí)，是在原有特征集合的基礎(chǔ)上從候選特征集合中逐步挑選特征添加入當(dāng)前模型邦泄。

2.2特征效果的分析

特征實(shí)驗(yàn)A/B test一般會(huì)進(jìn)行一周左右的時(shí)間删窒，將實(shí)驗(yàn)時(shí)間窗口調(diào)為一周是因?yàn)橐恢苤畠?nèi)不同天用戶的行為可能有變化。積累到一周數(shù)據(jù)后顺囊，對(duì)實(shí)驗(yàn)效果進(jìn)行分析易稠，找出實(shí)驗(yàn)效果有提升或者無(wú)提升甚至變差的原因，為以后的優(yōu)化做準(zhǔn)備包蓝。以用戶特征為例，在上線用戶側(cè)特征之后企量，我們將會(huì)著重觀察在新特征劃分的各個(gè)用戶群體上訂單投放情況的變化测萎。以用戶興趣為例，該興趣將用戶分為了“汽車”届巩、“服飾”硅瞧、“數(shù)碼產(chǎn)品”等近百個(gè)用戶群體，pCTR模型在加入這個(gè)特征之后恕汇，在“服飾”興趣群體上投放出了更多的女裝訂單腕唧，從而使得這個(gè)人群的CTR有較大提高,如圖2所示。

2.3基于主題模型的用戶訂閱興趣

用戶在點(diǎn)擊、閱讀湿蛔、轉(zhuǎn)發(fā)微信公眾號(hào)圖文信息的行為隱含著大量的信息膀曾，能夠反映出用戶的興趣，挖掘出這些隱含信息阳啥，構(gòu)建出一套適用于廣告投放的興趣體系對(duì)于推薦算法無(wú)疑是十分有利的添谊。

圖 3 基于主題模型的公眾號(hào)聚類興趣標(biāo)簽的產(chǎn)生方式示意圖，公眾號(hào)的聚類主要由訂閱關(guān)系來(lái)產(chǎn)生

我們嘗試了一種新的訂閱興趣體系的方法：基于主題模型的興趣人群挖掘方法察迟。對(duì)于N個(gè)用戶訂閱M個(gè)公眾號(hào)的場(chǎng)景斩狱，我們采用類似LDA的方法，從中抽取出k個(gè)隱含的訂閱興趣卷拘。其效果如圖3所示喊废，對(duì)于一個(gè)N*M的user-item矩陣，有相似粉絲用戶（user）的公眾號(hào)（相當(dāng)于item）會(huì)歸為相似的topic栗弟，訂閱了屬于某類topic公眾號(hào)的用戶會(huì)被賦予相應(yīng)的興趣權(quán)重（圖3中省略了權(quán)重部分）污筷。A/B test結(jié)果顯示，這種主題模型的興趣挖掘方法在廣告推薦場(chǎng)景比較有效。

2.4廣告與文章內(nèi)容的相似度

由于微信公眾號(hào)位置的流量媒體的特殊性陆蟆，微信公眾號(hào)廣告位有豐富的媒體信息。同時(shí)廣告內(nèi)容也有文本描述信息惋增。廣告與文章的上下文內(nèi)容相關(guān)一方面能提高用戶的閱讀體驗(yàn)叠殷，另一方面對(duì)用戶是否點(diǎn)擊廣告也有較大的影響[3]。我們嘗試將公眾號(hào)推送文章與廣告內(nèi)容的相似度作為特征加入pCTR模型诈皿，以期能取得提高用戶體驗(yàn)和投放效果的作用林束，如圖4。

圖 4 廣告與文章內(nèi)容相似度加入pCTR模型提高投放效果和閱讀體驗(yàn)

算法優(yōu)化篇

CMU的李沐在2014年的博文中提到稽亏，“線性模型+特征工程”的機(jī)器學(xué)習(xí)方法壶冒，隨著數(shù)據(jù)量的增長(zhǎng)和特征的不斷挖掘會(huì)面臨瓶頸的到來(lái)[4]。大數(shù)據(jù)時(shí)代截歉，我們需要更好的自動(dòng)學(xué)習(xí)的算法胖腾。深度學(xué)習(xí)算法，能更好地抽取特征中的信息瘪松，更好的發(fā)揮特征的作用咸作。在探索特征的同時(shí)，我們也在向復(fù)雜的非線性模型轉(zhuǎn)向宵睦。深度學(xué)習(xí)是我們嘗試的方向之一记罚。DNN（深度神經(jīng)網(wǎng)絡(luò)）有多種開(kāi)源工具 [5-6]，在此不再敘述DNN的原理與實(shí)現(xiàn)壳嚎。在微信公眾號(hào)位置毫胜，DNN算法能較好的實(shí)現(xiàn)特征數(shù)據(jù)的端到端學(xué)習(xí)，一定程度上減低了特征選擇的工作量诬辈。

系統(tǒng)架構(gòu)篇

全流程實(shí)時(shí)計(jì)算酵使，是承載算法和數(shù)據(jù)的框架。框架的優(yōu)化以及重構(gòu)焙糟，雖然不能直接帶來(lái)效果提升口渔，但是更加可靠的系統(tǒng)和框架使得算法運(yùn)行更加穩(wěn)定更加易于維護(hù)。目前我們承載推薦系統(tǒng)的系統(tǒng)架構(gòu)如圖5穿撮。

總結(jié)展望篇

目前微信公眾號(hào)位置的效果優(yōu)化方向的選擇依然較多缺脉，特征方面，除了繼續(xù)進(jìn)一步精細(xì)化用分群特征悦穿，挖掘特殊人群攻礼，探索上下文特征外，還可以嘗試GBDT+LR[1]栗柒，GLASSO(Group LASSO)[7]等方法進(jìn)行自動(dòng)化的特征選擇礁扮；算法方面，DNN算法仍有很多可挖掘和優(yōu)化的地方，通過(guò)進(jìn)一步優(yōu)化參數(shù)和挖掘并行計(jì)算潛力太伊，有望進(jìn)一步提升效果雇锡；系統(tǒng)方面，框架的穩(wěn)定性和可靠性的提高將有利于更多算法思想的落地實(shí)現(xiàn)僚焦。

參考文獻(xiàn)

[1] CTR預(yù)估中GBDT與LR融合方案锰提，騰訊大數(shù)據(jù)，2015-08-27

[2]Singh S, Kubica J, Larsen S, et al. Parallel Large ScaleFeature Selection for Logistic Regression[C]//SDM. 2009: 1172-1183.

[3] 《計(jì)算廣告學(xué)》芳悲，http://study.163.com/course/introduction.htm?courseId=321007#/courseDetail

[4] 大數(shù)據(jù)：“人工特征工程+線性模型”的盡頭, http://www.36dsj.com/archives/15621

[5] http://torch.ch/

[6] http://caffe.berkeleyvision.org

[7] A note on the group lasso and a sparse group Lasso, http://statweb.stanford.edu/~tibs/ftp/sparse-grlasso.pdf