微信公眾號(hào)廣告點(diǎn)擊率預(yù)估效果優(yōu)化_騰訊大數(shù)據(jù)
http://data.qq.com/article?id=2914
//
2.4廣告與文章內(nèi)容的相似度
由于微信公眾號(hào)位置的流量媒體的特殊性,微信公眾號(hào)廣告位有豐富的媒體信息。同時(shí)廣告內(nèi)容也有文本描述信息糕殉。廣告與文章的上下文內(nèi)容相關(guān)一方面能提高用戶的閱讀體驗(yàn)胁编,另一方面對(duì)用戶是否點(diǎn)擊廣告也有較大的影響[3]。我們嘗試將公眾號(hào)推送文章與廣告內(nèi)容的相似度作為特征加入pCTR模型酵幕,以期能取得提高用戶體驗(yàn)和投放效果的作用,如圖4。
//
//
總結(jié)展望篇
目前微信公眾號(hào)位置的效果優(yōu)化方向的選擇依然較多父阻,特征方面愈涩,除了繼續(xù)進(jìn)一步精細(xì)化用分群特征,挖掘特殊人群加矛,探索上下文特征外履婉,還可以嘗試GBDT+LR[1],GLASSO(Group LASSO)[7]等方法進(jìn)行自動(dòng)化的特征選擇斟览;算法方面毁腿,DNN算法仍有很多可挖掘和優(yōu)化的地方,通過(guò)進(jìn)一步優(yōu)化參數(shù)和挖掘并行計(jì)算潛力苛茂,有望進(jìn)一步提升效果已烤;系統(tǒng)方面,框架的穩(wěn)定性和可靠性的提高將有利于更多算法思想的落地實(shí)現(xiàn)味悄。
**1.背景 **
點(diǎn)擊率預(yù)估(pCTR)是廣告投放過(guò)程中的一個(gè)重要環(huán)節(jié)草戈,精準(zhǔn)的點(diǎn)擊率預(yù)估對(duì)于廣告投放系統(tǒng)收益最大化具有重要意義。pCTR的優(yōu)化主要有算法優(yōu)化侍瑟,系統(tǒng)改進(jìn)唐片,特征探索等幾種途徑。2015年下半年微信公眾號(hào)位置涨颜,在引入了多種新特征费韭,優(yōu)化已有特征的準(zhǔn)確度和覆蓋率,并使用深度學(xué)習(xí)的算法框架后庭瑰,效果取得了明顯提升星持。A/B test結(jié)果顯示,2015下半年微信公眾號(hào)位置弹灭,CTR+ECPM有12%以上的提升督暂。在此將最近微信公眾號(hào)pCTR特征優(yōu)化的一些經(jīng)歷和想法記錄下來(lái)揪垄,歡迎大家討論。
特征探索篇
一般而言逻翁,廣告推薦場(chǎng)景中的特征包括:用戶側(cè)特征(包括用戶的年齡饥努、性別、地域等)八回,廣告?zhèn)忍卣鳎◤V告所屬的類別等)酷愧,廣告位側(cè)特征(廣告位上下文等)。2015年下半年在微信公眾號(hào)位置缠诅,做了較多特征方面的嘗試溶浴,其中包括引入微信商業(yè)興趣、基于主題模型的訂閱興趣管引、提高了反饋特征和用戶畫(huà)像的準(zhǔn)確度和覆蓋率等士败,這些嘗試都取得了較明顯的效果。本節(jié)先簡(jiǎn)要敘述實(shí)驗(yàn)前的特征選擇和實(shí)驗(yàn)后的效果分析的一般方法汉匙,再以基于主題模型的訂閱興趣特征和廣告文本相關(guān)性特征為例拱烁,列舉說(shuō)明2015下半年公眾號(hào)位置的兩個(gè)重要特征的構(gòu)建。
2.1 特征的選擇方法特征選擇按照先計(jì)算信息增益噩翠,再計(jì)算離線AUC戏自,并綜合[1][2]所列的特征選擇方法,選出有效特征加入模型進(jìn)行實(shí)驗(yàn)伤锚。特征選擇遵循先粗選再細(xì)選的方法擅笔。
信息增益:信息增益反應(yīng)的是特征對(duì)點(diǎn)擊行為的區(qū)分度,計(jì)算公式為:
H(y)表示目標(biāo)y的信息熵屯援,H(y|f)表示引入了特征f后的信息熵通過(guò)計(jì)算特征f的IG(即信息熵的增加量)來(lái)判斷對(duì)點(diǎn)擊率的區(qū)分性猛们,從而確定是否加入點(diǎn)擊率預(yù)估模型當(dāng)中去。信息增益存在的一個(gè)問(wèn)題是無(wú)法體現(xiàn)對(duì)廣告的區(qū)分性狞洋,這里我們使用了二階信息增益:設(shè)?為某特征弯淘,ad為某廣告践惑,y為目標(biāo)值(y=-1,1)即代表用戶點(diǎn)擊或者不點(diǎn)擊廣告楣号。
此處IG可理解為針對(duì)某確定的廣告,某特征的信息增益怯伊。也即將廣告出現(xiàn)的概率作為先驗(yàn)信息引入借嗽,計(jì)算某特征區(qū)分廣告的信息增益态鳖。引入先驗(yàn)信息后,針對(duì)某廣告的點(diǎn)擊行為的后驗(yàn)概率計(jì)算如下:
前向特征選擇:關(guān)于前向特征選擇恶导,已經(jīng)文章進(jìn)行了專門(mén)的詳細(xì)論述[2]浆竭,在此不展開(kāi)介紹。我們?cè)谑褂迷摲椒〞r(shí),是在原有特征集合的基礎(chǔ)上從候選特征集合中逐步挑選特征添加入當(dāng)前模型邦泄。
2.2特征效果的分析
特征實(shí)驗(yàn)A/B test一般會(huì)進(jìn)行一周左右的時(shí)間删窒,將實(shí)驗(yàn)時(shí)間窗口調(diào)為一周是因?yàn)橐恢苤畠?nèi)不同天用戶的行為可能有變化。積累到一周數(shù)據(jù)后顺囊,對(duì)實(shí)驗(yàn)效果進(jìn)行分析易稠,找出實(shí)驗(yàn)效果有提升或者無(wú)提升甚至變差的原因,為以后的優(yōu)化做準(zhǔn)備包蓝。以用戶特征為例,在上線用戶側(cè)特征之后企量,我們將會(huì)著重觀察在新特征劃分的各個(gè)用戶群體上訂單投放情況的變化测萎。以用戶興趣為例,該興趣將用戶分為了“汽車”届巩、“服飾”硅瞧、“數(shù)碼產(chǎn)品”等近百個(gè)用戶群體,pCTR模型在加入這個(gè)特征之后恕汇,在“服飾”興趣群體上投放出了更多的女裝訂單腕唧,從而使得這個(gè)人群的CTR有較大提高,如圖2所示。
圖 2 加入了用戶興趣之后A/B test中“服飾”人群上的top訂單有比較大的變化瘾英,實(shí)驗(yàn)組的top1“女裝絲襪”在對(duì)照組沒(méi)有進(jìn)top10枣接。其余幾個(gè)女裝訂單在實(shí)驗(yàn)組的曝光也高于對(duì)照組。136是實(shí)驗(yàn)算法缺谴,137是對(duì)照算法但惶。
2.3基于主題模型的用戶訂閱興趣
用戶在點(diǎn)擊、閱讀湿蛔、轉(zhuǎn)發(fā)微信公眾號(hào)圖文信息的行為隱含著大量的信息膀曾,能夠反映出用戶的興趣,挖掘出這些隱含信息阳啥,構(gòu)建出一套適用于廣告投放的興趣體系對(duì)于推薦算法無(wú)疑是十分有利的添谊。
圖 3 基于主題模型的公眾號(hào)聚類興趣標(biāo)簽的產(chǎn)生方式示意圖,公眾號(hào)的聚類主要由訂閱關(guān)系來(lái)產(chǎn)生
我們嘗試了一種新的訂閱興趣體系的方法:基于主題模型的興趣人群挖掘方法察迟。對(duì)于N個(gè)用戶訂閱M個(gè)公眾號(hào)的場(chǎng)景斩狱,我們采用類似LDA的方法,從中抽取出k個(gè)隱含的訂閱興趣卷拘。其效果如圖3所示喊废,對(duì)于一個(gè)N*M的user-item矩陣,有相似粉絲用戶(user)的公眾號(hào)(相當(dāng)于item)會(huì)歸為相似的topic栗弟,訂閱了屬于某類topic公眾號(hào)的用戶會(huì)被賦予相應(yīng)的興趣權(quán)重(圖3中省略了權(quán)重部分)污筷。A/B test結(jié)果顯示,這種主題模型的興趣挖掘方法在廣告推薦場(chǎng)景比較有效。
2.4廣告與文章內(nèi)容的相似度
由于微信公眾號(hào)位置的流量媒體的特殊性陆蟆,微信公眾號(hào)廣告位有豐富的媒體信息。同時(shí)廣告內(nèi)容也有文本描述信息惋增。廣告與文章的上下文內(nèi)容相關(guān)一方面能提高用戶的閱讀體驗(yàn)叠殷,另一方面對(duì)用戶是否點(diǎn)擊廣告也有較大的影響[3]。我們嘗試將公眾號(hào)推送文章與廣告內(nèi)容的相似度作為特征加入pCTR模型诈皿,以期能取得提高用戶體驗(yàn)和投放效果的作用林束,如圖4。
圖 4 廣告與文章內(nèi)容相似度加入pCTR模型提高投放效果和閱讀體驗(yàn)
算法優(yōu)化篇
CMU的李沐在2014年的博文中提到稽亏,“線性模型+特征工程”的機(jī)器學(xué)習(xí)方法壶冒,隨著數(shù)據(jù)量的增長(zhǎng)和特征的不斷挖掘會(huì)面臨瓶頸的到來(lái)[4]。大數(shù)據(jù)時(shí)代截歉,我們需要更好的自動(dòng)學(xué)習(xí)的算法胖腾。深度學(xué)習(xí)算法,能更好地抽取特征中的信息瘪松,更好的發(fā)揮特征的作用咸作。在探索特征的同時(shí),我們也在向復(fù)雜的非線性模型轉(zhuǎn)向宵睦。深度學(xué)習(xí)是我們嘗試的方向之一记罚。DNN(深度神經(jīng)網(wǎng)絡(luò))有多種開(kāi)源工具 [5-6],在此不再敘述DNN的原理與實(shí)現(xiàn)壳嚎。在微信公眾號(hào)位置毫胜,DNN算法能較好的實(shí)現(xiàn)特征數(shù)據(jù)的端到端學(xué)習(xí),一定程度上減低了特征選擇的工作量诬辈。
系統(tǒng)架構(gòu)篇
全流程實(shí)時(shí)計(jì)算酵使,是承載算法和數(shù)據(jù)的框架。框架的優(yōu)化以及重構(gòu)焙糟,雖然不能直接帶來(lái)效果提升口渔,但是更加可靠的系統(tǒng)和框架使得算法運(yùn)行更加穩(wěn)定更加易于維護(hù)。目前我們承載推薦系統(tǒng)的系統(tǒng)架構(gòu)如圖5穿撮。
總結(jié)展望篇
目前微信公眾號(hào)位置的效果優(yōu)化方向的選擇依然較多缺脉,特征方面,除了繼續(xù)進(jìn)一步精細(xì)化用分群特征悦穿,挖掘特殊人群攻礼,探索上下文特征外,還可以嘗試GBDT+LR[1]栗柒,GLASSO(Group LASSO)[7]等方法進(jìn)行自動(dòng)化的特征選擇礁扮;算法方面,DNN算法仍有很多可挖掘和優(yōu)化的地方,通過(guò)進(jìn)一步優(yōu)化參數(shù)和挖掘并行計(jì)算潛力太伊,有望進(jìn)一步提升效果雇锡;系統(tǒng)方面,框架的穩(wěn)定性和可靠性的提高將有利于更多算法思想的落地實(shí)現(xiàn)僚焦。
參考文獻(xiàn)
[1] CTR預(yù)估中GBDT與LR融合方案锰提,騰訊大數(shù)據(jù),2015-08-27
[2]Singh S, Kubica J, Larsen S, et al. Parallel Large ScaleFeature Selection for Logistic Regression[C]//SDM. 2009: 1172-1183.
[3] 《計(jì)算廣告學(xué)》芳悲,http://study.163.com/course/introduction.htm?courseId=321007#/courseDetail
[4] 大數(shù)據(jù):“人工特征工程+線性模型”的盡頭, http://www.36dsj.com/archives/15621
[5] http://torch.ch/
[6] http://caffe.berkeleyvision.org
[7] A note on the group lasso and a sparse group Lasso, http://statweb.stanford.edu/~tibs/ftp/sparse-grlasso.pdf