自己說
這個是在facebook中的gbdt+lr這篇文章中提到的bopr模型久橙,據(jù)說是微軟在做內(nèi)部比賽的時候提出的模型茵肃。
經(jīng)過這篇文章律适,我才知道什么是click model辐烂,之前做click model局限與在廣告預(yù)估,現(xiàn)在直到click model主要就是為了給用戶建模捂贿,有很多相關(guān)模型纠修。
摘要
這個模型對參數(shù)進行高斯分布假設(shè)
介紹
本文作了三大貢獻。 首先厂僧,它描述了贊助搜索應(yīng)用場景扣草,CTR預(yù)測的關(guān)鍵作用,以及從任務(wù)導(dǎo)出的特定約束,包括準確性德召,校準白魂,可擴展性,動態(tài)和探索上岗。?
本文描述了一個基于高斯函數(shù)假設(shè)的廣義線性模型福荸,可分解的參數(shù)性的、高斯函數(shù)分布肴掷,利用信息傳遞方法提供閉解
其次敬锐,它描述了一種用于二進制預(yù)測的新貝葉斯在線學(xué)習(xí)算法,后來被稱為adPredictor呆瞻。 該算法基于具有概率(累積高斯)鏈接函數(shù)的廣義線性模型台夺,特征權(quán)重的因式分解高斯置信分布,并計算近似后向使用消息傳遞痴脾,提供簡單的閉式更新方程颤介,具有自動特征 - 明智的學(xué)習(xí)率適應(yīng)。?
第三赞赖,我們討論我們用于使adPredictor在Bing的生產(chǎn)環(huán)境中工作的技術(shù)滚朵,現(xiàn)在每年都會以100%的贊助商搜索流量來展示廣告展示。
算法細節(jié)
輸入是離散變量前域,做one-hot encoding辕近,label是+-1,輸出是點擊概率匿垄。
這個算法對每個特征的系數(shù)w做了貝葉斯假設(shè)移宅,假設(shè)其符合高斯分布:
并且,該模型認為:
將其表示成概率圖模型椿疗,就是這樣:
其中漏峰,包括了兩個隱變量s,t,每個隱變量表示對輸入的一種變化,首先f指的是w的先驗分布变丧,g指的是在當(dāng)前參數(shù)下芽狗,w與x的乘積分布;h指的是對當(dāng)前分布加上高斯噪音之后的分布痒蓬,然后q指的是通過一個閾值判斷當(dāng)前點擊概率分布童擎。
該模型的訓(xùn)練過程如下:
這個過程類似于SGD」ド梗可以做到在線學(xué)習(xí)顾复。