簡介
推薦系統(tǒng)通常分為召回和排序兩個(gè)步驟
召回：粗排選取合適的內(nèi)容，可以通過協(xié)同過濾果善，興趣tag诊笤，內(nèi)容最熱等方式
排序（CTR預(yù)估）：使用一個(gè)點(diǎn)擊率預(yù)估模型（輸入用戶特征，內(nèi)容特征巾陕，用戶內(nèi)容交叉特征等）對(duì)召回出來的內(nèi)容進(jìn)行排序
Deep & Wide
LR是一個(gè)簡單的線性模型讨跟，其不具備學(xué)習(xí)高階特征的能力
而通過DNN+embedding可以較好的學(xué)習(xí)到更抽象的特征達(dá)到泛化的效果
在CTR預(yù)估任務(wù)中結(jié)合LR和DNN實(shí)現(xiàn)記憶+泛化的效果
實(shí)際效果
DeepFM
2way-FM就是在線性回歸的基礎(chǔ)上加一個(gè)特征交叉系數(shù)矩陣w，意在自動(dòng)學(xué)習(xí)組合特征
實(shí)際上會(huì)對(duì)矩陣w做分解鄙煤，變成向量的乘積晾匠，這樣可以提高效率
實(shí)際上還有一種叫FFM的方法針對(duì)不同特征域有單的向量v
所以結(jié)合FM和DNN就能得到一個(gè)新的CTR模型DeepFM
FM和DNN共享了embedding層
實(shí)際效果
DNN for YouTube
借鑒了Word2Vec的思想，使用歷史行為預(yù)測下一個(gè)點(diǎn)擊
https://github.com/PaddlePaddle/models/tree/develop/legacy/youtube_recall
視頻向量即softmax層的W參數(shù)
本質(zhì)上就是一個(gè)類似于CBOW的多分類問題
DSSM
深度語義匹配模型
DSSM最大的賣點(diǎn)在檢索場景下使用點(diǎn)擊數(shù)據(jù)來訓(xùn)練語義層次的匹配
Q是用戶的查詢
D是文檔的特征
Word Hashing 是一個(gè)解決字典太大的trick參考
http://www.mamicode.com/info-detail-1909443.html
在推薦場景下Q可以理解為用戶特征
而D為內(nèi)容的特征
GBDT + LR
因?yàn)闆Q策樹可以學(xué)習(xí)高階特征
所以使用GBDT構(gòu)造一個(gè)二分類問題進(jìn)行特征預(yù)處理
然后把每顆子樹的輸出（根據(jù)最后的葉節(jié)點(diǎn)位置進(jìn)行one hot編碼）交給LR進(jìn)行 預(yù)測
GBDT 二分類
把目標(biāo)損失函數(shù)定義為交叉熵?fù)p失函數(shù)
然后利用sigmoid預(yù)測概率值
Deep & Cross
DCN模型的輸入包括了sparse特征梯刚，dense特征, embedding特征凉馆，而模型訓(xùn)練階段分成兩個(gè)部分，右邊部分是傳統(tǒng)的DNN模型的deep層亡资，其中每個(gè)deep層后都接入relu激活層, 把原始特征通過多個(gè)隱層使得特征變得更加高階澜共，而左邊的cross layer通過一個(gè)遞歸的特征組合公式
每一層的特征都由其上一層的特征進(jìn)行交叉組合，并把上一層的原始特征重新加回來锥腻。這樣既能做特征組合嗦董，自動(dòng)生成交叉組合特征，又能保留低階原始特征瘦黑，隨著cross層的增加京革，是可以生成任意高階的交叉組合特征（而DeepFM模型只有2階的交叉組合特征）的，且在此過程中沒有引入更多的參數(shù)幸斥，有效控制了模型復(fù)雜度匹摇。最后把cross層的輸出結(jié)果和deep層的輸出結(jié)果組合到一塊來進(jìn)行LR模型訓(xùn)練，在我們的業(yè)務(wù)場景下睡毒，就是預(yù)估user_id在<catid, item>pair下的點(diǎn)擊概率来惧。
