推薦系統(tǒng)遇上深度學(xué)習(xí)(十八)--探秘阿里之深度興趣網(wǎng)絡(luò)(DIN)淺析及實(shí)現(xiàn)
常見(jiàn)ctr預(yù)估算法
LR趋翻，F(xiàn)M砌左，wide&deep淆两，DeepFm住闯，DeepCross瓜浸。一般思路是:通過(guò)embedding 層，將高維離散特征轉(zhuǎn)換成固定長(zhǎng)度的連續(xù)特征比原，然后經(jīng)過(guò)多個(gè)全連接層插佛，最后通過(guò)一個(gè)sigmoid函數(shù)轉(zhuǎn)成0-1值，表示點(diǎn)擊概率
DIN動(dòng)機(jī)
1.多樣性
2.局部激活
特征
1.用戶特征(one-hot)：性別量窘，年齡等
2.用戶行為特征(multi-hot)：歷史商品序列雇寇，歷史店鋪序列，歷史類目序列等
3.廣告特征(one-hot蚌铜，這里指的就是item)：item id锨侯，shop id，cate id等
4.上下文特征(one-hot)：pid冬殃，time
模型結(jié)構(gòu)
Va是item的embedding 向量囚痴，Vi表示第i個(gè)用戶行為特征的embedding向量。DIN的思想就是在Va和Vi之間加了一層權(quán)重审葬，不同的i有不同的權(quán)重深滚。之前使用的深度網(wǎng)絡(luò)中都沒(méi)有加這個(gè)權(quán)重
評(píng)價(jià)指標(biāo)
GAUC
激活函數(shù)
從Relu到PRelu骂束，再到Dice
加入了自適應(yīng)正則
推薦系統(tǒng)遇上深度學(xué)習(xí)(二十五)--當(dāng)知識(shí)圖譜遇上個(gè)性化推薦
推薦系統(tǒng)的難點(diǎn)
1.稀疏性問(wèn)題
2.冷啟動(dòng)問(wèn)題
常見(jiàn)解決方案
在推薦算法中額外引入一些輔助信息(side information)
1.社交網(wǎng)絡(luò)
2.用戶、item屬性
3.圖像成箫、視頻展箱、音頻、文本等多媒體信息
4.上下文信息：時(shí)間蹬昌，地點(diǎn)混驰，當(dāng)前會(huì)話信息等
知識(shí)圖譜
1.精確性
2.多樣性
3.可解釋性
推薦系統(tǒng)遇上深度學(xué)習(xí)(三十六)--Learning and Transferring IDs Representation in E-commerce
電商中學(xué)習(xí)id類特征的embedding表示
一般用word2vec來(lái)學(xué)習(xí)，取用戶的行為流序列作為訓(xùn)練集皂贩。本文的重點(diǎn)是栖榨，在word2vec的基礎(chǔ)上考慮不同Id類特征之間的連接結(jié)構(gòu)，通過(guò)這些連接明刷，在ItemID序列中的信息可以傳播到其它類型的ID特征婴栽，并且可以同時(shí)學(xué)習(xí)這些ID特征的表示
具體的實(shí)現(xiàn)方式是：把item的id和其他屬性的id拼接起來(lái)，作為一個(gè)新的向量(類似于之前的一個(gè)item向量)辈末；訓(xùn)練目標(biāo)是：context-target損失愚争，itemId和其對(duì)應(yīng)的屬性Id關(guān)系越近越好(item和屬性之間需要設(shè)置權(quán)重)，變成2部分優(yōu)化挤聘；用戶的embedding是用用戶最近交互過(guò)的T個(gè)物品對(duì)應(yīng)向量的平均值轰枝，來(lái)代表用戶的Embedding
本文算法的應(yīng)用：可以建模物品之間的相似度，將已知物品的向量遷移到位置物品上组去，不同類型向量之間遷移鞍陨，不同應(yīng)用場(chǎng)景之間的遷移
推薦系統(tǒng)遇上深度學(xué)習(xí)(四十三)-考慮用戶微觀行為的電商推薦
通常我們的模型特征都是基于宏觀信息的，比如用戶購(gòu)買从隆，點(diǎn)擊了item诚撵。微觀行為包括瀏覽商品的時(shí)間、對(duì)商品詳情和評(píng)論的閱讀键闺、進(jìn)入的渠道等寿烟。
本文是把微觀行為加入了模型訓(xùn)練中，主要的微觀行為如下(這些數(shù)據(jù)的調(diào)研劃分都是經(jīng)過(guò)數(shù)據(jù)分析的)艾杏，同時(shí)分析了下各種微觀行為的轉(zhuǎn)化率：
1.渠道(點(diǎn)擊源韧衣，五類)：主頁(yè)盅藻、類別頁(yè)购桑、促銷頁(yè)、購(gòu)物車氏淑、搜索結(jié)果列表
2.用戶瀏覽的主要模塊(三類)：商品評(píng)論勃蜘、商品規(guī)格屬性、一致瀏覽到底部
3.加車和下單行為(兩類)：加車假残、下單
4.停留時(shí)長(zhǎng)(五檔)：0-9s缭贡，10-24s炉擅，25-60s，61-120s阳惹，>120s
模型實(shí)現(xiàn)
1.輸入層：輸入的是用戶的行為序列谍失，Su={x1,x2,...,xn}，序列中每一項(xiàng)是商品ID框咙、行為ID瓶堕、停留時(shí)長(zhǎng)ID的三元組胶哲，如xt=(pv,am,dk)
2.embedding層：商品ID、行為ID抹竹、停留時(shí)長(zhǎng)ID在Embedding層分別轉(zhuǎn)換為對(duì)應(yīng)的embedding，然后進(jìn)行橫向拼接
3.RNN層：我們可以選擇LSTM或者GRU止潮，實(shí)際中LSTM和GRU效果差不多窃判，但GRU相對(duì)于LSTM更加簡(jiǎn)單，因此選擇了GRU
4.attention層：attention對(duì)行為序列中的每一個(gè)時(shí)刻的RNN層的輸出進(jìn)行加權(quán)
5.輸出層：模型的輸出是attention層加權(quán)后的向量喇闸，采用的損失函數(shù)是交叉熵?fù)p失
推薦系統(tǒng)遇上深度學(xué)習(xí)(四十六)-阿里電商推薦中億級(jí)商品的embedding策略
本文提出了一種基于side information的圖嵌入學(xué)習(xí)方法袄琳，主要可以解決：大數(shù)據(jù)集上可擴(kuò)展性，稀疏性(比如上文主要是依賴單個(gè)用戶和商品的交互)燃乍，冷啟動(dòng)(新加入的商品如何推薦給用戶)
本文重點(diǎn)是：圖嵌入跨蟹，side information(輔助信息)，不同的輔助信息貢獻(xiàn)程度不一樣橘沥。具體的實(shí)現(xiàn)方式有三種：Base Graph Embedding (BGE)窗轩，這種方法是取用戶的行為序列(可以劃分時(shí)間段)，取所有(或很多)用戶的行為繪制有向帶權(quán)圖座咆，然后采用隨機(jī)游走的方法產(chǎn)生序列(游走概率取決于邊的權(quán)重)痢艺，最后采用word2vec來(lái)計(jì)算，得到item的embedding vector介陶；Graph Embedding with Side information (GES)堤舒，第一種方法是對(duì)上文的一個(gè)優(yōu)化，采用所有(或很多)用戶共有的序列哺呜，而不是一個(gè)用戶的序列舌缤。但是沒(méi)有解決冷啟動(dòng)的問(wèn)題，第二種方法加入了side information某残，即加入了一些輔助信息国撵，比如品牌，風(fēng)格玻墅，店鋪介牙，顏色，城市澳厢，類目环础，性別囚似，年齡，購(gòu)買力线得，材質(zhì)等饶唤。這樣如果一個(gè)新的商品進(jìn)來(lái)，沒(méi)有和用戶的交互信息贯钩，但是可以參考這些輔助信息的相似度進(jìn)行推薦搬素；Enhanced Graph Embedding with Side information (EGES)，第三種方法是第二種方法的優(yōu)化魏保，考慮了不同的輔助信息在最終的向量中的權(quán)重不一樣熬尺，這兩種方法最終得到的向量稱為 item的embedding aggregated vector
