推薦系統(tǒng)-DeepFM模型

1. 介紹

特征組合的問題

對(duì)于基于CTR預(yù)估的推薦系統(tǒng),最重要的是學(xué)習(xí)用戶點(diǎn)擊行為背后的隱含特征或特征組合锦针。在不同的推薦任務(wù)中,低階組合特征或者高階組合特征都可能會(huì)對(duì)最終的CTR產(chǎn)生影響。

FM模型通過對(duì)每一維特征的隱向量?jī)?nèi)積來提取特征組合翼馆,也能得到比較好的結(jié)果。FM理論上來說金度,雖然可以對(duì)高維特征組合進(jìn)行建模应媚,但因?yàn)橛?jì)算復(fù)雜度的原因,一般只用到二階特征組合猜极。

對(duì)于高維特征來說珍特,可以通過神經(jīng)網(wǎng)絡(luò)去解決。

神經(jīng)網(wǎng)絡(luò)的問題

下面圖片來自張俊林教授的PPT

通常情況下魔吐,對(duì)于離散特征的處理扎筒,一般將其轉(zhuǎn)化成one-hot的形式,但是one-hot類型的特征輸入到神經(jīng)網(wǎng)絡(luò)中酬姆,會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)太多嗜桌。


為了解決這個(gè)問題,可以使用類似于FFM模型的思想辞色,將特征分成不同field:


再加上兩層全連接層骨宠,讓Dense Vector進(jìn)行組合,就可以得到高階的特征組合。


在這種情況下层亿,特征組合隱含的體現(xiàn)在隱藏層桦卒,如果想要把低階特征組合進(jìn)行單獨(dú)建模,然后和高階特征組合進(jìn)行融合匿又,可以通過神經(jīng)網(wǎng)絡(luò)和FM模型組合來實(shí)現(xiàn)方灾。



5.png

再將神經(jīng)網(wǎng)絡(luò)和FM模型進(jìn)行組合時(shí),一般有兩種方式碌更,一種是并行結(jié)構(gòu)裕偿,一種是串形結(jié)構(gòu)。



7.png

DeepFM模型就是一種并行結(jié)構(gòu)痛单。

2. DeepFM模型

首先看一下DeepFM模型的結(jié)構(gòu)嘿棘。


DeepFM包含兩部分:神經(jīng)網(wǎng)絡(luò)和分解機(jī)。分別負(fù)責(zé)低階特征的提取和高階特征的提取旭绒。這兩部分共享同樣的輸入鸟妙。DeepFM模型的預(yù)測(cè)結(jié)果可以寫成
\huge{\hat{y}=sigmoid(y_{FM} + y_{DNN})}

FM部分

FM部分結(jié)構(gòu):


FM部分是一個(gè)分解機(jī),因?yàn)榧尤肓穗[含變量挥吵,所以對(duì)于不出現(xiàn)或者極少出現(xiàn)的隱含變量也可以很好的學(xué)習(xí)圆仔。

FM的輸出公式:
\huge{y_{FM}=<w,x>+\sum_{j_1=1}^d}\sum_{j_2=j_1+1}^d<V_i,V_j>x_{j_1}\cdot x_{j_2}

神經(jīng)網(wǎng)絡(luò)部分

結(jié)構(gòu):


神經(jīng)網(wǎng)絡(luò)部分是一個(gè)前饋網(wǎng)絡(luò),與圖像這類輸入不同蔫劣,圖像的輸入一般是連續(xù)而且稠密的坪郭,然而這里用于推薦任務(wù)的輸入一般是特別稀疏的。因此在該神經(jīng)網(wǎng)絡(luò)中脉幢,在第一層隱藏層之前歪沃,引入一個(gè)嵌入層(Embedding),把輸入向量壓縮到低維稠密向量嫌松。

嵌入層的結(jié)構(gòu)如圖:


從上圖可以看出沪曙,

  1. 雖然輸入的field長(zhǎng)度不同,但經(jīng)過嵌入層embedding之后萎羔,得到的向量長(zhǎng)度都是 K液走。
  2. 而且從FM部分里得到的隱含變量\large{v_{i_k}} 被當(dāng)成嵌入層的權(quán)重,這樣FM部分就可以當(dāng)成整個(gè)模型的一部分與其他深度學(xué)習(xí)模型一起參與整體的學(xué)習(xí)贾陷,實(shí)現(xiàn)端到端的訓(xùn)練缘眶。

關(guān)于第二點(diǎn),舉個(gè)例子髓废,如上圖所示巷懈,假設(shè)k=5 ,首先對(duì)于一條輸入,同一個(gè)field中只有一個(gè)位置是1慌洪,所以從輸入得到Dense vector的過程中顶燕,輸入層只有一個(gè)神經(jīng)元在起作用凑保,得到的Dense vector其實(shí)就是輸入層該神經(jīng)元連接嵌入層的五個(gè)權(quán)重,即\large{v_{i_1},v_{i_2},v_{i_3},v_{i_4},v_{i_5}}.這五個(gè)值組合起來就是FM部分提到的V_i涌攻。所以在FM部分和神經(jīng)網(wǎng)絡(luò)部分欧引,在這一塊是共享權(quán)重的,對(duì)同一個(gè)特征來說恳谎,得到的V_i是相同的芝此。

嵌入層

嵌入層的表示如下:
\huge{a^{(0)}=[e_1,e_2,...,e_m]}
其中,\large{e_i} 是第i 個(gè)field的embedding惠爽,m 是field的個(gè)數(shù),a^{(0)} 是輸入神經(jīng)網(wǎng)絡(luò)的向量瞬哼,通過以下方式前向傳播:
\huge{a^{l+1}=\sigma(W^{(l)}a^{(l)}+b^{(l)})}
FM部分與神經(jīng)網(wǎng)絡(luò)部分共享相同的embedding有兩個(gè)好處

  • 可以從原始數(shù)據(jù)中學(xué)習(xí)到低維與高維的特征
  • 不再需要特征工程

參考資料

https://www.zybuluo.com/JeemyJohn/note/1197954

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末婚肆,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子坐慰,更是在濱河造成了極大的恐慌较性,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件结胀,死亡現(xiàn)場(chǎng)離奇詭異赞咙,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)糟港,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門攀操,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人秸抚,你說我怎么就攤上這事速和。” “怎么了剥汤?”我有些...
    開封第一講書人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵颠放,是天一觀的道長(zhǎng)庶灿。 經(jīng)常有香客問我稚晚,道長(zhǎng)桅咆,這世上最難降的妖魔是什么该酗? 我笑而不...
    開封第一講書人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任猪贪,我火速辦了婚禮窖剑,結(jié)果婚禮上药版,老公的妹妹穿的比我還像新娘韭畸。我一直安慰自己畜晰,他們只是感情好伸头,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著舷蟀,像睡著了一般恤磷。 火紅的嫁衣襯著肌膚如雪面哼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,125評(píng)論 1 297
  • 那天扫步,我揣著相機(jī)與錄音魔策,去河邊找鬼。 笑死河胎,一個(gè)胖子當(dāng)著我的面吹牛闯袒,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播游岳,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼政敢,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了胚迫?” 一聲冷哼從身側(cè)響起喷户,我...
    開封第一講書人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎访锻,沒想到半個(gè)月后褪尝,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡期犬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年河哑,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片龟虎。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡璃谨,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出鲤妥,到底是詐尸還是另有隱情睬罗,我是刑警寧澤,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布旭斥,位于F島的核電站容达,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏垂券。R本人自食惡果不足惜花盐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望菇爪。 院中可真熱鬧算芯,春花似錦、人聲如沸凳宙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)氏涩。三九已至届囚,卻和暖如春有梆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背意系。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來泰國(guó)打工泥耀, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蛔添。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓痰催,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親迎瞧。 傳聞我的和親對(duì)象是個(gè)殘疾皇子夸溶,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容