今天給大家分享一篇對(duì)FM進(jìn)行改進(jìn)的文章，主要改進(jìn)是針對(duì)不同的樣本，顯式建模了不同特征的重要度芥炭，接下來(lái)一起學(xué)習(xí)下。
1恃慧、背景
由于能夠高效的建模特征之間的交互作用园蝠，因子分解機(jī)（Factorization machine，F(xiàn)M）已經(jīng)被成功地應(yīng)用于各種推薦系統(tǒng)中痢士。同時(shí)彪薛，許多的研究工作聚焦于從特征交互角度來(lái)提升FM模型的效果，如DeepFM將FM和DNN進(jìn)行結(jié)合，建模特征之間的二階和高階交互善延，AFM通過(guò)引入attention思想少态，建模不同特征交互的重要性。
但是上述工作忽略了樣本的獨(dú)特性易遣，舉例來(lái)說(shuō)彼妻，當(dāng)樣本是<青少年，女性训挡，學(xué)生澳骤，喜歡粉色>歧强，預(yù)測(cè)是否會(huì)點(diǎn)擊<連衣裙>澜薄，此時(shí)女性這個(gè)特征會(huì)起到較為關(guān)鍵的作用；當(dāng)樣本是<青少年摊册，女性肤京，學(xué)生，喜歡藍(lán)色>茅特，預(yù)測(cè)是否會(huì)點(diǎn)擊<筆記本>忘分，此時(shí)女性這個(gè)特征就相對(duì)來(lái)說(shuō)沒有那么重要。因此白修，同一個(gè)特征在不同樣本中應(yīng)該被賦予不同的重要程度以更好地反映其具體貢獻(xiàn)妒峦。
基于上述思路，論文提出了樣本感知的FM模型（ Input-aware Factorization Ma- chine兵睛，IFM）來(lái)顯式建模不同特征在不同樣本的影響程度肯骇。接下來(lái)，一起看下IFM模型的具體結(jié)構(gòu)祖很。
2笛丙、IFM介紹
2.1 FM回顧
首先簡(jiǎn)單回顧一下FM模型。FM模型針對(duì)每一個(gè)特征xi假颇，都有對(duì)應(yīng)的embedding vi胚鸯，其預(yù)估值計(jì)算公式如下：
其中，二次項(xiàng)可以進(jìn)行簡(jiǎn)化計(jì)算笨鸡，化簡(jiǎn)之后公式如下：
因此姜钳，F(xiàn)M模型在預(yù)測(cè)階段的計(jì)算時(shí)間復(fù)雜度為O(kn)，其中k是embedding的長(zhǎng)度形耗，n為特征的數(shù)量（離散變量轉(zhuǎn)換為one-hot后的特征數(shù)量）哥桥。
2.2 IFM模型
對(duì)于給定的特征，IFM模型預(yù)估值的計(jì)算公式如下：
可以看到趟脂，其與FM計(jì)算公式非常相似泰讽，主要區(qū)別點(diǎn)在于一次項(xiàng)權(quán)重w和embedding向量v都是樣本感知的。其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：
接下來(lái)，對(duì)每一部分進(jìn)行分別介紹已卸。
Embedding Layer
同F(xiàn)M一樣佛玄，IFM也給每一個(gè)特征賦予對(duì)應(yīng)的embedding向量，如針對(duì)上圖中的x輸入累澡，由于x是離散變量轉(zhuǎn)換為對(duì)應(yīng)one-hot之后的結(jié)果梦抢，因此是極其稀疏的，我們?cè)谟?jì)算中也只需要考慮取值為1的特征愧哟。假設(shè)每條樣本總共有h個(gè)取值為1的特征奥吩，將其對(duì)應(yīng)的h個(gè)embedding進(jìn)行拼接，得到k * h維的向量Vx蕊梧。
Factor Estimating Network
Factor Estimating Network是論文主要的創(chuàng)新之處霞赫，其主要作用是針對(duì)不同的樣本，對(duì)每一個(gè)特征計(jì)算樣本感知權(quán)重mx,i肥矢，并作用于一次項(xiàng)權(quán)重wi和embedding向量vi端衰。子網(wǎng)絡(luò)結(jié)構(gòu)如下：
根據(jù)上圖，特征重要度的計(jì)算過(guò)程如下：
Reweighting Layer
經(jīng)過(guò)Factor Estimating Network得到輸出mx,i甘改，就可以對(duì)樣本每個(gè)特征的一次項(xiàng)權(quán)重和embedding向量進(jìn)行refine旅东，計(jì)算公式如下：
FM Prediction Layer
同F(xiàn)M一樣，IFM在預(yù)測(cè)時(shí)十艾，也可以對(duì)公式進(jìn)行相應(yīng)的化簡(jiǎn)抵代，其結(jié)果如下：
好了，論文結(jié)構(gòu)就介紹到這里忘嫉，接下來(lái)簡(jiǎn)單看下實(shí)驗(yàn)部分荤牍。
3、實(shí)驗(yàn)結(jié)構(gòu)
論文對(duì)比了IFM和FM等bese模型在不同數(shù)據(jù)集上的表現(xiàn)榄融，其結(jié)果如下：
FM作為非常經(jīng)典的CTR預(yù)估模型参淫，學(xué)者們對(duì)于其的研究也是一直在進(jìn)行，如最近還有FM^2愧杯、對(duì)偶樣本感知DIFM模型等涎才，后續(xù)小編也會(huì)盡量對(duì)這些改進(jìn)模型進(jìn)行分享和總結(jié)～～
