1、什么是FM算法

FM即Factor Machine店枣，因子分解機(jī)

2买置、為什么需要FM

1）粪糙、特征組合是許多機(jī)器學(xué)習(xí)建模過程中遇到的問題，如果對特征直接建模忿项，很有可能忽略掉特征與特征之間的關(guān)聯(lián)信息蓉冈，一次可以通過構(gòu)建新的交叉特征這一特征組合方式提高模型的效果。

2）倦卖、高維的稀疏矩陣是實(shí)際工程中常見的問題洒擦，并且直接導(dǎo)致計(jì)算量過大，特征權(quán)值更新緩慢怕膛。試想一個(gè)10000100的表熟嫩，每一列都有8中元素，經(jīng)過one-hot編碼之后褐捻，會(huì)產(chǎn)生一個(gè)10000800的表掸茅。因此表中每一元素只有100個(gè)值為1,700個(gè)值為0

而FM的優(yōu)勢就在于對這兩方面問題的處理。首先是特征組合柠逞，通過兩兩特征組合昧狮，引入交叉項(xiàng)特征（二階特征），提高模型得分板壮；其次是高維災(zāi)難逗鸣，通過引入隱向量（對參數(shù)矩陣進(jìn)行分解），完成特征參數(shù)的估計(jì)

3绰精、FM 用在哪

我們已經(jīng)知道FM可以解決特征組合以及高維稀疏矩陣問題撒璧，而實(shí)際業(yè)務(wù)場景中，電商笨使、豆瓣等推薦系統(tǒng)的場景是使用最廣泛的領(lǐng)域卿樱，打個(gè)比方，小王只在豆瓣上瀏覽過20部電影硫椰，而豆瓣上面有20000部電影繁调，如果構(gòu)建一個(gè)基于小王的電影矩陣萨蚕，毫無疑問，里面講有199980個(gè)元素全為0.而類似這樣的問題就可以通過FM來解決

4蹄胰、FM長什么樣

在展示FM算法之前岳遥，我們先回顧一下最常見的線性表達(dá)式：

image.png

其中[圖片上傳失敗W0為初始權(quán)重值，或者理解為偏置項(xiàng)裕寨，Wi為每個(gè)特征 xi 對應(yīng)的權(quán)重值寒随，可以看到，這種線性表達(dá)式只描述了每個(gè)特征和輸出的關(guān)系帮坚。

FM的表達(dá)式如下，可觀察到互艾，只是在線性表達(dá)式后面加入了新的交叉項(xiàng)特征及對應(yīng)的權(quán)值试和。

image.png

5、FM交叉項(xiàng)的展開

1）尋找交叉項(xiàng)

FM表達(dá)式的求解核心在于對交叉項(xiàng)的求解纫普。下面是很多人用來求解交叉項(xiàng)的展開式阅悍，對于第一次接觸FM算法的人來說可能會(huì)有疑惑，不知道公式怎么展開的昨稼，接下來筆者會(huì)手動(dòng)推導(dǎo)一遍节视。

image.png

設(shè)有3個(gè)變量（特征）x1,x2,x3,每個(gè)特征的隱變量分別為v1=(1,2,3)、v2=(4,5,6)假栓、v3=(1,2,1)即：

image.png

設(shè)交叉項(xiàng)所組成的權(quán)矩陣W為對稱矩陣寻行，之所以設(shè)為對稱矩陣是因?yàn)閷ΨQ矩陣可以用向量乘以向量的轉(zhuǎn)置代替的性質(zhì)。

那么W=VVT ,即

所以：

image.png

2）交叉項(xiàng)權(quán)值轉(zhuǎn)換

對交叉項(xiàng)有了基本了解后烤芦，下面將進(jìn)行公式的分解举娩，還是以n=3為例，

image.png

3）交叉項(xiàng)展開式

上面的例子是對3個(gè)特征做的交叉項(xiàng)推導(dǎo)构罗，因此對具有n個(gè)特征铜涉，F(xiàn)M的交叉項(xiàng)公式就可推廣為：

image.png

我們還可以進(jìn)一步分解：

image.png

所以FM算法的交叉項(xiàng)最終展開為：

image.png

6、權(quán)值求解

利用梯度下降法绰播，通過求損失函數(shù)對特征（輸入項(xiàng)）的導(dǎo)數(shù)計(jì)算出梯度骄噪，從而更新權(quán)值。設(shè)m為樣本個(gè)數(shù)θ為權(quán)值蠢箩。

如果是回歸問題链蕊，損失函數(shù)一般是均方誤差（MSE）即事甜，最小二乘：

image.png

所以回歸問題的損失函數(shù)對權(quán)值的梯度（導(dǎo)數(shù)）為：

image.png

image.png

其中滔韵，σ表示是階躍函數(shù)sigmoid逻谦。

image.png

所以分類問題的損失函數(shù)對權(quán)值的梯度（導(dǎo)數(shù)）為：

image.png

image.png