筆者在之前的文章中介紹過使用keras搭建一個(gè)基于矩陣分解的推薦系統(tǒng),而那篇文章所介紹的方法可能只是一個(gè)龐大推薦系統(tǒng)中的一小環(huán)節(jié)蜓洪。而對(duì)于工業(yè)級(jí)別的推薦系統(tǒng)官扣，面對(duì)極其龐大的產(chǎn)品種類數(shù)量，一步就輸出符合用戶心意的產(chǎn)品可能夠嗆炕吸，最好的方式應(yīng)該是從巨大的產(chǎn)品類別之中粗篩出一些靠譜的待推薦產(chǎn)品幔睬，然后再從粗篩的產(chǎn)品中精挑細(xì)選出要推薦給用戶的最終產(chǎn)品。
工業(yè)級(jí)別的推薦系統(tǒng)簡介
工業(yè)級(jí)別的推薦系統(tǒng)的架構(gòu)圖如下圖所示览闰，大致分為兩個(gè)階段：
- 召回階段：也就是粗篩階段，由于涉及到的產(chǎn)品數(shù)量巨大巷折，大的公司都是千萬級(jí)別压鉴，甚至上億級(jí)別的產(chǎn)品數(shù)量，此階段的模型應(yīng)該盡量簡單锻拘，特征維度也盡量少油吭，這樣方便快速篩選出一些待推薦的產(chǎn)品。
-
排序階段：即對(duì)上一階段粗篩出來的待推薦產(chǎn)品進(jìn)行精挑細(xì)選署拟，此階段為了推薦出符合用戶心意的產(chǎn)品婉宰，需要模型盡量的準(zhǔn)確。而且由于粗篩階段將數(shù)據(jù)量減少到幾千推穷，甚至幾百級(jí)別心包，所以使用復(fù)雜模型，并且特征維度也可以盡量豐富馒铃，盡量多一些蟹腾，這樣訓(xùn)練出來的模型才能有較強(qiáng)的性能。
推薦系統(tǒng)的架構(gòu)圖
而接下來我要介紹的FM（Factorization Machine）算法区宇，不僅在召回階段有用武之地娃殖，在排序階段也是很拿得出手的推薦模型。
FM（Factorization Machine）算法簡介
Factorization Machine的中文叫因子分解機(jī)萧锉，F(xiàn)M算法的最強(qiáng)特點(diǎn)就是考慮到了特征的二階組合——即特征兩兩組合形成一個(gè)新的特征珊随。在產(chǎn)品推薦，CTR預(yù)估等任務(wù)中柿隙，特征相互組合很可能會(huì)得到一個(gè)特別強(qiáng)的新特征叶洞。接下來我們從FM算法的公式來了解一下此算法的精髓：
如果我們單看FM算法的前面一部分： ,這不就是一個(gè)Logistics回歸模型嗎，確實(shí)沒錯(cuò)禀崖，F(xiàn)M算法的前半部分就是Logistics回歸衩辟，算法的后半部分才體現(xiàn)出FM的特征組合的思想：
- 其中
可以理解成特征
和特征
的另外一種向量表示，
-
- Logistics回歸 + 特征之間的兩兩組合艺晴，最后給每個(gè)兩兩組合而來的新特征乘上一個(gè)權(quán)重值昼钻，就實(shí)現(xiàn)了FM算法的特征的二階組合的思想。
通過下圖我們可以將FM算法的公式轉(zhuǎn)化為：
不要小看了公式的改寫這一步封寞，公式的改寫這一過程會(huì)帶來了算法時(shí)間復(fù)雜度的下降然评，加速算法的運(yùn)行。接下來我們就嘗試使用keras實(shí)現(xiàn)一下FM算法狈究。
FM算法實(shí)戰(zhàn)
首先導(dǎo)入畢要的python 包碗淌，導(dǎo)入 sklearn中乳腺癌的分類任務(wù)數(shù)據(jù)（筆者只是為了實(shí)現(xiàn)算法，所以只找了個(gè)簡單的現(xiàn)成數(shù)據(jù)跑一跑）抖锥。
import keras
from keras.layers import Layer, Dense, Dropout,Input
from keras import Model,activations
from keras.optimizers import Adam
import keras.backend as K
from sklearn.datasets import load_breast_cancer
FM層的定義亿眠，其中call函數(shù)中定義了FM的主要實(shí)現(xiàn)部分。
class FM(Layer):
def __init__(self, output_dim=30, activation="relu",**kwargs):
self.output_dim = output_dim
self.activate = activations.get(activation)
super(FM, self).__init__(**kwargs)
def build(self, input_shape):
self.wight = self.add_weight(name='wight',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
self.bias = self.add_weight(name='bias',
shape=(self.output_dim,),
initializer='zeros',
trainable=True)
self.kernel = self.add_weight(name='kernel',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
super(FM, self).build(input_shape)
def call(self, x):
feature = K.dot(x,self.wight) + self.bias
a = K.pow(K.dot(x,self.kernel), 2)
b = K.dot(x, K.pow(self.kernel, 2))
cross = K.mean(a-b, 1, keepdims=True)*0.5
cross = K.repeat_elements(K.reshape(cross, (-1, 1)), self.output_dim, axis=-1)
return self.activate(feature + cross)
def compute_output_shape(self, input_shape):
return (input_shape[0], self.output_dim)
數(shù)據(jù)載入
載入sklearn中乳腺癌的分類任務(wù)數(shù)據(jù)磅废。
data = load_breast_cancer()["data"]
target = load_breast_cancer()["target"]
模型構(gòu)建
這里我采用了一層FM層纳像，一層15個(gè)神經(jīng)元的隱層構(gòu)建了一個(gè)兩層的網(wǎng)絡(luò)模型，Loss 采用的是平方誤差損失（mse）拯勉，當(dāng)然也可以采用交叉熵?fù)p失（cross entropy）竟趾。
K.clear_session()
inputs = Input(shape=(30,))
out = FM(20)(inputs)
out = Dense(15,activation="sigmoid")(out)
out = Dense(1,activation="sigmoid")(out)
model = Model(inputs=inputs, outputs=out)
model.compile(loss='mse',
optimizer=adam(0.0001),
metrics=['accuracy'])
model.summary()
模型訓(xùn)練
定義好batch_size 和訓(xùn)練輪數(shù)，就可以將模型跑起來了谜喊。
model.fit(data, target,
batch_size=1,
epochs=100,
validation_split=0.2)
下圖訓(xùn)練的截圖潭兽，由于數(shù)據(jù)集太小，太簡單這里也沒有對(duì)比FM和其他算法的性能差異斗遏，不過看網(wǎng)上的博客教程，F(xiàn)M在應(yīng)對(duì)特征豐富的推薦任務(wù)時(shí)有著很不錯(cuò)的效果鞋邑。畢竟考慮到了特征之間的組合關(guān)系诵次。
結(jié)語
筆者之前也介紹過GBDT+ LR，Wide and deep等推薦算法枚碗，這次介紹的FM算法也是推薦算法中比較常用的算法逾一，他們都有一個(gè)共同的特點(diǎn)——就是這些算法都在尋找特征之間的組合關(guān)聯(lián)，從而實(shí)現(xiàn)推薦算法性能的提升肮雨。萬事萬物都存在聯(lián)系遵堵，確實(shí)只有算法能夠洞察事物（特征）之間聯(lián)系，才有可能做出更精確的推薦決策怨规。
參考文獻(xiàn)
https://zhuanlan.zhihu.com/p/58160982
https://github.com/Hourout/CTR-keras
