ctr預(yù)估
其中底層為embedding+乘積層，embedding層由FM初始化（見FNN）雏亚，從參數(shù)規(guī)挠酰考慮embedding_size選擇了10，隱層深度選擇了3層罢低，乘積層由lz和lp組成追葡，
lz是embedding feature，lp是interaction embedding feature
對特征做內(nèi)積或是外積處理就會產(chǎn)生一個復(fù)雜度的問題：假設(shè)有60個域，那么把這些feature做內(nèi)積處理宜肉，就會產(chǎn)生將近1800個元素的矩陣匀钧，如此就會產(chǎn)生一個很大的weight矩陣，那我們需要學(xué)習(xí)的參數(shù)就很多谬返，那我們的數(shù)據(jù)集可能就滿足不了這個要求之斯。那接下來的做法就是：由于weight矩陣是個對稱陣，我們可以用factorization來處理這個對稱陣遣铝，把它轉(zhuǎn)換為一個小矩陣乘以這個小矩陣的轉(zhuǎn)置佑刷，這樣就會大大減少我們所需要訓(xùn)練的參數(shù)（下圖為inner product，對于outer product么只需要簡單的把f的內(nèi)積替換為外積酿炸，對外積操作得到矩陣而言瘫絮，如果該矩陣只有對角線上有值，就變成了內(nèi)積操作的結(jié)果填硕，所以內(nèi)積操作可以看作是外積操作的一種特殊情況麦萤。）：
在兩個數(shù)據(jù)集上比較的結(jié)果：
其中pnn*即在product layer串聯(lián)內(nèi)外積。
總結(jié)：總的來說模型的特點就在于乘積層扁眯，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中還是難以提取乘積特征壮莹，而在大規(guī)模類別特征中這一特性又顯得尤為重要，因此通過乘積層手工interact各field特征也就理所當(dāng)然姻檀。通過矩陣分解減少combination引起的海量interaction feature也算是一個點命满。
