作者以及單位
Rajiv Pasricha和Julian McAuley
UC San Diego加州大學(xué)圣地亞哥分校
注:這篇文章(下面簡(jiǎn)稱2018)需要和這個(gè)第二作者的在2017recsys發(fā)表的這個(gè)文章:Translation-based Recommendation(2017recsys最佳論文獎(jiǎng),下面簡(jiǎn)稱2017)一起看。
解決問(wèn)題
2017解決的核心問(wèn)題是:序列推薦的問(wèn)題有巧。序列推薦的目的是基于用戶的歷史行為序列去預(yù)測(cè)用戶將來(lái)的行為锻弓。序列推薦的主要挑戰(zhàn)是對(duì)用戶趟紊、她之前訪問(wèn)過(guò)的項(xiàng)目和下一個(gè)要消費(fèi)的項(xiàng)目之間的“三階”交互進(jìn)行建模繁堡。
One classical setting is predicting users’ personalized sequential behavior (or ‘next item recommendation), where the challenges mainly lie in modeling ‘third-order’ interactions between a user, her previously visited item(s), and the next item to consume.
然后作者例舉了一些解決這三者(用戶user迷帜,過(guò)去item迹鹅,未來(lái)item)之間關(guān)系的現(xiàn)有的方法,如可擴(kuò)展的張量分解方法--個(gè)性化馬爾可夫鏈(FPMC),作者覺(jué)得類似工作不錯(cuò)吃警,但是不夠好(不好的原因糕篇,我理解是這些工作分開(kāi)處理了這些變量,而這些變量之間本身是有聯(lián)系的酌心,原文如下)
However, these works still adopt the framework of modeling the user preference component and
sequential continuity component separately, which may be disadvantageous as the two components are inherently correlated.
那么2017年工作的貢獻(xiàn)(與之前的工作主要區(qū)別是):
1.只用一個(gè)模型來(lái)模擬用戶拌消,物品之間的三階交互(解決FPMC模型合并的問(wèn)題),還借鑒知識(shí)圖譜中的思想提出了物品到物品之間的推薦安券。
2.可以從隱式假設(shè)度量中獲益(這3點(diǎn)都在introduction最后羅列了墩崩,但是這第二點(diǎn)沒(méi)有看明白)
3.用戶的翻譯向量采用了全局翻譯向量和個(gè)性化的翻譯向量之和。一定程度上解決了用戶的冷啟動(dòng)和維度和過(guò)度擬合的詛咒(就是feature太對(duì)侯勉,分類性能下降)鹦筹。
TransRec 模型將電影《misssion impossible1》embedded到“翻譯空間”(transition space),圖中顯示了三個(gè)用戶址貌,u1表示就想看mission所有系列铐拐,u2想看湯姆克魯斯的戲劇性電影,而u3想看類似的動(dòng)作電影芳誓。物品作為一個(gè)點(diǎn)被嵌入到翻譯空間內(nèi)余舶,用戶的序列行為則作為一個(gè)翻譯向量存在于該空間啊鸭,然后锹淌,通過(guò)個(gè)性化翻譯操作捕獲前面提到的三階交互,其基本思路就是用戶的翻譯向量和上一個(gè)行為物品的翻譯向量之和赠制,確定下一個(gè)有行為的物品j赂摆,如下所示(其實(shí)核心原理我理解是這么簡(jiǎn)單,核心問(wèn)題大概是一頁(yè)紙就能夠說(shuō)清楚的事情(可能比較片面)钟些,剩下的篇幅都是對(duì)模型出現(xiàn)的狀況進(jìn)行調(diào)整):
研究動(dòng)機(jī)
2018年的研究動(dòng)機(jī)是將要FM應(yīng)用在序列推薦中烟号,這樣做的好處是使用簡(jiǎn)單的模型對(duì)復(fù)雜的交互之間進(jìn)行建模并能取得不錯(cuò)的效果。
研究方法
2018年的方法是基于2017年的優(yōu)勢(shì)(即仍然不是孤立看待向量政恍,是關(guān)注他們的相互作用)汪拥,對(duì)于每個(gè)特征i,模型學(xué)習(xí)兩兩部分:一個(gè)低維的embedding向量 和一個(gè)翻譯向量
,特征之間的交互強(qiáng)度使用平方歐幾里德距離來(lái)進(jìn)行計(jì)算篙耗,在上圖中迫筑,展示了user,item宗弯,time的embedding特征和翻譯向量脯燃,交互行為之間的權(quán)重由起始點(diǎn)和結(jié)束點(diǎn)之間的平方歐幾里德距離進(jìn)行計(jì)算萝风。與FM一樣诱篷,TransFM可以在參數(shù)和特征緯度的線性時(shí)間內(nèi)進(jìn)行計(jì)算昌渤,從而有效的實(shí)現(xiàn)大規(guī)模數(shù)據(jù)集的計(jì)算屉符。
創(chuàng)新點(diǎn)
TransFM使用平方歐幾里德距離替換FM中的內(nèi)積計(jì)算硫兰,并用embedding 向量和翻譯向量之和表示特征的向量,其公式如下:
使用平方歐幾里德距離替換內(nèi)積的好處是:提高模型的泛化能力僻弹,更有效的捕獲embedding之間的傳遞性炉菲。比如(a,b),(b,c)之間有很高的交互權(quán)重懈糯,那么(a,c)之間的相關(guān)性也會(huì)更強(qiáng)涤妒。距離計(jì)算方式為:
結(jié)論
1.改變FM中的內(nèi)積計(jì)算方式,使用平方歐幾里德距離赚哗,提高了模型的泛化能力她紫,和樣本特征之間的傳遞性
2.在不改變模型結(jié)構(gòu)的前提下,可以輕易將時(shí)間屿储,地域或者其他內(nèi)容特征加入到模型中贿讹,TransFM結(jié)合了TransRec 和 FM和優(yōu)勢(shì),在大量够掠,稀疏的數(shù)據(jù)集上取得了不錯(cuò)的效果民褂。