論文筆記：Improving Sequential Recommendation with Knowledge-Enhanced Memory Networks

1章喉、背景

????隨著深度學(xué)習(xí)的發(fā)展，人們探索出了一系列的方法來處理序列化數(shù)據(jù)沐序，RNN是其中的一個(gè)代表琉用。但是對于序列化推薦，RNN的處理方式有很大的不足逛尚，如其最后編碼后的隱向量很難理解，并且很難學(xué)習(xí)到用戶細(xì)粒度的偏好，如不知道到底喜歡商品的哪個(gè)屬性他炊，是價(jià)格還是質(zhì)量，又或者是性價(jià)比。

? ? 為了解決這個(gè)問題舱禽，論文作者提出一個(gè)帶有鍵值對記憶網(wǎng)絡(luò)的RNN模型架構(gòu)呢蔫。其中RNN模型用于捕捉序列化的用戶偏好片吊，而鍵值對記憶網(wǎng)絡(luò)用于捕捉商品屬性級的用戶偏好俏脊，這兩個(gè)vector組合在一起作為最終的用戶偏好表示，從而解決了這個(gè)問題。

2岩瘦、模型定義

$U表示用戶集合，I表示items集合劈伴，將用戶與item的交互按時(shí)間排序严里，可以得到\left\{i_{1}^u,...i_{t}^u,...,i_{n}^u \right\}$ ,其中 $i_{t}^u$ 代表在t時(shí)刻與u產(chǎn)生交互的item.將item與KG結(jié)合教硫，形成一個(gè)大圖景用。這樣我們的任務(wù)定義為：給定交互序列 $\left\{i_{1}^u,...i_{t}^u,...,i_{n}^u \right\}$ ，我們推斷user將會(huì)在n+1時(shí)刻點(diǎn)擊的item

3媚污、模型結(jié)構(gòu)

模型由兩部分組成：

【1】A GRU-based Sequential Recommender

論文中說明如下：

【2】Augmenting Sequential Recommender with Knowledge-Enhanced Memory Networks

這里我們假設(shè)對所有item來說舀瓢，他們具有相同的屬性，比如：電影都具有演員耗美、導(dǎo)演京髓、上映時(shí)間等屬性，這樣網(wǎng)絡(luò)就可以被概括為一個(gè)數(shù)組商架， $\left\{(k_1,v_1^u),· · · ,(k_A,v_A^u)\right\}$ 堰怨，其中key代表某一個(gè)屬性，而value代表這個(gè)屬性的值蛇摸，這里需要注意的是备图，value的值是與用戶相關(guān)的，即不同用戶具有不同的vlue皇型，但是因?yàn)樗衖tem具有相同的屬性诬烹，因此key對于所有用戶來說是共享的砸烦。這個(gè)相當(dāng)于對一個(gè)用戶來說弃鸦，她對某一個(gè)屬性具有自己的用戶偏好。

key值是預(yù)處理的幢痘，在整個(gè)訓(xùn)練過程中保持不變唬格，采用transE的方式，我們可以得到KG中entiey和relation的embedding颜说。我們認(rèn)為entity的屬性是與relation的含義相關(guān)的购岗，因此我們直接將relation embedding作為key值, $k_a=r_a$ ,a是某一個(gè)屬性。

這個(gè)記憶網(wǎng)絡(luò)涉及兩個(gè)操作门粪，read和write喊积。read操作是從記憶網(wǎng)絡(luò)讀出value,然后經(jīng)過一系列運(yùn)算，得到 $m_t^u$ 玄妈，他是指用戶u在t時(shí)刻從記憶網(wǎng)絡(luò)得到的值乾吻，然后執(zhí)行 $p_t^u=h_t^u\oplus m_t^u$ ,其中 $h_t^u$ 是GRU的輸出髓梅。其中，read可簡單概括為

write操作是指每當(dāng)新的交互item到來之后绎签，value矩陣必須更新枯饿，可概括為

$e_a^i$ 是指item到來之后，對a屬性value值的更新诡必。這里之所以選擇將 $e_i+r_a$ 的結(jié)果作為 $e_a^i$ 奢方，是因?yàn)閕tem在某個(gè)屬性上的取值可能有多個(gè)，比如 $e_{Avatar} + r_{dir ectedby} ≈ e_{J amesCameron}$ ,這里的導(dǎo)演可能有多個(gè)爸舒。