Rethinking the Item Order in Session-based Recommendation with Graph Neural Networks

CIKM 2019
Please click here for GitHub link.

Introduction

作者提出的觀點:

  • 如何從會話中的交互中提取具有代表性的信息來表示用戶的偏好是基于會話的RS的本質(zhì)。
  • 用戶在會話中的偏好變化表明压鉴,不應(yīng)將項目簡單地視為時間序列,項目轉(zhuǎn)換模式更為復(fù)雜。
  • 計算最后一個項目的相對重要性,會忽略會話中的特定項目轉(zhuǎn)換模式。
  • 確定會話中項目的內(nèi)在順序非常重要。這種內(nèi)在順序既不是RNN的直接時間順序懦底,也不是自我注意的完全隨機(jī)性漠秋。

因此笙蒙,本文提出了一個全圖神經(jīng)網(wǎng)絡(luò)(FGNN)模型來學(xué)習(xí)項目轉(zhuǎn)換模式的內(nèi)在順序,并計算會話級表示來生成推薦庆锦。
為了使用圖神經(jīng)網(wǎng)絡(luò)捅位,本文為每個會話建立一個會話圖,并將推薦描述為一個圖分類問題搂抒。為了捕捉項目轉(zhuǎn)換模式的內(nèi)在順序(這對項目級特征表示至關(guān)重要)艇搀,本文提出了一個多重加權(quán)圖注意層(WGAT)網(wǎng)絡(luò)來計算會話中項目之間的信息流。在獲得項目表示之后求晶,本文使用能自動學(xué)習(xí)確定適當(dāng)?shù)捻樞虻?Readout Function 來聚集這些特征焰雕。

Model

Graph Neural Networks

大多數(shù)GNN的工作方式是迭代地聚合來自相鄰節(jié)點的信息。經(jīng)過k次更新迭代后芳杏,節(jié)點的最終表示捕獲了k跳鄰居的結(jié)構(gòu)信息和節(jié)點信息矩屁。其公式可表示為:
  • h_v^{(k)}是第k層中節(jié)點v的特征向量。
  • 向第一層輸入的h_v^{(0)}為特征向量X_v爵赵。
  • Agg充當(dāng)聚合器來聚合相鄰節(jié)點的特征吝秕。
  • Map是將自信息和鄰域信息轉(zhuǎn)化為新的特征向量的映射。

對于圖分類空幻,Readout Function 聚合圖最后一層的所有節(jié)點特征烁峭,以生成圖形級表示h_G

Weighted Graph Attentional Layer

大多數(shù)的GCN、GAT等只適用于無權(quán)重的無向圖氛悬,本文提出了一種加權(quán)圖注意力層则剃,它在描述WGAT的前向傳播的同時考慮了邊的權(quán)重。其信息傳播過程如下圖所示:


第一層中輸入的特征向量由一個 embedding layer 生成如捅,其中 embedding layer 的輸入為 one-hot 編碼棍现。

首先,需要計算一個自注意力系數(shù)e_{ij}

其中镜遣,為到的邊的權(quán)重己肮。

接著,為了直接比較不同節(jié)點的重要性悲关,使用了一個softmax函數(shù)將系數(shù)轉(zhuǎn)換為跨越相鄰節(jié)點和自身的概率形式:


ATT的選擇十分多樣化谎僻,本文中的選擇為一個使用傾斜為\alpha=0.2的LeakyRelu作為激活函數(shù)的MLP層,因此\alpha_{ij} 的計算公式為:

其中寓辱,|| 代表兩個向量的連接艘绍。

之后,應(yīng)用對應(yīng)鄰域的線性組合來更新節(jié)點的特征:

其中秫筏, 為ReLU函數(shù)诱鞠。

因為多頭注意有助于穩(wěn)定自我注意層的訓(xùn)練挎挖,因此,本文的WGAT應(yīng)用了多頭設(shè)置航夺。

其中蕉朵,為the number of heads,而 || 代表連接所有的頭阳掐。

最后始衅,計算所有注意力結(jié)果的平均值:

Readout Function

Readout Function 的目的是在對GNN層進(jìn)行正向計算后,根據(jù)節(jié)點特征給出整個圖的表示缭保。

Set2Set是一個圖級特征抽取器汛闸,它學(xué)習(xí)一個 query vector,該 query vector 指示了從內(nèi)存中讀取無向圖的順序艺骂。本文修改了這個方法以適應(yīng)會話圖的設(shè)置蛉拙,其公式為:

Recommendation

一旦得到了圖級嵌入q_t^*,就可以用它以及各個item的初始嵌入向量為整個項目集V上的每個項目計算得分向量\hat{z}


最后彻亲,本文在上應(yīng)用softmax函數(shù)將其轉(zhuǎn)換為概率分布形式:

對于top-K推薦,基于選擇所有項目中概率最高的K個是很簡單的吮廉。

Loss Function

本文在\hat{y}v_{label}的 one-hot encoding 之間使用了 multi- class cross entropy loss苞尝,其公式為:

Datasets

本文使用了 Yoochoose 和 Diginetica 兩個電商數(shù)據(jù)集。

Experiment

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末宦芦,一起剝皮案震驚了整個濱河市宙址,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌调卑,老刑警劉巖抡砂,帶你破解...
    沈念sama閱讀 211,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異恬涧,居然都是意外死亡注益,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,347評論 3 385
  • 文/潘曉璐 我一進(jìn)店門溯捆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來丑搔,“玉大人,你說我怎么就攤上這事提揍∑≡拢” “怎么了?”我有些...
    開封第一講書人閱讀 157,435評論 0 348
  • 文/不壞的土叔 我叫張陵劳跃,是天一觀的道長谎仲。 經(jīng)常有香客問我,道長刨仑,這世上最難降的妖魔是什么郑诺? 我笑而不...
    開封第一講書人閱讀 56,509評論 1 284
  • 正文 為了忘掉前任夹姥,我火速辦了婚禮,結(jié)果婚禮上间景,老公的妹妹穿的比我還像新娘佃声。我一直安慰自己,他們只是感情好倘要,可當(dāng)我...
    茶點故事閱讀 65,611評論 6 386
  • 文/花漫 我一把揭開白布圾亏。 她就那樣靜靜地躺著,像睡著了一般封拧。 火紅的嫁衣襯著肌膚如雪志鹃。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,837評論 1 290
  • 那天泽西,我揣著相機(jī)與錄音曹铃,去河邊找鬼。 笑死捧杉,一個胖子當(dāng)著我的面吹牛陕见,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播味抖,決...
    沈念sama閱讀 38,987評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼评甜,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了仔涩?” 一聲冷哼從身側(cè)響起忍坷,我...
    開封第一講書人閱讀 37,730評論 0 267
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎熔脂,沒想到半個月后佩研,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,194評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡霞揉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,525評論 2 327
  • 正文 我和宋清朗相戀三年旬薯,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片零聚。...
    茶點故事閱讀 38,664評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡袍暴,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出隶症,到底是詐尸還是另有隱情政模,我是刑警寧澤,帶...
    沈念sama閱讀 34,334評論 4 330
  • 正文 年R本政府宣布蚂会,位于F島的核電站淋样,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏胁住。R本人自食惡果不足惜趁猴,卻給世界環(huán)境...
    茶點故事閱讀 39,944評論 3 313
  • 文/蒙蒙 一刊咳、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧儡司,春花似錦娱挨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,764評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至碉碉,卻和暖如春柴钻,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背垢粮。 一陣腳步聲響...
    開封第一講書人閱讀 31,997評論 1 266
  • 我被黑心中介騙來泰國打工贴届, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蜡吧。 一個月前我還...
    沈念sama閱讀 46,389評論 2 360
  • 正文 我出身青樓毫蚓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親昔善。 傳聞我的和親對象是個殘疾皇子绍些,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,554評論 2 349