Paper Reading —— Attention-based Transactional Context Embedding for Next-Item Recommendation

基于注意力的事務(wù)上下文嵌入下一項(xiàng)推薦

Abstract

在電商交易環(huán)境中向user推薦下一個(gè)item,這樣的應(yīng)用非常實(shí)用但是具有挑戰(zhàn)性胳螟。Transactional context 是指在交易記錄中的observed items般妙。
大多數(shù)現(xiàn)有的推薦系統(tǒng)，主要是考慮recently occurring items 而不是 all the ones observed in the current context，這些算法通常假設(shè)交易中的items之間存在嚴(yán)格的順序赃泡，但是這并不總是起作用，a long transaction(一個(gè)比較長(zhǎng)的交易范圍)通常包含許多對(duì)下一個(gè)選擇的item沒(méi)有關(guān)聯(lián)或者說(shuō)是沒(méi)有用的item信息，這往往會(huì)overwhelm一些真正相關(guān)的item的影響。

舉個(gè)栗子~
讓我們舉一個(gè)例子來(lái)說(shuō)明上述問(wèn)題陵且。
用戶首先將三個(gè)項(xiàng)目{milk，apple个束，orange}放入購(gòu)物車中慕购，
然后將{bread}添加到同一購(gòu)物車中。
隨后茬底，交易被確定為{milk沪悲，apple，orange阱表，bread}殿如。
如果我們將前三個(gè)項(xiàng)目作為上下文而最后一個(gè)項(xiàng)目作為推薦的目標(biāo)贡珊，
現(xiàn)有方法可能會(huì)建議{vegetables}，如{green salad}涉馁，
因?yàn)樽罱纳舷挛捻?xiàng)目（orange和apple）门岔。
但是，目標(biāo)物品面包的選擇可能取決于第一個(gè)項(xiàng)目（milk）谨胞。
在這種情況下固歪，推薦系統(tǒng)應(yīng)該更多地關(guān)注milk而不是orange和apple，
因?yàn)閙ilk可能與下一個(gè)選擇的bread更相關(guān)胯努。
此示例顯示了下一項(xiàng)建議的重要性，這可能會(huì)被交易中的無(wú)關(guān)項(xiàng)誤導(dǎo)逢防。
此外叶沛，真實(shí)世界的交易數(shù)據(jù)通常僅指示那些項(xiàng)目與項(xiàng)目之間的訂單
（例如，項(xiàng)目時(shí)間戳）共同出現(xiàn)在交易中忘朝。
因此灰署，推薦具有嚴(yán)格訂單的交易項(xiàng)目可能是不可能和現(xiàn)實(shí)的。

作者提出一個(gè)推薦算法局嘁，這個(gè)算法不僅考慮當(dāng)前交易中所有的observed items溉箕，而且還要用不同的relevance(相關(guān)性)對(duì)它們進(jìn)行加權(quán)，以建立一個(gè)attentive context(注意力上下文)悦昵，以高概率輸出正確的下一個(gè)項(xiàng)目肴茄。模型——基于注意的事務(wù)嵌入模型（ATEM），用于上下文嵌入但指，以在不假定順序的情況下對(duì)每個(gè)觀察到的項(xiàng)目進(jìn)行加權(quán)寡痰。對(duì)交易數(shù)據(jù)集的實(shí)證研究證明，ATEM在準(zhǔn)確性和新穎性方面都顯著優(yōu)于最先進(jìn)的方法棋凳。

Main Algorithm

問(wèn)題描述與定義

推薦基于購(gòu)物車序列( built onshoppingbasket-basedtransactiondata)

給定transactional dataset :

給定每個(gè)transaction :

所有交易中發(fā)生的所有項(xiàng)目構(gòu)成整個(gè)item集 :

每個(gè)transaction是itemset的子集拦坠，且t里的并不是嚴(yán)格的交易順序。

給定(target item)目標(biāo)剩岳，除了item 贞滨，所有屬于的items統(tǒng)稱為context ，其中拍棕。

特別地晓铆，attentive context意味著上下文中的項(xiàng)目對(duì)下一項(xiàng)目推薦的上下文嵌入有不同的貢獻(xiàn)。

給定context 莫湘，本文的ATEM模型可以構(gòu)建并訓(xùn)練為 item 在 set 出現(xiàn)的條件概率, 通過(guò)每次拾取每個(gè)instance作為目標(biāo)項(xiàng)目尤蒿，為每個(gè)事務(wù)t構(gòu)建總共|t|個(gè)訓(xùn)練實(shí)例。

因此，TBRS被歸結(jié)為根據(jù)給定上下文中的條件概率對(duì)所有候選項(xiàng)進(jìn)行排名。

在預(yù)測(cè)階段鸳惯，基于上下文c的attentive embedding來(lái)計(jì)算條件概率哟忍。 這種嵌入是建立在c中包含的所有上下文項(xiàng)目的基礎(chǔ)上根灯，利用 注意力機(jī)制 （attention mechanism）來(lái)學(xué)習(xí)每個(gè)上下文項(xiàng)目的權(quán)重啃沪。

模型建立&模型學(xué)習(xí)

TimLine截圖20180929174506.png

總的來(lái)說(shuō)陌粹，從下到上溺蕉，提出的ATEM模型包括輸入層奏属，項(xiàng)嵌入層跨跨，上下文嵌入層，輸出層囱皿，以及項(xiàng)和上下文嵌入層之間的attention層勇婴，如上圖所示。從輸入到輸出逐層解釋模型的工作機(jī)制嘱腥。

Item Embedding
給輸入層提供上下文項(xiàng)集耕渴，底部的輸入單元構(gòu)成一個(gè)獨(dú)熱編碼矢量，其中只有位置的所在單元被設(shè)置為1而所有其他單元被設(shè)置為0齿兔。每個(gè)獨(dú)熱編碼vector長(zhǎng) context 一共有個(gè)獨(dú)熱編碼構(gòu)成橱脸。

由稀疏的單熱矢量傳遞的信息是有限的。 在ATEM中分苇，我們創(chuàng)建了一個(gè)嵌入機(jī)制添诉，將這些向量映射到項(xiàng)嵌入層中的信息性和低維向量表示，其中K維實(shí)值向量

Motivation

推薦系統(tǒng)（RS）發(fā)揮著重要作用医寿，特別是在商業(yè)領(lǐng)域栏赴。然而，大多數(shù)現(xiàn)有的RS理論面臨各種問(wèn)題糟红，例如傾向于重復(fù)與用戶可能已經(jīng)選擇的類似的項(xiàng)目艾帐。

在現(xiàn)實(shí)數(shù)據(jù)場(chǎng)景中，用戶可能更喜歡新穎且與手頭上現(xiàn)有的不同的項(xiàng)目盆偿。為了解決這個(gè)問(wèn)題柒爸，需要在交易上下文中進(jìn)行新的推薦，即在交易中已經(jīng)選擇的內(nèi)容中挖掘事扭。一方面捎稚，分析基于RS交易序列，通過(guò)分析交易間耦合關(guān)系求橄，產(chǎn)生更合理和可靠的新交易建議今野，例如下一個(gè)購(gòu)物車(basket)和下一項(xiàng)目(item)建議。這些與基于user profile和item profile構(gòu)建的典型RS方法完全不同罐农。

然而条霜，當(dāng)一個(gè)items集合被放入一個(gè)transaction時(shí)，仍然不清楚應(yīng)該下一個(gè)項(xiàng)目應(yīng)該推薦什么涵亏。這產(chǎn)生了通過(guò)分析事務(wù)內(nèi)依賴性來(lái)推薦事務(wù)上下文下的下一項(xiàng)的需要宰睡。

(transactional context:用于推薦下一個(gè)項(xiàng)目的上下文是指對(duì)應(yīng)的項(xiàng)目相關(guān)交易蒲凶，例如，由多個(gè)所選項(xiàng)目組成的購(gòu)物籃記錄)

Related

了解transaction context中items之間的相關(guān)性和轉(zhuǎn)換非常具有挑戰(zhàn)性拆内。在TBRS中旋圆，一個(gè)普遍的挑戰(zhàn)是建立一個(gè)注意力(attention)的背景，以高概率輸出真正的下一個(gè)選擇麸恍。

一些現(xiàn)有方法旨在通過(guò)將transaction as the context來(lái)生成推薦灵巧。然而，大多數(shù)現(xiàn)有TBRS利用具有排序假設(shè)的部分上下文抹沪。

順序模式挖掘（2012）用于使用具有嚴(yán)格順序假設(shè)的items之間的關(guān)聯(lián)來(lái)預(yù)測(cè)下一項(xiàng)刻肄。但是，上下文中的項(xiàng)可能是任意的采够，這可能無(wú)法匹配任何已挖掘的模式肄方。

馬爾可夫鏈（MC）（2012）是建模順序數(shù)據(jù)的另一種方法。然而蹬癌，MC只捕獲從一個(gè)項(xiàng)目到下一個(gè)項(xiàng)目的轉(zhuǎn)換，而不是從上下文序列中捕獲虹茶，即逝薪，它只能捕獲第一次轉(zhuǎn)換。

最近蝴罪，基于矩陣隱式因子分解（MF）的方法（2016）將轉(zhuǎn)移概率的矩陣從然而董济，由于現(xiàn)實(shí)世界中的冪律分布數(shù)據(jù)，MF很容易受到稀疏性問(wèn)題的困擾（2016）要门。

受Deep Learning的巨大成功的啟發(fā)（2015）虏肾，應(yīng)用深度遞歸神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)模擬順序數(shù)據(jù)的事務(wù)，但由復(fù)雜結(jié)構(gòu)引起的高計(jì)算成本阻止了其應(yīng)用于大數(shù)據(jù)欢搜。

此外封豪，MC，MF和RNN最初是為具有嚴(yán)格自然順序的時(shí)間序列數(shù)據(jù)而設(shè)計(jì)的炒瘟，因此它們不具有無(wú)序的交易吹埠。

(例如，或面包是否首先放入購(gòu)物車中沒(méi)有區(qū)別疮装。另外缘琅，現(xiàn)有方法不能有效地加權(quán)上下文中的項(xiàng)目，即更多地關(guān)注那些相關(guān)項(xiàng)目廓推。這種注意區(qū)分非常重要刷袍，特別是對(duì)于長(zhǎng)期交易而言，這些交易往往包含許多與下一個(gè)選擇無(wú)關(guān)的項(xiàng)目樊展。)

最近呻纹，受心理認(rèn)知方案的啟發(fā)堆生，注意機(jī)制在上下文學(xué)習(xí)相關(guān)方面顯示出驚人的潛力。 通過(guò)搜索圖像中與答案相關(guān)的區(qū)域居暖，呈現(xiàn)用于圖像問(wèn)題回答的堆疊注意網(wǎng)絡(luò)（SAN）顽频。 另一個(gè)新模型在人類關(guān)注的指導(dǎo)下學(xué)習(xí)句子表征（Shaonan，Jiajun和Chengqing 2017）太闺。 鑒于CV和NLP中的上下文學(xué)習(xí)注意機(jī)制的巨大成功糯景，我們結(jié)合了一些想法并提出ATEM來(lái)模擬下一個(gè)項(xiàng)目推薦的注意上下文。

Contribution

本文通過(guò)提出一種基于注意力的交易嵌入模型（ATEM）來(lái)解決需求蟀淮。 ATEM通過(guò)識(shí)別與下一個(gè)選擇具有高度相關(guān)性的上下文項(xiàng)，在交易中的所有觀察項(xiàng)目的嵌入（Embedding）上構(gòu)建了一個(gè)關(guān)注的上下文（attention context）钞澳。構(gòu)建了一個(gè)淺寬的廣泛網(wǎng)絡(luò)（wide-in-wide-out network）（Goth 2016）怠惶，以減少時(shí)間和空間成本。具體而言轧粟，作者將注意機(jī)制（Shaonan策治，Jiajun和Chengqing 2017）納入淺層網(wǎng)絡(luò)，以在沒(méi)有嚴(yán)格排序假設(shè)的情況下在事務(wù)中構(gòu)建所有觀察項(xiàng)目（observed items）的注意上下文(attention context)兰吟。由于注意機(jī)制通惫，所提出的模型能夠更多地關(guān)注更相關(guān)的items，而更少關(guān)注不太相關(guān)的items混蔼。因此履腋，ATEM更有效，更強(qiáng)大惭嚣，可以預(yù)測(cè)具有較少約束的事務(wù)中的下一個(gè)item遵湖。這項(xiàng)工作的主要貢獻(xiàn)如下：

• 基于注意力的模型學(xué)習(xí)一種注意力的上下文嵌入，強(qiáng)化了相關(guān)項(xiàng)目但忽略了與下一個(gè)選擇無(wú)關(guān)的項(xiàng)目晚吞。 我們的方法不涉及對(duì)事務(wù)中項(xiàng)目的嚴(yán)格排序假設(shè)延旧。

• 淺寬的寬廣網(wǎng)絡(luò)實(shí)現(xiàn)了ATEM，它對(duì)于大量項(xiàng)目的學(xué)習(xí)和預(yù)測(cè)更有效和高效载矿。

• 實(shí)證研究表明

  ATEM在準(zhǔn)確性和新穎性方面明顯優(yōu)于兩個(gè)真實(shí)數(shù)據(jù)集上的最新TBRS;

  通過(guò)比較有無(wú)注意機(jī)制的方法垄潮，注意機(jī)制對(duì)TBRS產(chǎn)生顯著差異。

Summary