【AE based RS】Deep Collaborative Filtering via Marginalized Denoising Auto-encoder

ACM 15
美國東北大學(xué)

abstract

協(xié)同過濾（CF）已廣泛用于推薦系統(tǒng)中以解決許多現(xiàn)實問題毡咏。學(xué)習(xí)有效的潛在因子在協(xié)同過濾中起著最重要的作用志电∫ο基于矩陣分解技術(shù)的傳統(tǒng)CF方法從 user-item 評級中學(xué)習(xí)潛在因子疙咸，遭受冷啟動問題以及稀疏性問題呐馆。一些改進的CF方法通過將邊信息合并為正則化來豐富潛在因子的先驗。然而丛版，由于評級和邊信息的稀疏性質(zhì)巩掺，所學(xué)習(xí)的潛在因子可能不是非常有效。為了解決這個問題页畦，我們通過深度學(xué)習(xí)學(xué)習(xí)有效的潛在表示胖替。我們通過將矩陣分解與深度特征學(xué)習(xí)相結(jié)合，提出了CF的一般化的深度體系結(jié)構(gòu)。我們通過將概率矩陣分解與邊緣化去噪堆疊自動編碼器相結(jié)合独令，提供我們架構(gòu)的自然實例端朵。

在本文中，我們提出了一種協(xié)同過濾的深度學(xué)習(xí)模型燃箭，它將基于矩陣分解的協(xié)同過濾與深度學(xué)習(xí)算法緊密結(jié)合冲呢，即邊緣化去噪自動編碼器（mDA）[16]。與 CDL 集成了協(xié)同主題回歸和貝葉斯堆疊去噪自動編碼器并且需要使用EM樣式算法學(xué)習(xí)大量超參數(shù)不同招狸，我們的方法使用基于mDA和隨機梯度下降的更高效的架構(gòu)敬拓，因此計算效率高，可擴展性高裙戏。

主要工作

我們提出了一種稱為深度協(xié)同過濾（DCF）的通用深度體系結(jié)構(gòu)乘凸，它集成了矩陣分解和深度特征學(xué)習(xí)。它建模了CF中使用的潛在因子與深度模型中的潛在層之間的映射累榜。
通過利用概率矩陣分解和mDA翰意，我們提出了上述體系結(jié)構(gòu)的實例化（即mDA-CF和mSDACF）。 mDA的可擴展性和低計算成本使其成為極具吸引力的深度學(xué)習(xí)工具信柿。
我們評估了我們模型在三個真實世界應(yīng)用冀偶，電影推薦，書籍推薦和響應(yīng)預(yù)測方面的表現(xiàn)渔嚷。我們的模型優(yōu)于傳統(tǒng)的CF方法进鸠。

相關(guān)工作

Matrix Factorization for Collaborative Filtering

矩陣分解（MF）是最常用的衍生潛在因子模型的技術(shù)，它們在Netflix競賽中的成功突出了它們的優(yōu)勢形病。例如客年，由用戶的項目偏好組成的給定矩陣X∈RN×M可以被分解為兩個低維矩陣U和V的乘積。分解可以通過各種方法進行漠吻，從基于SVD的方法[19]到相對較新的非負矩陣分解方法[20]量瓜。一種經(jīng)典的MF方法是概率矩陣分解（PMF）。該方法背后的基本假設(shè)是潛在因子的先驗概率分布和給定潛在因子的觀察評級的概率遵循高斯分布途乃。目前绍傲，已經(jīng)開發(fā)了許多算法來增強PMF的性能，通過設(shè)計貝葉斯版本[21,22,23]耍共，或者結(jié)合輔助信息烫饼，例如社交關(guān)系[24,5,25]。雖然有希望试读，但矩陣分解方法存在冷啟動問題杠纵，即當新用戶/物品到達系統(tǒng)時要做出什么建議。在許多現(xiàn)實世界的應(yīng)用中經(jīng)常出現(xiàn)的另一個問題是數(shù)據(jù)稀疏性或降低的覆蓋范圍钩骇。 Porteous等人比藻。提出了一種帶有邊信息和Dirichlet過程混合的貝葉斯矩陣分解（BMF）方法[26]铝量。在[27]和[28]中也分別提出了變分BMF方法和利用邊信息的分層BMF方法。胡等人银亲。提出了一種跨域三元分解（CDTF）方法[29]慢叨，它利用了來自其他領(lǐng)域的信息。提出上述方法用于解決推薦問題群凶。最近插爹，基于MF的協(xié)同過濾也應(yīng)用于響應(yīng)預(yù)測[30,31]哄辣。上述方法可以緩解冷啟動和數(shù)據(jù)稀疏的問題请梢，但是當輔助信息稀疏時可能仍然會受到影響。學(xué)習(xí)有效特征在矩陣分解中至關(guān)重要力穗。最近毅弧，基于深度學(xué)習(xí)的方法已經(jīng)成為學(xué)習(xí)表示的有力工具，并且廣泛用于從計算機視覺到語音識別和機器翻譯的許多應(yīng)用中当窗。在本文中够坐，我們的目標是將基于深度學(xué)習(xí)的方法與矩陣分解相結(jié)合，進行協(xié)同過濾崖面。在下一小節(jié)中元咙，我們調(diào)查了基于深度學(xué)習(xí)的協(xié)同過濾方法的應(yīng)用。

Deep Learning for Collaborative Filtering

深度學(xué)習(xí)模型在協(xié)同過濾任務(wù)中的應(yīng)用是非常新的巫员，并且在這方面沒有太多嘗試庶香。 Salakhutdinov等。 [10]是第一個將深度學(xué)習(xí)應(yīng)用于協(xié)同過濾任務(wù)的人简识。他們將受限制的Boltzmann機器修改為兩層無向圖形模型赶掖，由二元隱藏單元和softmax可見單元組成，用于協(xié)同過濾任務(wù)七扰。他們設(shè)計了一種稱為對比發(fā)散（CD）的有效學(xué)習(xí)程序奢赂，以最大化真實似然函數(shù)的近似值。他們還提出了條件RBM模型和推理程序颈走。他們在Netflix數(shù)據(jù)集上測試了模型的性能以進行電影推薦膳灶，并表明他們的模型與基線方法相比表現(xiàn)良好。
特魯伊恩等人立由。 [14]提出了用于協(xié)同過濾的序數(shù)Boltzmann機器袖瞻。他們研究了用于處理評級的序數(shù)性質(zhì)的參數(shù)化，并介紹了多個Boltzmann機器的集成拆吆，用于基于用戶和基于項目的過程聋迎。
最近，一些深度學(xué)習(xí)模型從內(nèi)容信息中學(xué)習(xí)潛在因素枣耀，如音頻或文章的原始特征[32,33]霉晕。王等人庭再。 [12]利用深度信念網(wǎng)（DBN）進行音樂推薦，在聯(lián)合框架中統(tǒng)一了歌曲的特征提取和推薦牺堰。他們假設(shè)用戶具有從高斯先驗繪制的特征向量βu并且歌曲具有特征向量xv拄轻。他們使用深度信念網(wǎng)絡(luò)自動學(xué)習(xí)歌曲的特征向量，這是一個具有隱藏節(jié)點和觀察的生成概率圖形模型伟葫。它有數(shù)百萬個參數(shù)可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)恨搓。作者使用Restricted Boltzmann機器的堆疊層以無監(jiān)督的方式進行預(yù)訓(xùn)練，然后使用最大似然估計（MLE）進行監(jiān)督學(xué)習(xí)筏养。
Oord等人斧抱。 [13]使用卷積神經(jīng)網(wǎng)絡(luò)解決了音樂推薦問題。他們首先進行加權(quán)矩陣分解以處理隱式反饋并獲得所有歌曲的潛在因素渐溶。之后辉浦，他們使用深度學(xué)習(xí)將音頻內(nèi)容映射到那些潛在因素。特別是茎辐，他們從音頻信號中提取局部特征宪郊，并將它們聚合成一個詞袋表示。最后拖陆，采用深度卷積網(wǎng)絡(luò)將該特征表示映射到潛在因子弛槐。他們在Million歌曲數(shù)據(jù)集上測試了他們的算法，并表明他們的模型通過增加音頻信號來改善推薦性能依啰。所有前面提到的方法主要修改用于協(xié)同過濾任務(wù)的深度學(xué)習(xí)算法乎串，并且不直接將矩陣分解與深度學(xué)習(xí)模型耦合。
最近孔飒，Wang等人灌闺。 [15]提出了一種稱為協(xié)作深度學(xué)習(xí)（CDL）的分層貝葉斯模型，它緊密耦合堆疊去噪自動編碼器（SDA）和協(xié)同主題回歸（CTR）坏瞄。這項工作與我們的工作最接近桂对，但與我們的工作有很多重要方面不同，如下 - （i）CDL采用了貝葉斯SDA的表述鸠匀。 CDL的生成過程包括用于CDL的繪制樣本蕉斜，使用EM樣式算法來獲得貝葉斯SDA的MAP估計，因此它必須學(xué)習(xí)大量參數(shù)缀棍。我們的模型采用更高效的架構(gòu)宅此，邊緣化SDA（mSDA），以封閉形式計算參數(shù)爬范，因此高效且可擴展父腕。（ii）CDL僅提取物品的深層特征，而我們的模型為物品和用戶學(xué)習(xí)深層特征青瀑。

PRELIMINARIES

矩陣分解（MF）是最有效的協(xié)同過濾方法璧亮。它允許我們通過將交互矩陣分解為用戶和項目特征的聯(lián)合潛在空間來發(fā)現(xiàn)用戶項目交互的潛在因素萧诫。它通過將由m個用戶對n個項目的評級組成的原始評級矩陣R∈Rm×n分解為兩個低秩矩陣U∈Rm×d和V∈Rn×d，分別由用戶和項目特征組成的等級d進行分解枝嘶。

Deep Collaborative Filtering (DCF)

在本節(jié)中帘饶，我們介紹了提出的深度協(xié)同過濾（DCF）框架，該框架將深度學(xué)習(xí)模型與基于MF的協(xié)同過濾相結(jié)合群扶。圖1說明了我們的DCF框架的想法及刻。 DCF是一種混合模型，它利用評級矩陣和輔助信息竞阐，并將矩陣分解和特征學(xué)習(xí)結(jié)合在一起缴饭。
給定user-item評級矩陣R，用戶側(cè)信息X和項目側(cè)信息Y馁菜，DCF共同分解R并且通過評級和邊信息（即茴扁，X和Y）來學(xué)習(xí)潛在因子（即铃岔，U汪疮，V）。

未完待續(xù)毁习。智嚷。。