推薦系統(tǒng)

推薦系統(tǒng)屬性:

系統(tǒng)角色

系統(tǒng)角色抽象來看宛琅,推薦系統(tǒng)中一般有四個重要的角色:
用戶:用戶是系統(tǒng)的使用者
物品:物品就是將要被推薦的候選對象
情景:情景是推薦時所處的環(huán)境
匹配引擎:而引擎就是用于匹配用戶和物品的核心技術(shù)烈掠。例如畸冲,亞馬遜網(wǎng)站的顧客就是用戶址晕,網(wǎng)站所銷售的商品就是物品萍悴,瀏覽的地理位置和時間就是情景舔示,而研發(fā)團隊提供的關(guān)鍵算法就是匹配引擎。

相似度

推薦里沒有用戶的主動輸入过吻,而是通過研究物品和物品之間进泼、用戶和用戶之間存在多少相似的特征,來達到建議的目的纤虽。相比較的對象都是對等的乳绕,因此業(yè)界稱之為相似度。從技術(shù)實現(xiàn)的角度來理解逼纸,相似度和相關(guān)性是互通的洋措,因此相似度同樣可以利用向量空間模型VSM、概率模型等來刻畫杰刽。

相似度傳播框架

現(xiàn)實生活中的推薦菠发,常常來源于“口口相傳”,上述的兩個假設(shè)體現(xiàn)了這點同樣適用于線上贺嫂。而且我們可以利用相似度的傳播性滓鸠,幫助用戶進一步發(fā)現(xiàn)更多潛在的興趣。例如第喳,如果物品a和b相似糜俗,b和c相似,那么a和c也可能存在一定的相似度。

推薦系統(tǒng)分類

依據(jù)的屬性來劃分:
基于內(nèi)容:

基于知識:這種方式和基于內(nèi)容的推薦比較相近,不過多了一些通過人類知識定義的邏輯規(guī)則光绕,因此需要人為地提供大量專業(yè)領(lǐng)域的知識桑寨,構(gòu)建成體系的知識庫,并和用戶產(chǎn)生交互尊惰。根據(jù)用戶交互的形式,又可以細分為基于約束的和基于實例的。兩者的形式比較類似卵凑,都是讓用戶指定需求,然后推薦系統(tǒng)給出答案旺韭。如果找不到合理的氛谜,那么用戶就需要再次修改需求。這個方式和搜索更為接近区端,需要用戶較多的精力值漫,可惜在互聯(lián)網(wǎng)時代,用戶都是偷懶的织盼,很少有人愿意這么做杨何。綜合建立知識體系和用戶參與的成本,這個方法一般僅限于學(xué)術(shù)研究沥邻。當然危虱,它也有更為精準的優(yōu)勢。

基于用戶行為:

相似度傳播 的方式來劃分:
無傳播:通常是基于內(nèi)容和知識的推薦唐全,都沒有考慮用戶對物品的訪問行為埃跷。

協(xié)同過濾(Collaborative Filtering):協(xié)同過濾是基于最直觀的“口口相傳”來傳播的蕊玷,假設(shè)我們愿意接受他人的建議,尤其是很多人都向你建議的時候弥雹。其主要思路就是利用已有用戶群過去的行為或意見垃帅,預(yù)測當前用戶最可能喜歡哪些東西。根據(jù)推薦依據(jù)和傳播的路徑剪勿,又可以進一步細分為基于用戶的過濾和基于物品的過濾贸诚。

image.png

各種分類推薦系統(tǒng)的評價標準

準確性:推薦系統(tǒng)的準確性在很大程度上依賴于系統(tǒng)中用戶數(shù)和物品數(shù)之間的比例。通常情況下厕吉,一小部分相似度高的用戶酱固,其價值遠遠高于一大部分相似度較低的近鄰。同理头朱,對于物品數(shù)量遠遠大于用戶數(shù)量的系統(tǒng)(例如內(nèi)部文獻系統(tǒng))而言运悲,采用基于用戶的協(xié)同過濾則更為精準。

高效性:雖然數(shù)據(jù)挖掘的部分是離線計算项钮,并不要求實時返回結(jié)果扇苞,但我們也不希望其消耗的時間過于離譜,更何況寄纵,目前有些應(yīng)用已經(jīng)需要實時性的挖掘結(jié)果了鳖敷。當用戶數(shù)量遠遠大于物品數(shù)量時,物品的相似度計算所消耗的資源要遠遠小于用戶的相似度計算程拭,因此基于物品的協(xié)同過濾效率更高定踱。反之,基于用戶的協(xié)同過濾會更高效恃鞋。

穩(wěn)定性:物品和用戶總是在不斷變化崖媚。變化就意味著用戶和物品之間的關(guān)系需要更新,協(xié)同過濾的結(jié)果也需要做出相應(yīng)的改變恤浪。如果系統(tǒng)中物品的集合比用戶的集合更穩(wěn)定畅哑,那么基于物品的方法會避免頻繁地數(shù)據(jù)計算和更新,因此更實用一些水由。反之荠呐,基于用戶的方法更適用于用戶集合相對穩(wěn)定的系統(tǒng)。

混合模型

混合的方式大體上可以分為微觀混合和宏觀混合砂客。
微觀混合:將不同的特征混合起來使用泥张,例如將基于內(nèi)容和基于用戶行為的相似度計算結(jié)合起來,這樣基于內(nèi)容的方式也可以加入?yún)f(xié)同過濾的傳播框架鞠值,解決其面臨的冷啟動問題媚创。或者是將用戶的社交信息加入用戶近鄰的選擇彤恶,提高協(xié)同過濾推薦的可信任度钞钙。
宏觀混合:相對于微觀混合鳄橘,宏觀的方式不關(guān)心特征的合并,而是注重將不同推薦系統(tǒng)的結(jié)果有機地結(jié)合起來芒炼。只要是能推送結(jié)果的系統(tǒng)挥唠,都可以加入進來,因此更為靈活焕议。例如,我們可以讓基于用戶弧关、基于物品和基于情景的三個系統(tǒng)同時工作盅安,然后根據(jù)合并、加權(quán)世囊、輪播等方式進行混合别瞭。

推薦系統(tǒng)架構(gòu)

image.png

用戶建模:根據(jù)用戶的人口統(tǒng)計學(xué)信息和用戶行為數(shù)據(jù),建立用戶畫像等模型株憾,刻畫其短期和中長期的興趣蝙寨。

物品建模:根據(jù)物品的領(lǐng)域?qū)傩裕约坝脩粼L問這些物品的數(shù)據(jù)嗤瞎,建立物品畫像模型墙歪,刻畫其本質(zhì)特征。

推薦算法:根據(jù)用戶和物品的建模贝奇,通過不同的推薦方式進行演算虹菲,最終找到能與用戶或物品輸入所匹配的推薦物品。

混合模塊:根據(jù)不同的混合策略掉瞳,將多種方式的推薦結(jié)果進行合并毕源。因為考慮到實時性,一般都被放入離線處理陕习。當然霎褐,如果系統(tǒng)足夠輕量級,混合邏輯并不復(fù)雜该镣,數(shù)據(jù)量也足夠小冻璃,是可以放入在線部分來處理的。

結(jié)果存儲:將推薦算法的挖掘結(jié)果保存下來损合,以便于在線的實時訪問俱饿,倒排索引同樣是不錯的選擇。當這些結(jié)果數(shù)據(jù)達到一定的規(guī)模塌忽,或者是包含了比較復(fù)雜的商業(yè)邏輯時拍埠,就可以考慮直接使用搜索引擎來協(xié)助了。在線部分涉及如下內(nèi)容土居。

數(shù)據(jù)收集:因為用戶的行為會作為很多推薦算法的數(shù)據(jù)來源枣购,因此需要通過Flume之類的框架來收集用戶訪問的日志嬉探。當然,用戶使用搜索和推薦引擎本身的數(shù)據(jù)也會被記錄棉圈,并以此來對之后的算法做進一步的優(yōu)化涩堤。

開源搜索系統(tǒng)

最近幾年開源的推薦引擎或算法項目開始逐步嶄露頭角,這里介紹一個有代表性的項目——Apache的Mahout(http://mahout.apache.org)分瘾。Mahout這個單詞本身的意思是大象的飼養(yǎng)者和驅(qū)趕者胎围。Mahout的分布式挖掘中會使用Apache Hadoop作為數(shù)據(jù)的存儲,來實現(xiàn)更高的可伸縮性和容錯性德召,而Hadoop的徽標上有一頭黃色的大象白魂,Mahout希望能讓這頭大象發(fā)揮更好的作用,這大概就是“Mahout”這個名字的由來上岗。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末福荸,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子肴掷,更是在濱河造成了極大的恐慌敬锐,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件呆瞻,死亡現(xiàn)場離奇詭異台夺,居然都是意外死亡,警方通過查閱死者的電腦和手機痴脾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進店門谒养,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人明郭,你說我怎么就攤上這事买窟。” “怎么了薯定?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵始绍,是天一觀的道長。 經(jīng)常有香客問我话侄,道長亏推,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任年堆,我火速辦了婚禮吞杭,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘变丧。我一直安慰自己芽狗,他們只是感情好,可當我...
    茶點故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布痒蓬。 她就那樣靜靜地躺著童擎,像睡著了一般滴劲。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上顾复,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天班挖,我揣著相機與錄音,去河邊找鬼芯砸。 笑死萧芙,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的假丧。 我是一名探鬼主播双揪,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼虎谢!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起曹质,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤婴噩,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后羽德,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體几莽,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年宅静,在試婚紗的時候發(fā)現(xiàn)自己被綠了章蚣。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡姨夹,死狀恐怖纤垂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情磷账,我是刑警寧澤峭沦,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站逃糟,受9級特大地震影響吼鱼,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜绰咽,卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一菇肃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧取募,春花似錦琐谤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽付魔。三九已至,卻和暖如春飞蹂,著一層夾襖步出監(jiān)牢的瞬間几苍,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工陈哑, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留妻坝,地道東北人。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓惊窖,卻偏偏與公主長得像刽宪,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子界酒,可洞房花燭夜當晚...
    茶點故事閱讀 44,864評論 2 354