推薦系統(tǒng)的架構(gòu)

本文從互聯(lián)網(wǎng)收集并整理了推薦系統(tǒng)的架構(gòu)包个,其中包括一些大公司的推薦系統(tǒng)框架(數(shù)據(jù)流存儲(chǔ)刷允、計(jì)算、模型應(yīng)用)碧囊,可以參考這些資料树灶,取長(zhǎng)補(bǔ)短,最后根據(jù)自己的業(yè)務(wù)需求糯而,技術(shù)選型來(lái)設(shè)計(jì)相應(yīng)的框架天通。后續(xù)持續(xù)更新并收集。熄驼。像寒。

圖1

? ? ? ?界面UI那一塊包含3塊東西:1) 通過(guò)一定方式展示推薦物品(物品標(biāo)題、縮略圖瓜贾、簡(jiǎn)介等)诺祸;2) 給的推薦理由;3) 數(shù)據(jù)反饋改進(jìn)個(gè)性化推薦阐虚;

關(guān)于用戶(hù)數(shù)據(jù)的存放地方:1)數(shù)據(jù)庫(kù)/緩存用來(lái)實(shí)時(shí)取數(shù)據(jù)序臂;2) hdfs文件上面;

? ? ? 抽象出來(lái)的三種推薦方式:

圖2


圖3


? 用戶(hù)行為數(shù)據(jù)--->推薦引擎(第一層過(guò)濾)--->初始推薦結(jié)果--->過(guò)濾--->排名--->推薦解釋--->推薦結(jié)果实束。

? ? ? ?圖3中奥秆,推薦引擎的構(gòu)建來(lái)源于不同的數(shù)據(jù)源(也就是用戶(hù)的特征有很多種類(lèi),例如統(tǒng)計(jì)的咸灿、行為的构订、主題的)+不同的推薦模型算法,推薦引擎的架構(gòu)可以試多樣化的(實(shí)時(shí)推薦的+離線(xiàn)推薦的)避矢,然后融合推薦結(jié)果(人工規(guī)則+模型結(jié)果)悼瘾,融合方式多樣的,有線(xiàn)性加權(quán)的或者切換式的等

?圖4

? ? ? ?圖4中审胸,A模塊負(fù)責(zé)用戶(hù)各類(lèi)型特征的收集亥宿,B模塊的相關(guān)表是根據(jù)圖3中的推薦引擎來(lái)生成的,B模塊的輸出推薦結(jié)果用來(lái)C模塊的輸入砂沛,中間經(jīng)過(guò)過(guò)濾模塊(用戶(hù)已經(jīng)產(chǎn)生行為的物品烫扼,非候選物品,業(yè)務(wù)方提供的物品黑名單等)碍庵,排名模塊也根據(jù)預(yù)設(shè)定的推薦目標(biāo)來(lái)制定映企,最后推薦解釋的生成(這是可能是最容易忽視悟狱,但很關(guān)鍵的一環(huán),微信的好友推薦游戲堰氓,這一解釋已經(jīng)勝過(guò)后臺(tái)的算法作用了)


優(yōu)酷的推薦系統(tǒng)

備注:上圖來(lái)至easyhadoop舉辦的技術(shù)沙龍中優(yōu)酷數(shù)據(jù)挖掘工程師的演講挤渐,有關(guān)詳細(xì)信息請(qǐng)移步 http://virtual.51cto.com/exp/Hadoop_20130330/index.html#top。作者在演講中講的一些"干貨"跟推薦議題是很有價(jià)值的双絮,下圖簡(jiǎn)單描述浴麻。

模型前數(shù)據(jù)準(zhǔn)備(理解數(shù)據(jù)源,用戶(hù)囤攀,物品)





模型策略


其他考慮的場(chǎng)景


淘寶的推薦系統(tǒng)(詳細(xì)版)


淘寶的推薦系統(tǒng)(簡(jiǎn)單版)

總結(jié):淘寶的推薦系統(tǒng)白胀,描述了推薦引擎搭建的整體架構(gòu),包括離線(xiàn)的分布式計(jì)算和存儲(chǔ)抚岗、監(jiān)控或杠、數(shù)據(jù)統(tǒng)計(jì)和分析、實(shí)驗(yàn)平臺(tái)等宣蔚。給我們搭建推薦引擎提供了很好的建議向抢。整體流程大致這樣。通過(guò)后臺(tái)的分布式計(jì)算胚委,將算法產(chǎn)生的算法結(jié)果數(shù)據(jù)存儲(chǔ)進(jìn)入一種介質(zhì)中挟鸠,首推hbase。然后亩冬,通過(guò)一種叫做云梯的機(jī)制將算法結(jié)果推入中間層介質(zhì)中艘希,供推薦系統(tǒng)在線(xiàn)部分調(diào)用。在線(xiàn)部分提供引擎和實(shí)驗(yàn)分流硅急,將用戶(hù)的行為數(shù)據(jù)存儲(chǔ)進(jìn)入hadoop中覆享,數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)由hive來(lái)搭建,主要用來(lái)分析和統(tǒng)計(jì)hadoop中的用戶(hù)行為log营袜。這張圖不僅講了撒顿,推薦系統(tǒng)的架構(gòu)流程,也講了跟這個(gè)平臺(tái)有關(guān)系的人荚板,是怎么介入的凤壁,我覺(jué)得提供的信息可很好的參考。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末跪另,一起剝皮案震驚了整個(gè)濱河市拧抖,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌免绿,老刑警劉巖唧席,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡袱吆,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)距淫,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)绞绒,“玉大人,你說(shuō)我怎么就攤上這事榕暇∨詈猓” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵彤枢,是天一觀(guān)的道長(zhǎng)狰晚。 經(jīng)常有香客問(wèn)我,道長(zhǎng)缴啡,這世上最難降的妖魔是什么壁晒? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮业栅,結(jié)果婚禮上秒咐,老公的妹妹穿的比我還像新娘。我一直安慰自己碘裕,他們只是感情好携取,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著帮孔,像睡著了一般雷滋。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上文兢,一...
    開(kāi)封第一講書(shū)人閱讀 51,688評(píng)論 1 305
  • 那天晤斩,我揣著相機(jī)與錄音,去河邊找鬼姆坚。 笑死尸昧,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的旷偿。 我是一名探鬼主播烹俗,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼萍程!你這毒婦竟也來(lái)了幢妄?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤茫负,失蹤者是張志新(化名)和其女友劉穎蕉鸳,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡潮尝,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年榕吼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片勉失。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡羹蚣,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出乱凿,到底是詐尸還是另有隱情顽素,我是刑警寧澤,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布徒蟆,位于F島的核電站胁出,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏段审。R本人自食惡果不足惜全蝶,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望寺枉。 院中可真熱鬧裸诽,春花似錦、人聲如沸型凳。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)甘畅。三九已至埂蕊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間疏唾,已是汗流浹背蓄氧。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留槐脏,地道東北人喉童。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像顿天,于是被迫代替她去往敵國(guó)和親堂氯。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容