個性化推薦系列之推薦系統(tǒng)實(shí)踐

這是個性化推薦系統(tǒng)系列的最后一篇抓半,該系列將完結(jié)喂急;后續(xù)將開始研究信息架構(gòu)模塊的內(nèi)容;

1)笛求、個性化推薦系列之初步認(rèn)識推薦系統(tǒng);2)、個性化推薦系列之初步認(rèn)識機(jī)器學(xué)習(xí)探入;3)狡孔、個性化推薦系列之推薦系統(tǒng)的演化及常見推薦算法;4)蜂嗽、個性化推薦系列之協(xié)同過濾推薦算法總結(jié)苗膝;5)、個性化推薦系列之推薦系統(tǒng)實(shí)踐植旧;詳見知乎專欄--產(chǎn)品打雜https://zhuanlan.zhihu.com/zhoulink

--------------------------------------------------------------------------------------------------------------------------------------------------------------

我們前面說過辱揭,推薦系統(tǒng)是一個通過推薦算法來解決互聯(lián)網(wǎng)時代信息過載問題,以幫助用戶快速獲取信息并使用消費(fèi)的系統(tǒng)病附;

那么推薦系統(tǒng)怎么解決信息過載問題问窃,我們前面幾個部分做過一些總結(jié),可以通過協(xié)同過濾推薦算法完沪,將不同屬性的用戶和不同屬性的物品域庇,基于不同屬性的特征進(jìn)行匹配;

協(xié)同過濾作為推薦算法中最經(jīng)典的類型覆积,包括在線協(xié)同和離線過濾兩部分听皿;

所謂在線協(xié)同,就是通過在線數(shù)據(jù)找到用戶可能喜歡的物品宽档;而離線過濾尉姨,則是過濾掉一些不值得推薦的數(shù)據(jù),比比如推薦值評分低的數(shù)據(jù)吗冤,或者雖然推薦值高但是用戶已經(jīng)購買的數(shù)據(jù)又厉;

那么一個推薦系統(tǒng)到底包含哪些部分,到底是怎么工作的呢欣孤;

一套完整的推薦系統(tǒng)框架包括三個部分:

1)馋没、數(shù)據(jù)層(數(shù)據(jù)生產(chǎn)、數(shù)據(jù)存儲)降传;2)篷朵、候選集層;3)婆排、規(guī)則過濾排序?qū)樱ㄈ诤咸幚砩⒅嘏判蛘故荆?/p>

整體下來,一套完整的推薦系統(tǒng)包含以下五層段只;

1)腮猖、數(shù)據(jù)生產(chǎn)層;主要是利用各種數(shù)據(jù)處理工具(ETL赞枕、spark等)獲取系統(tǒng)用戶日志數(shù)據(jù)澈缺,并對用戶日志數(shù)據(jù)進(jìn)行清洗坪创,通過系統(tǒng)化處理方式對數(shù)據(jù)進(jìn)行轉(zhuǎn)換整理,處理成格式化的數(shù)據(jù)姐赡;

2)莱预、數(shù)據(jù)存儲層;將日志數(shù)據(jù)庫中經(jīng)過格式化處理并清洗的數(shù)據(jù)存儲到各自不同所屬類型的數(shù)據(jù)存儲系統(tǒng)中项滑,例如索引數(shù)據(jù)存儲在索引系統(tǒng)中依沮、結(jié)構(gòu)化日志數(shù)據(jù)存儲在日志系統(tǒng)中、場景數(shù)據(jù)存儲在場景系統(tǒng)中枪狂,通過將數(shù)據(jù)分布式歸集存儲危喉,以供下一層的算法和模型使用;

3)州疾、候選集層辜限;候選集層是基于用戶的歷史行為數(shù)據(jù)、實(shí)時行為數(shù)據(jù)孝治、地理位置數(shù)據(jù)等角度利用各種觸發(fā)策略產(chǎn)生推薦的候選集數(shù)據(jù)列粪,這部分?jǐn)?shù)據(jù)即為經(jīng)過推薦算法(協(xié)同過濾等)的某個引擎計算出來符合目標(biāo)用戶推薦的內(nèi)容集合;

4)谈飒、融合過濾層岂座;將候選集層通過用戶實(shí)時、歷史數(shù)據(jù)經(jīng)過推薦算法計算出來的候選內(nèi)容進(jìn)行高度融合操作杭措,對推薦內(nèi)容進(jìn)行處理费什,提高推薦策略的覆蓋度和精度;同時手素,該部分還要對這部分產(chǎn)生的內(nèi)容進(jìn)行高度解耦過濾鸳址,通過運(yùn)營手段、人工規(guī)則泉懦,將不符合條件的內(nèi)容過濾處理稿黍;

5)、重排序?qū)颖懒ǎ焕脵C(jī)器學(xué)習(xí)的模型對候選集層篩選出來的候選集內(nèi)容進(jìn)行重排序巡球,展示給前端用戶;

到這里邓嘹,我們基本了解一個推薦系統(tǒng)是怎么工作的了酣栈;那么什么才是好的推薦系統(tǒng);

一個完整的推薦系統(tǒng)一般存在三個參與方:1)汹押、用戶矿筝;2)、物品提供者棚贾;3)窖维、推薦系統(tǒng)所屬網(wǎng)站榆综;

這里為了簡潔明了說清楚問題,我們以圖書推薦為例陈辱;

1)奖年、首先推薦系統(tǒng)要滿足用戶的需求细诸,即給用戶推薦那些令他們感興趣的書籍沛贪;

2)、然后推薦系統(tǒng)要讓每個出版社的圖書都能夠被系統(tǒng)腿講給其感興趣用戶震贵,而不是只推薦某幾個大型出版社的書利赋;

3)、最后好的推薦系統(tǒng)設(shè)計猩系,能夠讓推薦系統(tǒng)本身收集到高質(zhì)量用戶的反饋媚送,不斷完善推薦的之類,增加用戶和網(wǎng)站的交互寇甸,提高網(wǎng)站的收入塘偎;

因?yàn)樵谠u測一個推薦算法時,需要同時考慮三方的利益拿霉,一個好的推薦系統(tǒng)是能夠讓參與的三方共贏的系統(tǒng)吟秩;

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市绽淘,隨后出現(xiàn)的幾起案子涵防,更是在濱河造成了極大的恐慌,老刑警劉巖沪铭,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件壮池,死亡現(xiàn)場離奇詭異,居然都是意外死亡杀怠,警方通過查閱死者的電腦和手機(jī)椰憋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來赔退,“玉大人橙依,你說我怎么就攤上這事±攵郏” “怎么了票编?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長卵渴。 經(jīng)常有香客問我慧域,道長,這世上最難降的妖魔是什么浪读? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任昔榴,我火速辦了婚禮辛藻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘互订。我一直安慰自己吱肌,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布仰禽。 她就那樣靜靜地躺著氮墨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪吐葵。 梳的紋絲不亂的頭發(fā)上规揪,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天,我揣著相機(jī)與錄音温峭,去河邊找鬼猛铅。 笑死,一個胖子當(dāng)著我的面吹牛凤藏,可吹牛的內(nèi)容都是我干的奸忽。 我是一名探鬼主播,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼揖庄,長吁一口氣:“原來是場噩夢啊……” “哼栗菜!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起抠艾,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤苛萎,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后检号,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體腌歉,經(jīng)...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年齐苛,在試婚紗的時候發(fā)現(xiàn)自己被綠了翘盖。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡凹蜂,死狀恐怖馍驯,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情玛痊,我是刑警寧澤汰瘫,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站擂煞,受9級特大地震影響混弥,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜对省,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一蝗拿、第九天 我趴在偏房一處隱蔽的房頂上張望晾捏。 院中可真熱鬧,春花似錦哀托、人聲如沸惦辛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽胖齐。三九已至,卻和暖如春俗或,著一層夾襖步出監(jiān)牢的瞬間市怎,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工辛慰, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人干像。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓帅腌,卻偏偏與公主長得像,于是被迫代替她去往敵國和親麻汰。 傳聞我的和親對象是個殘疾皇子速客,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內(nèi)容