前章:http://www.reibang.com/p/7abcecdb83ef
在設(shè)計推薦系統(tǒng)之前穿挨,我們需要明確什么才是一個好的推薦系統(tǒng)共郭,指標有哪些寞忿。
用戶期望
用戶想看什么內(nèi)容呢锐峭?
用戶正在尋找某一個內(nèi)容,我們就把這個東西推薦給他了胯究;
用戶最近對某一類內(nèi)容非常感興趣,我們就把這一類的優(yōu)質(zhì)內(nèi)容推薦給用戶躁绸;
用戶完全沒有目標裕循,但是我們根據(jù)用戶行為推薦了一個內(nèi)容,用戶看到之后涨颜,覺得這個內(nèi)容真的很好费韭,發(fā)現(xiàn)了新世界!
根據(jù)這些場景庭瑰,我們應(yīng)該怎么設(shè)計我們的推薦系統(tǒng)呢星持?有哪些指標呢?
衡量指標
預(yù)測的準確性
我們推薦出來的商品用戶是否喜歡弹灭,是否準確督暂?我喜歡燒腦劇情片,結(jié)果推薦出來一個超級英雄片穷吮,這肯定是不適合的逻翁。
我們可以統(tǒng)計用戶數(shù)據(jù),然后按照時間緯度捡鱼,將基礎(chǔ)數(shù)據(jù)分成基礎(chǔ)數(shù)據(jù)(訓練集)和校驗數(shù)據(jù)(測試集)八回,我們在基礎(chǔ)數(shù)據(jù)中建立用戶模型,然后預(yù)測用戶在測試集的行為驾诈。最后通過對比預(yù)測數(shù)據(jù)與用戶在測試集的真是行為缠诅,得出我們的預(yù)測準確度。
時效性
時效性有兩個緯度乍迄,一個用戶行為緯度管引,一個內(nèi)容緯度。
從用戶行為來說闯两,用戶現(xiàn)在剛剛瀏覽一個招聘信息褥伴,那就應(yīng)該及時的向用戶其他的招聘網(wǎng)站或者相關(guān)企業(yè)招聘。如果不夠及時漾狼,后續(xù)才推薦重慢,那么不但達不到推薦效果,還可能對用戶造成干擾逊躁。
從內(nèi)容緯度來說伤锚,基礎(chǔ)數(shù)據(jù)要權(quán)衡好新老內(nèi)容。以新浪微博為例:新的熱點內(nèi)容,因為觸達的用戶較少屯援,熱度較低猛们,指標可能都不如老內(nèi)容。那么如何保證新的熱點內(nèi)容狞洋,及時推薦給用戶弯淘?保證用戶同時接觸到新內(nèi)容,和經(jīng)過沉淀的優(yōu)質(zhì)內(nèi)容吉懊?
推薦系統(tǒng)需要在設(shè)計時庐橙,將時間也作為一個指標,保證新內(nèi)容茁壯生長借嗽,老的內(nèi)容慢慢死亡态鳖。
覆蓋率
覆蓋率指的是被推薦的商品占總商品的比例,隨著長尾理論恶导,我們需要保證小眾的內(nèi)容也能順利地推送給用戶浆竭,這也是推薦系統(tǒng)的魅力,將平常很難接觸到的內(nèi)容推薦給用戶惨寿,讓用戶發(fā)現(xiàn)要給新天地邦泄。
衡量方法:我們可以統(tǒng)計所有的產(chǎn)品被推薦的次數(shù),按照次數(shù)進行排序做一張物品流行度分布表裂垦,如果曲線非常陡峭顺囊,說明推薦主要集中在熱門商品,不利于內(nèi)容的覆蓋率蕉拢;如果曲線比較平緩 特碳,說明對長尾內(nèi)容覆蓋的比較好,用戶理論上容易發(fā)現(xiàn)更廣闊的世界晕换。
多樣性
每個人都是一個復(fù)雜的人午乓,興趣是非常復(fù)雜的,比如我既喜歡看恐怖電影届巩,也喜歡看熱血動漫硅瞧,假如只推薦一種類型的信息份乒,用戶非常容易的疲勞恕汇。所以我們需要基于相似用戶也喜歡的方式,給用戶推薦少量的其他類別的信息或辖,來引導(dǎo)用戶發(fā)現(xiàn)更多感興趣的內(nèi)容瘾英。
在安排多樣性內(nèi)容的時候,建議采取2/8定律颂暇,多樣性的內(nèi)容總占比保持在20%左右
驚喜度serendipity
什么叫驚喜的推薦結(jié)果缺谴?推薦結(jié)果和用戶的歷史興趣不相似,但是用戶卻非常滿意耳鸯!這就是驚喜湿蛔。由于與用戶的歷史興趣相似度很小膀曾,無法通過基于內(nèi)容的推薦方式,只能通過相似用戶也喜歡的方式或者這種推薦結(jié)果阳啥。
商業(yè)價值
作為系統(tǒng)設(shè)計者添谊,為了實現(xiàn)商業(yè)價值。人為推送內(nèi)容到用戶的推薦系統(tǒng)中察迟。這個時候我們必須非常謹慎小心斩狱,時時關(guān)注推薦效果,用戶對于這些推薦內(nèi)容的感受扎瓶,實際的商業(yè)收益等等指標所踊。要避免因一次失敗的商業(yè)活動,摧毀用戶對于我們推薦系統(tǒng)的信任度概荷。推薦系統(tǒng)的商業(yè)化需要謹慎進行秕岛。
一般建議采取A/B test的方法,對照被人為推送內(nèi)容的用戶與未推送內(nèi)容的用戶之間的區(qū)別乍赫,整個推薦系統(tǒng)的內(nèi)容的關(guān)注度是否降低/增長了瓣蛀?推廣的效果如何,有無達到商業(yè)目的雷厂?
健壯性
將內(nèi)容推薦給用戶惋增,增加了內(nèi)容的曝光度。那么就會有很多內(nèi)容的提供度改鲫,會人為的干擾推薦結(jié)果诈皿,例如淘寶刷單,微博水軍等等像棘。
至于提高健壯性的方法稽亏,太廣太大,這里簡說一下看法:橫向?qū)Ρ嚷铺狻R运螢槔厍福脩舻臋M向?qū)Ρ龋罅康奶詫毿√栄塘悖⒑迷u瘪松,刷銷量。那么在系統(tǒng)上這些小號锨阿,肯定存在一些特征:例如購買的東西一般都是促銷商品宵睦,每周購買大量同類的,單價低的商品墅诡,確認收貨的速度很快壳嚎,商品評價描述單一等等;商品緯度:可以檢測單品的熱度,如果某個單品在同類別熱度增長異常烟馅,就觸發(fā)系統(tǒng)預(yù)警说庭,進行多緯度的檢查。
系統(tǒng)能做的就是不斷增加系統(tǒng)的健壯性郑趁,提高干擾的難度口渔。提高健壯性是一個長期斗智斗勇的工作。
判斷健壯性的方式:建立一個訓練集穿撮,計算出推薦結(jié)果A缺脉;然后進行人為攻擊干擾,重新計算推薦結(jié)果B悦穿;對比A和B攻礼,就可以計算出系統(tǒng)的健壯性。
思考的緯度
用戶緯度
用戶是否得到了自己感興趣的內(nèi)容栗柒?
物品緯度
物品是否被合適的推送給用戶了礁扮?
時間緯度
是否在合適的時間,將內(nèi)容推送給用戶瞬沦?
空間緯度
是否在合適地點太伊,將內(nèi)容推送給用戶?這是非常常見的O2O場景逛钻。
未完待續(xù)
引申閱讀:部分內(nèi)容參考自《推薦系統(tǒng)實踐》項亮編僚焦,很不錯的書,歡迎大家閱讀