推薦質(zhì)量評(píng)價(jià)指標(biāo)
Precision & Recall & F1-Measure
內(nèi)容過(guò)于基礎(chǔ)扭粱，在此不作詳細(xì)描述。如有興趣滔蝉，請(qǐng)參考以下鏈接:
- 準(zhǔn)確率(Accuracy), 精確率(Precision), 召回率(Recall)和F1-Measure
- Precision and Recall - Wikipedia
RMSE
均方誤差(Root Mean Square Error, RMSE), 其計(jì)算公式如下:
%5E2%7D%7D)
MAP
平均正確率均值(Mean Average Precision, MAP)
其中 
的計(jì)算方法如下：
%20%5Ctimes%20%5Coperatorname%7Brel%7D(k))%7D%7B%5Cmbox%7B%23%20of%20relevant%20documents%7D%7D%20%5C!)
其中巴比，
為檢索結(jié)果隊(duì)列中的排序位置，)
為前 個(gè)結(jié)果的準(zhǔn)確率站楚，)
表示位置 的文檔是否相關(guān)脱惰，相關(guān)為 
，不相關(guān)為 
窿春。
即是將多個(gè) 
對(duì)應(yīng)的 求平均:
%7D%7D%7BQ%7D%20%5C!)
為 的數(shù)量拉一。
NDCG
CG
（cumulative gain采盒，累計(jì)增益）可以用于評(píng)價(jià)基于打分/評(píng)分的個(gè)性推薦系統(tǒng)。假設(shè)我們推薦 個(gè)物品, 這個(gè)推薦列表的 
計(jì)算公式如下:
表示第 個(gè)物品的相關(guān)性或者評(píng)分舅踪。假設(shè)我們共推薦 個(gè)電影纽甘， 可以是用戶對(duì)第i部電影的評(píng)分。
比如豆瓣給用戶推薦了五部電影:
該用戶對(duì)這五部電影的評(píng)分分別是:
那么這個(gè)推薦列表的 等于
DCG
沒(méi)有考慮推薦的次序抽碌，在此基礎(chǔ)之后我們引入對(duì)物品順序的考慮, 就有了 
(Discounted CG), 折扣累積增益悍赢。公式如下:
%7D)
上例中推薦列表的 等于:
NDCG
沒(méi)有考慮到推薦列表和每個(gè)檢索中真正有效結(jié)果個(gè)數(shù), 所以最后我們引入 
(Normalized discounted CG), 顧名思義就是標(biāo)準(zhǔn)化之后的 。
其中IDCG是指 
货徙，也就是完美結(jié)果下的 左权。
繼續(xù)上面的例子, 如果相關(guān)電影一共有7部:
該用戶對(duì)這七部電影的評(píng)分分別是:
把這 7 部電影按評(píng)分排序
5, 4, 3, 2, 2, 1, 0
這個(gè)情況下的完美 是
所以
是 到 的數(shù)，越接近 說(shuō)明推薦越準(zhǔn)確痴颊。
NDCG提供了一種計(jì)算方式赏迟，當(dāng)我們有其他排名類似的需求的時(shí)候， 都是值得參考的蠢棱，其 
以及 
的計(jì)算的變化可以產(chǎn)生很多其他有價(jià)值的評(píng)價(jià)指標(biāo)锌杀。
MRR
平均倒數(shù)排名(Mean Reciprocal Rank, MRR), 是統(tǒng)計(jì)學(xué)中，依據(jù)排序的正確性泻仙，對(duì)查詢請(qǐng)求響應(yīng)結(jié)果的評(píng)估糕再。查詢響應(yīng)結(jié)果的倒數(shù)排名是第一個(gè)正確答案的倒數(shù)積。平均倒數(shù)排名是多個(gè)查詢結(jié)果的平均值玉转。
平均倒數(shù)排名的倒數(shù)正好表示所有排名的調(diào)和平均值突想。
備注
- 如果所有結(jié)果都不正確，結(jié)果為
- 如果存在多個(gè)正確答案究抓，考慮使用平均準(zhǔn)確度 ()
參考文獻(xiàn)
- Evaluation_measures_(information_retrieval)
- 平均倒數(shù)排名
- 信息檢索中的評(píng)價(jià)指標(biāo)MAP和NDCG
- 怎么理解推薦系統(tǒng)中的NDCG猾担？
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
