一获洲、策略類項(xiàng)目的流程
二磨取、為什么要做多輪評(píng)估？
三畔乙、評(píng)估類型
四君仆、策略質(zhì)量評(píng)估
策略質(zhì)量評(píng)估用來說明策略本身的質(zhì)量
輸出結(jié)論：該策略的召回率和準(zhǔn)確率
1）召回率=希望被覆蓋的案例中，策略實(shí)際覆蓋到的案例/理想態(tài)下希望策略覆蓋到的案例
代表策略對(duì)問題的解決程度
2）準(zhǔn)確率=策略覆蓋的案例中牲距，真正希望被覆蓋到的/策略覆蓋的所有案例
代表策略有沒有帶來其他傷害
（我們希望兩者越高越好７翟邸）
例子：
以上例子中，
召回率=6/10=60%
準(zhǔn)確率=6/9=66.7%
策略質(zhì)量評(píng)估方法：
案例：性別識(shí)別策略
在所有用戶中隨機(jī)抽取1k人牍鞠，通過策略識(shí)別咖摹，其中368個(gè)人為男生。對(duì)1k個(gè)人進(jìn)行人工標(biāo)注难述，共標(biāo)注385個(gè)男生萤晴、78個(gè)無法識(shí)別，剩余女生胁后。其中策略識(shí)別為男生的對(duì)象中有314個(gè)真的為男生店读、22個(gè)是人工標(biāo)注的無法識(shí)別，策略識(shí)別成女生的里面還有71個(gè)是男生攀芯，那么：
召回率=識(shí)別出的男生314/所有男生385=81.6%
準(zhǔn)確率=（真正的男生314+無法識(shí)別22）/策略識(shí)別的所有男生368=91.3%
（注意這里的無法識(shí)別問題）
五屯断、Diff評(píng)估
在一個(gè)復(fù)雜的策略體系中，各種策略會(huì)相互作用侣诺，共同影響最終效果殖演，比如搜索、推薦年鸳。
在迭代其中某條策略時(shí)趴久，除了評(píng)估策略本身的召回和準(zhǔn)確，還要關(guān)注在策略變化前后搔确，用戶角度直接感受到的產(chǎn)品效果變化是怎樣的朋鞍。
輸出結(jié)論：diff影響面、good：same：bad
1）diff影響面：策略調(diào)整后妥箕，用戶感知發(fā)生變化的比例，通常小于策略影響面
2）good：same：bad（簡稱g：s：b）：隨機(jī)抽樣有變化的case更舞，站在用戶體驗(yàn)角度評(píng)估效果變好了畦幢、無變化、還是變差了缆蝉。
例子：
Diff評(píng)估方法：
案例：性別識(shí)別策略
在所有用戶中隨機(jī)抽取1k個(gè)人宇葱，新舊策略分別識(shí)別后瘦真，有210個(gè)結(jié)果不同。98個(gè)新策略男黍瞧、舊策略女诸尽，112個(gè)新策略女、舊策略男印颤。
對(duì)這210個(gè)結(jié)果進(jìn)行人工標(biāo)注您机，其中135個(gè)是新策略對(duì)、舊策略錯(cuò)年局，24個(gè)新策略錯(cuò)际看、舊策略對(duì)，還有51個(gè)人工判斷不出性別矢否，認(rèn)為新舊策略識(shí)別是男是女都可以仲闽、新舊變化為same，那么：
diff影響面：新舊結(jié)果不同的210/所有樣本1000=21%
G:S:B=135:51:24
六僵朗、策略評(píng)估三步方法論
策略PM通用方法論
第一步：基于理想態(tài)赖欣，找到問題
策略召回率理想是100%，目前只有60%验庙，剩余40%沒被策略召回
策略diff評(píng)估中占比10%的bad?case
第二步：匯總和抽象問題顶吮，提出解決問題思路or方向
40%未召回case主要是3類問題，分別應(yīng)該通過xxx思路解決
目前占比10%的bad?case主要是xxx原因壶谒，需要解決
第三步：給出結(jié)論
問題依然很嚴(yán)重云矫，需要繼續(xù)優(yōu)化or問題可接受、策略可以上線了
老問題：以投入產(chǎn)出比為主要考慮因素汗菜，通常以項(xiàng)目預(yù)期為終點(diǎn)
新問題：通常容忍度較低让禀。以pm認(rèn)為的不可忍受的體驗(yàn)為標(biāo)準(zhǔn)
七、簡單策略評(píng)估循環(huán)的案例
項(xiàng)目目標(biāo)：準(zhǔn)確識(shí)別出圖中的藍(lán)色點(diǎn)
第一輪評(píng)估：
第一步：基于理想態(tài)陨界，找到問題
綠圈里的藍(lán)點(diǎn)沒有被曲線覆蓋
錯(cuò)誤覆蓋了紅圈里的兩個(gè)點(diǎn)
第二步：匯總和抽象問題巡揍，提出解決問題or思路
1、2的點(diǎn)在曲線上方菌瘪，3在下方腮敌，至少是2次函數(shù)
1和2的斜率不一樣，可能是3次或更復(fù)雜函數(shù)
第三步：給出結(jié)論
目前方案只能勉強(qiáng)覆蓋三個(gè)點(diǎn)俏扩、召回率不到30%糜工；
準(zhǔn)確率也一般，召回了兩個(gè)綠點(diǎn)录淡，準(zhǔn)確率只有60%捌木。
還需要繼續(xù)優(yōu)化。
第二輪評(píng)估：
第一步：基于理想態(tài)嫉戚，找到問題
圈2里還有一個(gè)點(diǎn)沒有召回
第二步：匯總和抽象問題刨裆，提出解決問題or思路
之前提過的呀澈圈，1和2的斜率不一樣，可能是3次或更復(fù)雜函數(shù)帆啃，用2次函數(shù)搞不定的
第三步：給出結(jié)論
其實(shí)目前召回率已經(jīng)90%+了瞬女，準(zhǔn)確也非常好∨耍可以上線了诽偷。
不過如果成本可控的話，再努力下最后一個(gè)點(diǎn)慈俯？
第三輪評(píng)估：
八渤刃、總結(jié)
開發(fā)過程中的評(píng)估是策略PM的必經(jīng)之路，是PM和RD通過深度配合在黑暗中找到道路的重要環(huán)節(jié)贴膘。
召回率卖子、準(zhǔn)確率、diff影響面刑峡、g：s：b四個(gè)指標(biāo)是策略評(píng)估的主心骨洋闽，所有評(píng)估都是圍繞著他們發(fā)現(xiàn)和抽象問題的過程。
以上為三節(jié)課策略產(chǎn)品課程個(gè)人學(xué)習(xí)筆記突梦。
