我們從之前的課程可以學到徘溢,作為一個策略產(chǎn)品經(jīng)理,基本的工作流程可能包含以下四步:
這其實是一個從發(fā)現(xiàn)問題到解決問題的完整循環(huán)捆探。
那么如何用戶問題進而發(fā)現(xiàn)需求呢然爆?從策略的角度來說,共有四種方法:用戶反饋收集黍图、系統(tǒng)監(jiān)控曾雕、效果回歸、階段性調(diào)研
課程截圖
1.用戶反饋收集
比如助被,高德地圖有用戶反饋自己又在西直門大橋上轉(zhuǎn)了三圈才下來剖张,那PM就要注意下切诀,“轉(zhuǎn)了三圈”這件事情太不正常了,是不是導(dǎo)航上某個環(huán)節(jié)的引導(dǎo)不夠合理搔弄,導(dǎo)致用戶沒有注意到而錯過了出口呢幅虑?
2.系統(tǒng)監(jiān)控
監(jiān)控可以主動幫我們發(fā)現(xiàn)產(chǎn)品出了什么問題,比如顾犹,今日頭條的PM收到一條系統(tǒng)報警的短信:過去一小時頭條的首頁結(jié)果點擊率同比上周下降了20%倒庵。這周的KPI要完不成了,需要趕緊看一下是什么地方出了問題炫刷。
3.效果回歸
每次新版本上線后擎宝,PM都要做下效果回歸,看看新版本是否符合預(yù)期浑玛,這是一個非常直接的發(fā)現(xiàn)問題的途徑绍申。比如說,滴滴的拼車功能上線了顾彰,需要評估下拼車的成功率和拼成后的取消率有沒有達成這個版本的優(yōu)化目標极阅,有沒有出現(xiàn)新的問題等等。
4.階段性調(diào)研
階段性調(diào)研是PM抽出一整天或者一整周的時間從頭到尾梳理自己的產(chǎn)品到底有什么問題涨享。比如到季度末了涂屁,百度搜索的PM開始整體地去評估網(wǎng)頁搜索的效果,去確定下個Q產(chǎn)品的優(yōu)化目標和方向灰伟。
很多時候我們不知道問題出在哪里
一.用戶反饋收集
課程截圖
1.處理用戶反饋的基本流程
課程截圖
a.收集用戶問題拆又,要知道從哪里去獲取用戶反饋
b.用戶反饋分析,要弄清楚反饋背后對于的產(chǎn)品問題是什么
c.整理撰寫需求栏账,將問題對應(yīng)的解決方案整理成需求
d.落實產(chǎn)品改進
其中
(1)收集用戶問題的常見渠道
自有渠道:
-產(chǎn)品各個端上的用戶反饋入口 產(chǎn)品內(nèi)部
-客服收集到的問題? 一般非常重要
外部渠道:
-各類應(yīng)用商店評論?
-微博帖族、貼吧等媒體渠道的評論 關(guān)鍵詞搜索
(2)用戶反饋分析的方法
數(shù)據(jù)處理:清洗、標注
問題整理:分析挡爵、匯總
課程截圖
數(shù)據(jù)處理的步驟:瀏覽了解數(shù)據(jù)內(nèi)容——刪除無效數(shù)據(jù)——對反饋問題進行標注竖般,理解背后反映的問題
首先要看下反饋數(shù)據(jù)的格式內(nèi)容,這份數(shù)據(jù)可能是應(yīng)用商店收集來的茶鹃,可能是RD抓取來的涣雕,也可能是客服人員日常記錄的。大致的瀏覽數(shù)據(jù)維度闭翩、格式和內(nèi)容挣郭,可以幫助我們更好的進入下一步。
因為提供數(shù)據(jù)的人可能不知道PM的分析需求,里面有可能會有無效數(shù)據(jù)。因此我們需要刪掉這些無效數(shù)據(jù)鲤竹,幫助我們減少接下來標注工作的成本箫老。
接下來就可以對剩下的有效數(shù)據(jù)進行一一標注流译,理解背后反映的問題逞怨。但是這里要清楚一點:“數(shù)據(jù)是有效的,但不一定是有效的反饋”福澡。
課程截圖
常見問題分類:“不是問題”叠赦、“已知問題”、“未知問題”
1.不是問題:常見為用戶的抱怨革砸,在產(chǎn)品當前的服務(wù)范疇之外
2.已知問題:常見為優(yōu)先級不高除秀、或已在項目計劃中還未上線未排上需求的老問題
3.未知問題:常見為新版本問題或之前沒發(fā)現(xiàn)的老問題,如果無法直接判斷原因业岁,需要抽取當時具體session(自有渠道)、或進行用戶回訪(外部渠道)定位問題寇蚊。
【問題整理實例】——某外賣平臺應(yīng)用商店評論
部分原始數(shù)據(jù)
進行問題標注和問題分類
部分問題標注笔时,進行統(tǒng)計,做一個excel數(shù)據(jù)透視表如圖所示
數(shù)據(jù)透視表整理數(shù)據(jù)
數(shù)據(jù)透視表整理數(shù)據(jù)
(3)用戶反饋分析的局限性
課程截圖
用戶反饋分析的局限性:
雖然直觀仗岸,但是收集到的問題比較隨機允耿,很難反映產(chǎn)品現(xiàn)狀的全局。
雖然可能代表一類問題扒怖,但是問題的影響面和優(yōu)先級比較難判斷较锡。
(4)小結(jié)
課程截圖
每一個反饋背后都是一個真實用戶的情感表達,以敬畏心態(tài)深入分析每一個問題盗痒。
首先蚂蕴,敬畏用戶的感受。當你聽到他的聲音的時候他已經(jīng)很痛了俯邓。
其次骡楼,敬畏反饋背后隱藏的問題』蓿可能這就是一個堤壩上的蟻穴鸟整。
? ?二.系統(tǒng)監(jiān)控
課程截圖
方法二、系統(tǒng)監(jiān)控
一朦蕴、系統(tǒng)監(jiān)控是什么
系統(tǒng)監(jiān)控是一種針對相對穩(wěn)定的產(chǎn)品篮条,通過對數(shù)字性指標的收集和觀察,自動吩抓、實時發(fā)現(xiàn)問題的有效手段涉茧。
首先,系統(tǒng)監(jiān)控作用的產(chǎn)品類型是相對成熟和穩(wěn)定的疹娶,因為我們要用機器的手段去發(fā)現(xiàn)問題降瞳,如果這個產(chǎn)品三天兩頭在重構(gòu),所有的數(shù)據(jù)表現(xiàn)一直在變,那我們是沒辦法去做監(jiān)控的挣饥。并且對于一個成熟產(chǎn)品除师,它的模塊通常比較多且復(fù)雜,PM沒辦法頻繁去檢查每個環(huán)節(jié)是否正常扔枫,那這個時候就可以借助機器的力量了汛聚。而機器很難模擬用戶的真實體驗,所以我們的監(jiān)控對象是各類統(tǒng)計性的指標短荐。
自動指的是我們可以利用機器去執(zhí)行倚舀,可以一天24小時不停地去監(jiān)控。實時指的是可以持續(xù)不斷的去監(jiān)控忍宋,并且可以在問題發(fā)生的第一時間去獲知痕貌。自動和實時在很大程度上減少了我們的人力成本,并且增加了問題發(fā)現(xiàn)的時效性糠排,可以及時幫助我們?nèi)ブ箵p舵稠。
系統(tǒng)監(jiān)控是一個自動化的報警手段,能伴我們解放雙手入宦,只要我們給到對應(yīng)的規(guī)則哺徊,不需要主動挖掘,自動的能幫助我們發(fā)現(xiàn)需求乾闰。
二落追、如何搭建監(jiān)控體系
課程截圖
分為兩步:
1.定義待監(jiān)控指標:告訴機器要觀察哪些指標
2.定義報警規(guī)則:告訴機器什么時候&如何通知我們
1.如何定義待監(jiān)控指標
課程截圖
所以的產(chǎn)品流程都可以用上圖的框架來抽象,整個框架分為兩個部分涯肩。
一部分是用戶直接感受到的轿钠,用戶和產(chǎn)品發(fā)生的交互動作,就是前臺病苗,比如說行為1谣膳、行為2,這部分可以稱為“白盒”铅乡。白盒直接反映了用戶的體驗继谚,這是需要我們密切關(guān)注的。
另一部分是用戶發(fā)起請求的時候阵幸,我們?yōu)榱私o出下一步的反饋花履,系統(tǒng)內(nèi)部不同模塊做出的一系列動作,是后臺挚赊。這些是用戶不會直接感受到的诡壁,但這些動作直接影響了產(chǎn)品給出的反饋結(jié)果是什么,這些我們稱之為“黑盒”荠割。黑盒部分的運轉(zhuǎn)是否正常妹卿,間接影響了用戶的體驗旺矾。
案例1:百度搜索
案例2:滴滴出行
案例3:淘寶消息推送
白盒部分可能會有功能和策略共同去作用控制,我們把整個這個控制以及針對他的監(jiān)控稱之為“效果監(jiān)控”夺克,指的是整個產(chǎn)品的體驗效果的監(jiān)控箕宙。我們把其中可以用來衡量用戶體驗的核心指標抽出來作為待監(jiān)控指標。
黑盒部分監(jiān)控的其實是各個模塊之間的交互铺纽,怎樣可以一步步地輸出用戶可以感知到的結(jié)果柬帕。對于功能產(chǎn)品來說,這其實是純粹的技術(shù)模塊之間的交互狡门,比如說客戶端和服務(wù)端API陷寝,服務(wù)端API跟更多的掛載的數(shù)據(jù)和服務(wù)之間的交互等等。這里的監(jiān)控系統(tǒng)通常是由研發(fā)人員去搭建和維護的其馏。對于功能和策略共存的產(chǎn)品來說凤跑,黑盒部分是有很多策略模塊的,是需要由PM重點關(guān)注和觀察的叛复,所以這里面的監(jiān)控系統(tǒng)是需要PM提出和發(fā)起搭建的仔引。
所以,站在策略PM的角度致扯,除了要針對白黑的效果監(jiān)控之外肤寝,還要針對黑盒中的策略模塊的監(jiān)控当辐,稱之為“策略監(jiān)控”抖僵。將效果監(jiān)控分開,我們需要選取能夠衡量各個策略效果的核心指標作為待監(jiān)控指標缘揪。
根據(jù)產(chǎn)品流程的框架耍群,我們把監(jiān)控分為兩種類型。
系統(tǒng)監(jiān)控類型
1.效果監(jiān)控
針對產(chǎn)品的白盒部分找筝,監(jiān)控用戶的體驗蹈垢,即產(chǎn)品的核心目標。該指標發(fā)生異常變化時需要重點即刻關(guān)注袖裕。
2.策略監(jiān)控
針對產(chǎn)品的黑盒部分曹抬,監(jiān)控某個策略的運轉(zhuǎn)情況,對象為各類中間指標急鳄。該指標經(jīng)常受到某個項目迭代影響谤民,監(jiān)測作用大于監(jiān)控。
舉例疾宏,左邊是效果監(jiān)控张足,右邊是策略監(jiān)控。
“策略監(jiān)控并不一定直接影響用戶的體驗”
2.定義報警規(guī)則
觸發(fā)報警的條件:什么時候報警
報警的方式:怎么報警
觸發(fā)報警的條件
根據(jù)產(chǎn)品歷史數(shù)據(jù)得到正常波動區(qū)間坎藐,在正常區(qū)間外即發(fā)起報警給相關(guān)負責人为牍。
報警方式
監(jiān)控指標的重要程度和波動幅度決定了響應(yīng)的及時性,我們根據(jù)響應(yīng)的及時性來選擇不同的報警方式:電話、短信碉咆、郵件抖韩。
如何界定正常波動區(qū)間?
1.數(shù)據(jù)敏感度
波動是否超越歷史波動范圍吟逝,有一些歷史數(shù)據(jù)帽蝶,去掉噪點
2.三西格瑪理論
符合正態(tài)分布,波動范圍在
如何評估指標重要程度块攒?
兩個衡量維度:對產(chǎn)品核心目標(用戶體驗励稳、收入等)的影響面和影響程度。
四個分類:不重要囱井、一般重要驹尼、重要、很重要
案例:今日頭條的抓取策略
我們?nèi)绾芜x擇報警方式庞呕?
課程截圖
1.波動幅度高新翎、重要程度低:短信
2.波動幅度高、重要程度高:電話
3.波動幅度低住练、重要程度高:短信
4.波動幅度低地啰、重要程度低:郵件
2.2舉個例子【實例】效果監(jiān)控系統(tǒng)搭建:
網(wǎng)頁搜索中圖片類特型結(jié)果的監(jiān)控體系搭建
一、什么是網(wǎng)頁搜索中的圖片類特型結(jié)果讲逛?
宜賓菜壩機場搜索結(jié)果
搜索“宜賓菜壩機場”亏吝,首頁展現(xiàn)四張圖片。
九寨溝搜索結(jié)果
搜索“九寨溝”盏混,除了展現(xiàn)四張圖片蔚鸥,上面還有景點的推薦。
云豹搜索結(jié)果
搜索“云豹”许赃,展現(xiàn)了兩排圖片止喷,且圖片有大有小,有豎圖有橫圖混聊。
頭像搜索結(jié)果
搜索“頭像”弹谁,展示的圖片數(shù)量很多,且有篩選功能句喜。
以上幾種都是圖片類特型結(jié)果预愤。
這些用戶的搜索詞(宜賓菜壩機場、九寨溝藤滥、云豹鳖粟、頭像等)背后有圖片類的需求。
二拙绊、搜索產(chǎn)品框架
首先用戶輸入搜索詞向图,然后用戶就會看到搜索結(jié)果泳秀,如果用戶看到了合適的搜索結(jié)果就會點擊,還沒有找到就會翻頁榄攀,或者沒有檢索到所需內(nèi)容更換搜索詞重新搜索嗜傅。這是白盒部分。
用戶輸入搜索詞之后檩赢,系統(tǒng)會對用戶輸入的文本進行分析吕嘀,識別背后的需求,這是需求識別策略贞瞒。然后在數(shù)據(jù)庫中檢索產(chǎn)生排序偶房,這是檢索策略。最后選擇什么的樣式展現(xiàn)給用戶军浆,這是展現(xiàn)策略棕洋。這些是黑盒部分。
三乒融、如何搭建網(wǎng)頁搜索中圖片特型結(jié)果的效果監(jiān)控(針對白盒部分)
我們將白盒部分的產(chǎn)品流程進行歸類掰盘,以幫助我們更好的梳理邏輯。
首先赞季,我們將用戶能“看到結(jié)果”成為產(chǎn)品的覆蓋情況愧捕。接下來用戶要表達是否滿足,這里包含一些不同的點擊行為申钩,比如說點擊次绘,繼續(xù)翻頁,更換搜索詞再次搜索等等典蜕,我們稱之為產(chǎn)品的滿足效果断盛。
1.效果監(jiān)控的兩部分內(nèi)容
覆蓋情況:當用戶表達圖片類需求時罗洗,產(chǎn)品展現(xiàn)在搜索結(jié)果中
滿足效果:當用戶看到該特型結(jié)果時愉舔,產(chǎn)生了點擊或其他代表滿足的行為
2.衡量覆蓋情況的監(jiān)控指標
影響面:圖片特型結(jié)果的展現(xiàn)流量/網(wǎng)頁搜索總流量
為了更細化,我們定義以下的指標:更細粒度的指標:展現(xiàn)首位影響面伙菜、展現(xiàn)二位影響面轩缤、... 、展現(xiàn)第十位影響面
覆蓋情況的報警規(guī)則:
小時級監(jiān)控:同比上周同期波動>5%時贩绕,以短信形式發(fā)出報警火的;波動>20%時,以電話形式發(fā)出報警淑倾。
3.衡量滿足效果的監(jiān)控指標
用戶的滿足效果分為正向和負向馏鹤,正向反饋為點擊行為,負向反饋是翻頁和更改搜索詞等等行為娇哆。
針對正向反饋湃累,我們設(shè)置監(jiān)控指標為:
點擊率:點擊圖片特型結(jié)果次數(shù)/結(jié)果總展現(xiàn)次數(shù)
展現(xiàn)首位點擊率...展現(xiàn)第十位點擊率等等
針對負向反饋勃救,我們設(shè)置監(jiān)控指標為:
翻頁比例:結(jié)果展現(xiàn)后用戶翻頁的次數(shù)/結(jié)果總展現(xiàn)次數(shù)
更改搜索詞比例:結(jié)果展現(xiàn)后用戶更改搜索詞的次數(shù)/結(jié)果總展現(xiàn)次數(shù)
滿足效果的報警規(guī)則:
根據(jù)歷史數(shù)據(jù),小時級的監(jiān)控數(shù)據(jù)波動比較大治力,天級的監(jiān)控數(shù)據(jù)比較穩(wěn)定蒙秒,但是天級監(jiān)控具有滯后性,因此依然保留小時級監(jiān)控宵统,但是將閾值放高晕讲,天級監(jiān)控時效性不高,重要程度下調(diào)一檔马澈。
小時級監(jiān)控:同比上周同期波動>50%時瓢省,以短信形式發(fā)出報警
天級監(jiān)控:同比上周同日波動>5%時,以郵件形式報警痊班,波動>20%時净捅,以短信形式發(fā)出報警。
四辩块、策略產(chǎn)品經(jīng)理工作中的“黑話”
圖片類特型:指圖片類特殊類型的結(jié)果蛔六,在百度又被稱作阿拉丁結(jié)果,常見的還有天氣類特型废亭、地圖類特型等国章。
Session:指用戶行為的一個片段,包括一個或多個連續(xù)動作豆村。對于不同產(chǎn)品液兽,會根據(jù)其業(yè)務(wù)類型自行定義如何將某用戶的所有行為切割成不同片段,通常以用戶在產(chǎn)品上完成一個獨立的目的為切割方式掌动。所以Session是評估用戶某個需求的滿足程度的最小數(shù)據(jù)單元四啰。
Query:指搜索詞
Tab:原義指標簽,通常指產(chǎn)品導(dǎo)航欄
實例:如何搭建網(wǎng)頁搜索中圖片特型類結(jié)果的策略監(jiān)控(針對黑盒部分)
一粗恢、圖片特型結(jié)果的策略環(huán)節(jié)
課程截圖
1.需求識別策略
首先識別用戶的搜索詞是否包含圖片需求
2.檢索策略
如果識別為圖片需求柑晒,開始針對性地在圖片結(jié)果庫中進行檢索
3.展現(xiàn)策略
將檢索到的結(jié)果以符合用戶需要的樣式進行展現(xiàn)
二、需求識別策略
1.如何衡量需求識別策略的效果眷射?
策略的目標是將所有背后隱含圖片需求的搜索詞都識別出來匙赞,而且沒有隱含的都不會錯誤的識別出來。所以這里面是兩個維度的指標妖碉,第一個覆蓋程度涌庭,第二個準確程度。
但是欧宜,現(xiàn)實中坐榆,只能監(jiān)控識別到了多少。
2.需求識別策略監(jiān)控指標
覆蓋率:識別為圖片需求的流量/網(wǎng)頁搜索總流量
“識別為圖片需求的流量不等于展現(xiàn)了的圖片需求的流量”
需求強度分布:強冗茸、中席镀、弱需求的比例*圖片需求=強需求量+中需求量+弱需求量
比如:
吳亦凡圖片:強圖片需求
吳亦凡:中圖片需求
邢臺:弱圖片需求
報警規(guī)則:
三羹铅、檢索策略
1.如何衡量檢索策略的效果?
通過?質(zhì)量來衡量愉昆。
2.監(jiān)控指標
相關(guān)性打分=每個搜索詞對應(yīng)結(jié)果的相關(guān)性打分均值
3.監(jiān)控規(guī)則
小時級監(jiān)控职员,同比上周同期波動>20%時,以短信形式發(fā)出報警跛溉;
波動>50%時焊切,以電話形式發(fā)出報警。
四芳室、展現(xiàn)策略
1.如何衡量展現(xiàn)策略的效果专肪?
監(jiān)控各種展現(xiàn)樣式的表現(xiàn):樣式占比、點擊率
四種樣式:多排篩選樣式堪侯、多排樣式嚎尤、單排篩選樣式、單排樣式
2.監(jiān)控指標
3.監(jiān)控規(guī)則
課程截圖
小時級監(jiān)控:
同比上周同期波動>5%時伍宦,以郵件形式發(fā)出報警芽死;
同比上周同期波動>20%時,以短信形式發(fā)出報警次洼。
五关贵、通過監(jiān)控獲得需求的總結(jié)的局限
1.圖片特型結(jié)果的監(jiān)控體系的搭建
首先第一步,我們將用戶與產(chǎn)品的交互進行分析卖毁,將監(jiān)控拆解為針對白盒部分的效果監(jiān)控揖曾,和針對黑盒部分的策略監(jiān)控。
對于白盒部分亥啦,我們又進行拆分和抽象炭剪。首先用戶要看到結(jié)果,這個是產(chǎn)品的覆蓋情況翔脱。接下來用戶可能產(chǎn)生各類行為奴拦,比如點擊、翻頁碍侦、更換搜索詞粱坤,這個代表了產(chǎn)品的滿足效果隶糕。
對于黑盒部分瓷产,我們將整個策略體系分為需求識別、檢索枚驻、展現(xiàn)三個不同的策略模塊分別進行監(jiān)控濒旦。
2.監(jiān)控的局限性
局限1:考慮到準確率,監(jiān)控覆蓋的精度(策略意義上的召回率)有限再登,精度是有問題的尔邓。
局限2:雖然可以幫助發(fā)現(xiàn)異常晾剖,但通常不能直接定位問題,最終依然需要配合人工手段確定最后的問題梯嗽。
3.小結(jié)
對于任何一個復(fù)雜的策略系統(tǒng)齿尽,人工去排查每個模塊給用戶帶來的影響,是一種非常不經(jīng)濟的方式灯节。
所以循头,線上監(jiān)控作為一種自動、實時筛圆、針對效果的問題發(fā)現(xiàn)方法养叛,日趨重要粘姜。
2.3 策略產(chǎn)品發(fā)現(xiàn)問題的四個方法(三):效果回歸
策略產(chǎn)品發(fā)現(xiàn)問題的四個方法:用戶反饋收集、系統(tǒng)監(jiān)控全跨、效果回歸、階段性調(diào)研
方法三亿遂、效果回歸(比較復(fù)雜浓若,下個章節(jié)講)
作為一個策略產(chǎn)品經(jīng)理,基本的工作流程可能包含以下四步:
效果回歸是策略產(chǎn)品非常重要的一部分工作蛇数,通過每次效果回歸來找到問題
1.產(chǎn)品循環(huán):
判斷產(chǎn)品循環(huán)是否中止
確定產(chǎn)品接下來的計劃
2.PM自我成長的重要途徑:
驗證解決方案可行性
修正和鞏固方法論
2.4 策略產(chǎn)品發(fā)現(xiàn)問題的四個方法(四):階段性調(diào)研
策略產(chǎn)品發(fā)現(xiàn)問題的四個方法:用戶反饋收集七嫌、系統(tǒng)監(jiān)控、效果回歸苞慢、階段性調(diào)研
方法四诵原、階段性調(diào)研
階段性調(diào)研是針對產(chǎn)品現(xiàn)狀進行的系統(tǒng)性分析。
此時產(chǎn)出的分析結(jié)論最能代表產(chǎn)品問題的全貌挽放,可以有效指導(dǎo)下階段的產(chǎn)品計劃绍赛。
一、什么是階段性調(diào)研辑畦?
階段性調(diào)研是針對產(chǎn)品現(xiàn)狀做的詳細完整的系統(tǒng)性分析吗蚌,PM此時會上上下下、左左右右將產(chǎn)品的所有細節(jié)都掃一遍纯出。
相對于隨機收集問題的用戶反饋蚯妇、相對于精度不夠的監(jiān)控和只針對上個版本去做的效果回歸,階段性調(diào)研產(chǎn)出的分析結(jié)論最能代表產(chǎn)品問題的全貌暂筝,可以有效指導(dǎo)下階段的產(chǎn)品計劃箩言。
二、什么時候做階段性調(diào)研焕襟?
階段性調(diào)研的三個時間節(jié)點:
1.接觸新產(chǎn)品
PM接手某個產(chǎn)品方向的時候陨收,花時間摸透這個方向,清楚接手之后要做什么事情
2.周期性回顧
每個月/季度/半年等固定周期的回顧,做一個整體的評估
3.不定期回顧
其他需要臨時回顧整個產(chǎn)品現(xiàn)狀時务漩,比如老板要了解的時候
三拄衰、如何去做階段性調(diào)研?方法論
策略產(chǎn)品經(jīng)理通用方法論:
定義理想態(tài)——拆解未達理想態(tài)的情況——提出解決方案——驗證是否解決
具體情況具體分析饵骨,在階段性調(diào)研這塊我們更注重分析前兩部分的內(nèi)容翘悉,這一套方法根據(jù)對應(yīng)情況延展后變成了三步,即:
Step1?找到理想態(tài)
定義理想態(tài)居触,并以數(shù)字化的指標或其他明確標準來衡量镐确。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析,并做統(tǒng)計分類饼煞,明確滿足不好的原因源葫。
Step3?優(yōu)先級判斷
匯總所有問題,綜合影響面砖瞧、問題嚴重程度和解決成本確定優(yōu)先級息堂,作為接下來的項目計劃。
2.4.1策略產(chǎn)品經(jīng)理如何找到產(chǎn)品理想態(tài)块促?
策略產(chǎn)品經(jīng)理通用方法論:
定義理想態(tài)——拆解未達理想態(tài)的情況——提出解決方案——驗證是否解決
回顧:
階段性調(diào)研的方法分為三步:
Step1?找到理想態(tài)
定義理想態(tài)荣堰,并以數(shù)字化的指標或其他明確標準來衡量,說明產(chǎn)品的目標竭翠,理想狀態(tài)振坚。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析,并做統(tǒng)計分類斋扰,明確滿足不好的原因渡八。
Step3?優(yōu)先級判斷
匯總所有問題,綜合影響面传货、問題嚴重程度和解決成本確定優(yōu)先級屎鳍,作為接下來的項目計劃。
正文:
階段性調(diào)研第一步:如何找到理想態(tài)问裕?
1.定義理想態(tài)
任何一個產(chǎn)品都是用來解決用戶的問題逮壁,產(chǎn)品的理想態(tài)即給出的方案確實解決了用戶的問題。
舉例子說明什么是產(chǎn)品的理想態(tài):
百度搜索:用戶使用百度搜索是為了查找信息的粮宛,那產(chǎn)品理想態(tài)就是用戶找到了他想要的信息
滴滴:用戶使用滴滴是為了前往其他地方的窥淆,那產(chǎn)品理想態(tài)就是用戶到達了目的地
頭條:用戶使用頭條是為了愉悅自己消磨時間的,那產(chǎn)品理想態(tài)就是用戶在頭條上找到了自己想看的內(nèi)容巍杈,花了很久的時間
墨跡天氣:用戶使用墨跡天氣是為了了解天氣情況的忧饭,那產(chǎn)品理想態(tài)就是用戶獲取了準確的天氣信息
2.找到數(shù)字化指標或其他明確的標準來衡量理想態(tài)
以上四個案例的產(chǎn)品理想態(tài)又有些異同,可以簡單分為兩類:一種簡單情況(滴滴秉氧、墨跡天氣)眷昆,一種復(fù)雜情況(百度搜索、頭條)汁咏。
簡單情況:
理想態(tài)的描述相對簡單一些亚斋。
滴滴的理想態(tài)可以簡單的用訂單成交率這樣的指標來衡量,用戶是為了打車到達目的地的攘滩,只要訂單完成了帅刊,用戶到達了目的地,這就可以衡量產(chǎn)品確實達到了理想態(tài)漂问。
墨跡天氣的理想態(tài)可以用天氣信息的準確率來衡量赖瞒,只要天氣準,我就認為到達了理想態(tài)蚤假。
簡單情況:對于大多數(shù)剛需和工具型產(chǎn)品栏饮、或只是其中的策略模塊,通常都可以以【幫用戶解決了問題】作為理想態(tài)磷仰,并找到單一的數(shù)據(jù)指標來衡量袍嬉。
復(fù)雜情況:
比如百度搜索,其實很難以單一的指標來衡量用戶找到了他想要的信息灶平。是否可以用點擊率來衡量伺通?用戶點了不就是滿足了嗎?但事實上很多時候用戶點來點去沒有一條結(jié)果有用逢享,所以點的多罐监,并不一定表示滿足。沒點擊也不一定意味著沒有滿足瞒爬,比如搜索天氣弓柱,這時候判斷會更難。因此侧但,對于搜索產(chǎn)品吆你,他的理想態(tài)的描述是一件相對復(fù)雜的事情。
頭條俊犯,理想態(tài)是用戶在這里開心的消磨了時間妇多,那要用什么指標衡量呢?是停留時長嗎?停留多少時間是理想呢燕侠?
復(fù)雜情況:但依然存在很多產(chǎn)品者祖,其理想態(tài)的描述是相對復(fù)雜的。
那么如何描述復(fù)雜情況的理想態(tài)呢绢彤?
搜索:
像百度這種綜合的搜索平臺七问,很多時候用戶輸入了關(guān)鍵詞,但是背后隱含的需求是多樣的茫舶,平臺給的方案是猜測械巡,只能滿足大多數(shù)人的需求。
比如這個例子:在百度中,用戶搜索蘋果的需求可能是電子品牌蘋果讥耗、電影蘋果有勾、水果蘋果等多種情況。
在描述產(chǎn)品實現(xiàn)效果的時候古程,PM通常會基于對用戶的理解蔼卡、并參照競品結(jié)果,給出根據(jù)需求影響面排序的各類搜索結(jié)果挣磨。
對用戶的理解:用戶搜索蘋果的上下文(搜索蘋果之前還搜索了什么)雇逞,點擊行為(大多數(shù)人搜索什么),用戶更改搜索詞等 茁裙。
搜索產(chǎn)品通常以平臺當前能夠給出的最佳產(chǎn)品方案作為理想態(tài)塘砸。
推薦:
平臺是在猜測用戶的非剛需求,我們永遠不清楚最準確的答案是什么晤锥。
所以推薦類產(chǎn)品同樣以平臺當前能夠給出的最佳產(chǎn)品方案作為理想態(tài)掉蔬。
再評估策略推薦出的結(jié)果在所有候選集合中是否是最佳結(jié)果,用戶行為指標作為發(fā)現(xiàn)問題的輔助手段查近。
3.理想態(tài)的定義變化
所有的【理想態(tài)】都是為階段性的產(chǎn)品目標服務(wù)的眉踱,隨著產(chǎn)品的進化,理想態(tài)的定義也隨著進化霜威。
總結(jié)
大多數(shù)工具屬性的產(chǎn)品都可以以【幫助用戶解決了問題】作為理想態(tài)谈喳,并找到單一的數(shù)據(jù)指標來衡量。
同時也存在一些產(chǎn)品戈泼,其理想態(tài)的描述是相對復(fù)雜的婿禽。
無論是簡單還是復(fù)雜的理想態(tài),都會隨著產(chǎn)品進化而發(fā)生變化大猛。
2.4.2策略產(chǎn)品經(jīng)理如何通過抽樣分析明確問題原因
策略產(chǎn)品經(jīng)理通用方法論:
定義理想態(tài)——拆解未達理想態(tài)的情況——提出解決方案——驗證是否解決
回顧:
階段性調(diào)研的方法分為三步:
Step1?找到理想態(tài)
定義理想態(tài)扭倾,并以數(shù)字化的指標或其他明確標準來衡量。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析挽绩,并做統(tǒng)計分類膛壹,明確滿足不好的原因。
Step3?優(yōu)先級判斷
匯總所有問題唉堪,綜合影響面模聋、問題嚴重程度和解決成本確定優(yōu)先級,作為接下來的項目計劃唠亚。
正文:
階段性調(diào)研第二步:抽樣分析
1.為什么要進行抽樣分析链方?
策略面對的是難以枚舉的一群人的問題,通常需要通過樣本來代表群體情況灶搜。
2.case
樣本們通常被叫做case.
描述理想態(tài)的時候需要用case說明祟蚀、驗證產(chǎn)品效果時要用之前的case再回歸一遍等等 工窍,策略PM在工作過程中將隨處可見case。
3.抽樣的基本步驟
Step1.確定調(diào)研目標
首先我們需要明確調(diào)研的目標前酿,幫助確定抽樣的對象和方式患雏。
首先我們需要明確調(diào)研的目標,幫助確定抽樣的對象和方式薪者。
首先我們需要明確調(diào)研的目標纵苛,幫助確定抽樣的對象和方式剿涮。
重要的事情說三遍Q越颉!
案例:
1)分析【相關(guān)視頻】推薦策略的問題——>抽取所有推薦視頻列表取试,分析問題悬槽。
2)分析以上策略模塊中廣告視頻推薦策略的問題——>抽取所有展現(xiàn)廣告視頻的視頻列表,分析問題瞬浓。
以上案例中初婆,1)的做法是正確的,2)的做法是錯誤的猿棉。因為1)中只涉及準確率問題磅叛,但是2)中不僅涉及準確率問題,還涉及召回率的問題萨赁,所以不應(yīng)該只抽取展現(xiàn)的廣告視頻弊琴,應(yīng)該抽取所有的推薦視頻列表,展現(xiàn)了的分析是否準確杖爽,沒展現(xiàn)的分析是否覆蓋敲董。
Step2.確定抽樣對象
通過一定規(guī)則篩選出的待分析的全量集合。
篩選規(guī)則:核心指標未達到理想態(tài)慰安、可以代表全體用戶的行為的最小時間窗口內(nèi)的全量數(shù)據(jù)腋寨。
樣本類型:根據(jù)策略類型,可以是:
用戶個體化焕、
行為片段(session)萄窜、
搜索詞(query)、
訂單撒桨、
...其他維度
案例:
1)分析滴滴成交問題:直接在全國一周內(nèi)所有未成交的訂單中抽樣
2)分析美團搜索問題:因為無法直接通過數(shù)字性指標精確篩選哪些是不滿足的行為查刻,所有只能退而求其次從一天的全量用戶session中抽樣,然后人為進行進一步篩選
Step3.選擇抽樣方法
我們常用的抽樣方式是簡單隨機抽樣元莫。
簡單隨機抽樣:從總體N個單位中任意抽取n個單位作為樣本赖阻,使每個可能的樣本被抽中的概率相等。
Step4.確定抽樣數(shù)量
從統(tǒng)計角度將踱蠢,抽樣數(shù)量越高統(tǒng)計準確率越好火欧,然而調(diào)研成本也會隨之上升棋电。
所以數(shù)量是精度和成本的balance,通常只要代表某類問題的樣本數(shù)量有統(tǒng)計意義即可苇侵。
經(jīng)驗值:盡量使代表某問題的樣本數(shù)量>=5,或者影響面>=3%
案例:
策略相對程度已經(jīng)沒有影響面>5%的顯著問題赶盔,接下來要看影響面1-5%量級的問題:
為了使1%問題的case數(shù)量至少達到5,那抽樣數(shù)量最少要500榆浓∮谖矗或者在1k的量級、即代表單個問題的case在至少為10個左右陡鹃,此時得到的問題影響面數(shù)據(jù)才有較高的置信度烘浦。
Step5.樣本分析標注
標注方法參見2.1 策略產(chǎn)品發(fā)現(xiàn)問題的四個方法(一):用戶反饋收集文章中的描述
Step6.整理匯總問題
將標注出的問題按照合理的邏輯框架整理匯總。(金字塔原理)
上下層級:總分關(guān)系
同層級之間:相互排斥萍鲸,不重復(fù)闷叉、不遺漏
案例:
愛奇藝視頻詳情頁的【相關(guān)視頻】推薦策略的問題分析框架。標注后發(fā)現(xiàn)有如下問題:
沒有收錄相關(guān)資源
可以考慮同導(dǎo)演推薦的推薦
同系列的推薦個數(shù)過多脊阴,其他維度沒有排上來握侧。。嘿期。
整理匯總:
1)結(jié)果反推原因
2)也可以直接將問題抽象
問題的框架并不唯一品擎,只要邏輯合理就可以:
標注前有初版預(yù)設(shè)
標注中不斷調(diào)研,直到完善
4.總結(jié)
抽樣分析是幫助我們了解問題全貌的重要環(huán)節(jié)备徐。
在抽樣開始時需要牢記調(diào)研目標萄传,最終使用合理的邏輯框架匯總和整理問題。
2.4.3 策略產(chǎn)品經(jīng)理如何通過優(yōu)先級判斷構(gòu)建項目計劃
策略產(chǎn)品經(jīng)理通用方法論:
定義理想態(tài)——拆解未達理想態(tài)的情況——提出解決方案——驗證是否解決
回顧:
階段性調(diào)研的方法分為三步:
Step1?找到理想態(tài)
定義理想態(tài)坦喘,并以數(shù)字化的指標或其他明確標準來衡量盲再。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析,并做統(tǒng)計分類瓣铣,明確滿足不好的原因答朋。
Step3?優(yōu)先級判斷
匯總所有問題,綜合影響面棠笑、問題嚴重程度和解決成本確定優(yōu)先級梦碗,作為接下來的項目計劃。
正文:
階段性調(diào)研第三步:優(yōu)先級判斷
得到現(xiàn)狀的問題集合后蓖救,需要進一步給出優(yōu)先級判斷洪规,確定接下來的項目計劃。
1.單位成本下的項目收益
按照【單位成本下的收益】從大到小排序循捺。
單位成本下的收益(簡稱ROI)=項目收益/項目成本
注意點1:
如果出現(xiàn)ROI相同的多個項目斩例,通常情況下絕對收益較高的項目優(yōu)先級較高
【10天拿到10點收益的項目】>【2天拿到2點收益的項目】
注意點2:
外部環(huán)境瞬息萬變,很難保證200天后項目依然能拿到對應(yīng)收益从橘,從期望值來說念赶,20天的項目更穩(wěn)妥础钠。
【20天拿到20點收益的項目】>【200天拿到200點收益的項目】
注意點3
存在一些緊急項目,因為待解決問題的惡劣程度較高叉谜,優(yōu)先級高于其他常規(guī)項目旗吁。
2.ROI計算
1)項目收益=待解決問題的影響面*解決后的體驗提升程度*預(yù)期解決比例
待解決問題的影響面:通過調(diào)研得到直接的統(tǒng)計數(shù)據(jù)
解決后的體驗提升程度:通過調(diào)研得到,由于該問題導(dǎo)致的【實際數(shù)據(jù)指標與理想態(tài)指標的差距】
預(yù)期解決比例:通常由研發(fā)給出
2)項目成本=通常僅指研發(fā)成本
3.優(yōu)先級判斷的工作流程
課程截圖
4.總結(jié)
優(yōu)先級判斷是階段性調(diào)研的最后一步停局,直接決定后續(xù)的產(chǎn)品計劃很钓。
進行優(yōu)先級判斷時,在關(guān)注項目成本和收益之外董栽,pm要靈活應(yīng)對外部環(huán)境的變化码倦,綜合決策。
2.4 【實例】滴滴叫車成交率階段性調(diào)研
階段性調(diào)研的方法分為三步:
Step1?找到理想態(tài)
定義理想態(tài)裆泳,并以數(shù)字化的指標或其他明確標準來衡量叹洲。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析柠硕,并做統(tǒng)計分類工禾,明確滿足不好的原因。
Step3?優(yōu)先級判斷
匯總所有問題蝗柔,綜合影響面闻葵、問題嚴重程度和解決成本確定優(yōu)先級,作為接下來的項目計劃癣丧。
評估對象:滴滴打車的叫車成功率
第一步:理想態(tài)的定義
理想態(tài)定義:用戶發(fā)出需求后有司機應(yīng)答并將其送至目的地
核心指標及拆解:成交率是核心指標
第二步:
未成交的情況:
課程截圖
將不到理想態(tài)的case抽樣分析:
課程截圖
第三步:優(yōu)先級判斷
課程截圖
2.4【實例】百度搜索結(jié)果階段性調(diào)研
階段性調(diào)研的方法分為三步:
Step1?找到理想態(tài)
定義理想態(tài)槽畔,并以數(shù)字化的指標或其他明確標準來衡量。
Step2?抽樣分析
將所有不到理想態(tài)的case抽樣分析胁编,并做統(tǒng)計分類厢钧,明確滿足不好的原因。
Step3?優(yōu)先級判斷
匯總所有問題嬉橙,綜合影響面早直、問題嚴重程度和解決成本確定優(yōu)先級,作為接下來的項目計劃市框。
評估對象:百度搜索結(jié)果的效果
第一步:理想態(tài)的定義
理想態(tài)定義:用戶以最低成本找到了想要的東西
核心指標及拆解:什么情況下用戶確實得到了滿足霞扬,以什么指標衡量
得到滿足的情況:
1)用戶沒有點擊行為,需求可以通過結(jié)果摘要得到滿足枫振,同時無后續(xù)變更搜索詞或切換tab等行為喻圃。
2)用戶點擊了1條可以滿足需求的搜索結(jié)果,同時無后續(xù)行為粪滤。
第二步:抽樣分析
隨機抽取一天中的5k個session斧拍,分析其搜索結(jié)果滿足程度 。
課程截圖
分析未滿足情況:
1.用戶沒有點擊行為杖小、或點擊1條或多條結(jié)果肆汹,但是沒有滿足:
1)提示無結(jié)果怕吴、占比4%
query解析出現(xiàn)問題、未收錄合適結(jié)果
2)相關(guān)性太差县踢、占比11%
query解析出現(xiàn)問題
2.點擊多條結(jié)果才滿足:
1)最佳結(jié)果未rank到第一位转绷、占比37%
基礎(chǔ)賦權(quán)出現(xiàn)問題
3.變更query重新搜索:
1)原query的解析出現(xiàn)問題、占比28%
2)原query下的需求擴展不夠硼啤、占比17%
4.點擊圖片/地圖tab:
1)原query有圖片/地圖需求议经,query需求識別未包含該需求分類、占比3%
第三步:優(yōu)先級判斷
總結(jié)
階段性調(diào)研后谴返,產(chǎn)出的分析結(jié)論最能代表產(chǎn)品問題全貌煞肾,可以有效指導(dǎo)下階段的產(chǎn)品計劃。
第二章結(jié)束嗓袱,下面是第三章