產品數據指標異常波動的分析框架

當APP產品業(yè)務線的某個數據指標出現異常的波動時,該如何著手數據異常分析呢?

一般來講曾掂,產品的某些數據指標都會具有固定的波動周期粉私,而且每個周期內數據的變化應該趨于穩(wěn)定顽腾,但在數據監(jiān)控體系里的日報、周報诺核、月報中某數據指標突然不再符合預期的穩(wěn)定變化抄肖,這就是我們所說的數據出現異常波動。在這種情況下窖杀,我們就需要去深挖數據異常產生的原因漓摩。
而做數據異常分析核心就是結合以往經驗及各種信息,找出最有可能的原因假設陈瘦,通過將數據指標的進行拆分幌甘,再多維度分析來驗證假設潮售,定位問題所在。其過程中可能會在原假設基礎上建立新的假設或者是調整原來假設锅风,直到定位原因酥诽。

使用該框架最重要的一點是在回答問題的開始就告訴面試官你的回答框架!你為什么要提前告訴面試官你的框架呢?
你要知道面試官并不完美皱埠,他們有時會問一些不清楚或不正確的問題肮帐。所以,如果你能提前給他們提供你的框架边器,他們就能在問題問得不好的情況下糾正錯誤训枢。
最重要的是,你需要讓面試官知道你是如何看待這個問題的忘巧。例如恒界,面試官讓你分析一下,為什么我們的產品增加了15%的注冊量砚嘴。
如果你向面試官解釋你的框架十酣,面試官可能會說:讓我們只關注數據分析——不需要進行競爭對手的研究或客戶研究。這樣际长,你可以推斷出你應該關注季節(jié)性耸采、群體、價格變化等工育。
類似地虾宇,如果你告訴面試官整個框架,但面試官更關心競爭分析如绸,他會告訴你跳過框架的其他部分嘱朽,這樣我們就可以專注于競爭對手的行為。
在面試里你不可能在短時間內闡明每個步驟竭沫,因此你需要和面試官進行交流確認你重點關注的內容≡锍幔現在讓我們深入研究框架中的每個步驟。


第一步:確認數據以及統(tǒng)計來源的準確性

在這里強調一下:數據真實性是根基蜕提。
實際上因為數據源出問題森书,導致的指標異常非常非常多。工作中經常會遇到諸如服務器異常谎势、數據后臺統(tǒng)計出現錯誤凛膏、在數據報表上出現異常值、數據測量工具有問題等情況脏榆。所以在開始著手分析前猖毫,必須首先確認數據的真實性。
所以须喂,遇到問題第一順位先確認數據沒有錯吁断,找數據統(tǒng)計相關的產品和開發(fā)確認下數據的真實性趁蕊。


第二步:確認數據波動是否異,了解清楚數據指標(如app日活)具體業(yè)務情況和異常情況

現在仔役,我們先來明確一下數據指標出現異常:上升或下跌掷伙,通常有以下情況:

  • 一次性波動:只在某個時間節(jié)點發(fā)生波動。一次性上升/下跌背后原因的一般都是短期/突發(fā)事件又兵,比如系統(tǒng)更新導致數據統(tǒng)計錯誤任柜,突發(fā)的渠道投放凍結等。
  • 周期性波動:會周期性發(fā)生上升/下跌沛厨,比如雙十一宙地、周末、春節(jié)等季節(jié)性因素逆皮。一般業(yè)務開展都有周期性宅粥,比如考勤工具類APP,就是以周為單位循環(huán)电谣。工作日和周末就是有明顯差異波動粹胯。
  • 持續(xù)性波動:從某時間開始,一直出現上升/下降趨勢辰企。而持續(xù)性上升/下跌背后原因往往都是深層次的,比如用戶需求轉移况鸣,渠道投放長期暫停牢贸,大環(huán)境等因素,導致出現持續(xù)性的镐捧。

以上潜索,這三種情況意味著問題本身不同的嚴重程度

如果是數據指標下跌的話,周期性下跌一般都不需要做特殊處理懂酱;一次性下跌往往來的比較突然竹习,要關注事件持續(xù)性;持續(xù)性下跌的列牺,特別是不見好轉整陌,持續(xù)的時間越長問題越嚴重。

需要注意是:不能單純的看日周月報表中趨勢圖的走勢瞎领,要結合波動的幅度來看——幅度越大泌辫,說明出現的異常問題越值得注意。

因此九默,我們需要明確以下問題:

  1. 明確日活究竟下跌了多少震放?持續(xù)的時間是多久?
  2. 相比昨天驼修、上周都分別跌了多少殿遂?(同比诈铛、環(huán)比)
  3. 確認指標波動幅度是不是在合理的范圍?
  4. 引起日活下跌的因素有哪些墨礁?這些因素分別對日活的影響程度有多大幢竹?
  5. 與這些因素相關的運營以及產品部門對日活的影響程度有多大?
  6. 這些部門是不是會因為產品迭代或者運營策略得到改變影響日活饵溅?
  7. 確認日活下跌對整體產品業(yè)務線的KPI影響程度?
  8. 了解日活下跌對產品業(yè)務線有哪些影響妨退?
  9. 以前日活下跌后,都采取過哪些措施蜕企?

清楚了數據指標的具體情況咬荷,有了輕重緩急的判斷,下一步就可以進行指標的拆解轻掩,再縮小懷疑范圍幸乒,建立分析假設。而建立假設唇牧,有助于去偽存真的進行驗證罕扎,進一步逼近真實原因。


第三步:將數據指標進行拆解, 當波動異常丐重,我們需要明確問題根源

如:日活=新增用戶+老用戶留存+流失用戶回流腔召,二級指標拆解如下

  • 可拆解新增用戶來源渠道:如應用市場,百度搜索等
  • 可拆解老用戶留存渠道:華為扮惦、vivo應用商店等
  • 可拆解新老用戶登錄平臺:安卓臀蛛、iOS等
  • 可拆解新老用戶用戶的地區(qū):天津、北京等
  • 可拆解新老用戶使用版本:新老版本
  • 可拆解新老用戶活躍時間:節(jié)假日崖蜜、周期性等
  • 可拆解流失用戶:自然回流浊仆, 回訪干預回流等
  • 可分別計算每個維度下不同的活躍用戶數。

通過這種方法豫领,定位到導致哪個區(qū)域或者渠道的日活下降的用戶群體是誰抡柿,以及定位原因有了大致范圍。
比如定位是新用戶問題等恐,我們需要再把新用戶日活按渠道進行拆分:新用戶=渠道1+渠道2+渠道3+其他渠道洲劣;通過渠道拆分,我們會發(fā)現是具體哪個渠道效果發(fā)生的問題鼠锈。那么闪檬,繼續(xù)下一步我們要根據實際業(yè)務進一步做假設,具體情況具體分析购笆。

常見拆分維度

以上是幾種常見的初步拆分維度粗悯,通過初步拆分,定位原因大致范圍同欠。


若拆分后的指標均下降样傍,我們需要找出最顯著的哪個横缔,這就引申到
計算影響系數:每一項數據都要和以往正常值做對比,算出影響系數衫哥。
影響系數=(今日量-昨日量)/(今日總量-昨日總量)
影響系數越大茎刚,說明此處就是主要的下降點,需要對此進一步分析撤逢。
案例:某App某日日活指標異常下降
按照上述套路膛锭,我們先拆分新老用戶活躍量,如下圖(老用戶左軸蚊荣、新用戶右軸):

新老用戶活躍量變化

發(fā)現老用戶日活較平穩(wěn)初狰,但是新用戶自6月13日下降嚴重,于是計算新老用戶影響系數:
老用戶影響系數=(77.89-78)/(78.8-79.5)=0.16
新用戶影響系數=(0.98-1.5)/(78.8-79.5)=0.84

新用戶影響系數0.84互例,說明DAU下降是出在新用戶身上奢入,明確范圍后進一部細分,新用戶由什么構成媳叨?

新用戶=渠道1+渠道2+渠道3+其他渠道 腥光,于是我們把新用戶日活按渠道進行拆分:

不同渠道新用戶日活量

通過渠道拆分,我們發(fā)現渠道3自6月13日起新用戶下降嚴重糊秆,于是我們把問題定位在渠道3武福。


不過,只找到根源問題痘番,我們需要找到導致這個問題發(fā)生的原因艘儒,才能提出解決方法。

因此夫偶,聯(lián)系渠道3的負責人一起定位具體原因,是渠道線索量降低觉增?是渠道轉化率降低兵拢?還是渠道平臺的問題?這就引申到下一步驟了逾礁。


第四步:異常范圍定位后说铃,要根據業(yè)務進一步做假設,實際具體情況具體分析

具體分析可以采用“內部-外部”事件因素考慮嘹履。

內部 -- 外部事件因素
在一定時間內同時發(fā)生可能很多種腻扇,主要關注數據指標的起點、拐點砾嫉、終點幼苛。

  • 數據指標起點:數據指標剛下跌時,發(fā)生了什么事件焕刮;往往起點事件是問題發(fā)生的直接原因舶沿。
  • 數據指標拐點:在指標持續(xù)下跌過程中墙杯,是否某個事件的出現,讓問題變得更嚴重括荡,或者開始轉暖高镐。拐點意味著,這是可以通過運營手段改善指標的畸冲。
  • 數據指標終點:當某個事件結束后嫉髓,指標恢復正常∫叵校或當開始某個事件后算行,指標下跌結束。終點事件的兩種形態(tài)监憎,代表著兩種改善指標的方法:等問題自己過去纱意,或者主動出擊解決問題

1. 內部事件因素
分三個維度來做假設,建議針對數據異常問題專門建一個群鲸阔,拉上相應的產品偷霉、技術、運營人員一起褐筛,了解數據異常時間點附近做了什么產品类少、運營、技術側調整渔扎。

內部事件因素
具體舉例有:

  • 分為獲取用戶(渠道轉化率降低硫狞、渠道平臺的問題等)
  • 滿足用戶需求(新功能變更等引起某類用戶不滿)
  • 促活運營手段(簽到等提活手段沒達成目標、產品自然使用周期低導致上次獲得的大量用戶短期內不需要再使用等)
  • 內部功能和運營策略調整(產品晃痴、運營残吩、技術在數據異常時間點附近做了什么策略調整)等

2. 外部事件因素

  • 考慮用戶行為的變化:用戶需求發(fā)生變化?與他們進行定性的用戶研究倘核,觀察用戶需求是否發(fā)生了變化泣侮。他們現在有不同的需求嗎?痛點或需求是否有所改變紧唱?
  • 考慮競爭分析:如果用戶的需求沒有改變活尊,那么該考慮你的競爭對手了。競爭對手剛加入嗎漏益?競爭對手剛離開嗎蛹锰?定價有變化嗎
  • 考慮大環(huán)境問題:采用PEST分析)——政治(政策影響)、經濟(短期內主要是競爭環(huán)境绰疤,如對競爭對手的活動)铜犬、社會(輿論壓力、用戶生活方式變化、消費心理變化翎苫、價值觀變化等偏好變化)权埠、技術(創(chuàng)新解決方案的出現、分銷渠道變化等)煎谍。
如果攘蔽,你的用戶仍然有相同的痛點,而你的競爭對手并未采取任何有意義的措施呐粘。
你可以考慮一下整體經濟满俗。是經濟衰退還是經濟強勁?政治或法規(guī)改變了格局嗎作岖?
例如唆垃,一場貿易戰(zhàn)會嚴重影響一些企業(yè)。舉例來說痘儡,影響木材和金屬價格的貿易戰(zhàn)可能會影響整個建筑業(yè)辕万。
如果不是政治,法規(guī)或經濟學因素沉删,那么最后要考慮的因素就是自然變化渐尿。是否發(fā)生了自然災害?這些都會改變客戶的行為矾瑰,最終影響數據指標砖茸。

我們遵循短期變化找內因,長期異動找外因殴穴。
查找順序一般也是按文中提及的順序來凉夯,先內而外,先考慮用戶其次對手最后環(huán)境采幌。

除了上述劲够,可以細分分析的維度實在太多,邏輯上說核心點在于一個假設得到驗證后休傍,在這個假設為真的基礎上再沧,進行更細維度的數據拆分。我們需要記住這種分析方式尊残,當猜測是某種原因造成數據異常時,只要找到該原因所代表的細分對立面做對比淤堵,就可以證明或證偽我們的猜測寝衫,直到最后找到真正原因。


第五步:提供解決方案拐邪,預測未來是否還會下跌慰毅?應該采取什么方式避免下跌?

與業(yè)務溝通反饋分析結論扎阶,探討后續(xù)方案的執(zhí)行汹胃;再針對原因解決問題婶芭,制定優(yōu)化策略。
最后着饥,我們要預測影響到什么時間犀农;并運營、產品溝通反饋分析結論宰掉,探討后續(xù)方案的執(zhí)行呵哨。


實際業(yè)務中,數據異常的影響原因可能是多方面的(本篇只講到了一些內部因素轨奄,外部環(huán)境和競對其實也會影響核心數據)孟害,有的時候也需要建立統(tǒng)計分析模型來做一些定量分析∨材猓可能要花幾天的時間去不斷排查問題挨务。

所以我們需要在平時工作中多留意數據變化,在條件允許范圍內玉组,再結合自身業(yè)務經驗確定幾個最可能的原因假設谎柄,給這些假設排數據驗證的優(yōu)先級,逐一排查球切,深入分析谷誓,比如本次指標下跌是因為新功能不符合預期不給力、渠道投放力度不夠吨凑、競品太厲害捍歪、版本更新大bug、流失嚴重等鸵钝。

隨著對業(yè)務的熟悉和數據敏感度的提升糙臼,針對數據異常分析我們也會越來越熟練,更快的找到問題所在恩商。

案例:淘寶店銷售額下降变逃,你如何用數據給老板分析原因?

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末怠堪,一起剝皮案震驚了整個濱河市揽乱,隨后出現的幾起案子,更是在濱河造成了極大的恐慌粟矿,老刑警劉巖凰棉,帶你破解...
    沈念sama閱讀 218,858評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異陌粹,居然都是意外死亡撒犀,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 93,372評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來或舞,“玉大人荆姆,你說我怎么就攤上這事∮车剩” “怎么了胆筒?”我有些...
    開封第一講書人閱讀 165,282評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長魏宽。 經常有香客問我腐泻,道長,這世上最難降的妖魔是什么队询? 我笑而不...
    開封第一講書人閱讀 58,842評論 1 295
  • 正文 為了忘掉前任派桩,我火速辦了婚禮,結果婚禮上蚌斩,老公的妹妹穿的比我還像新娘铆惑。我一直安慰自己,他們只是感情好送膳,可當我...
    茶點故事閱讀 67,857評論 6 392
  • 文/花漫 我一把揭開白布员魏。 她就那樣靜靜地躺著,像睡著了一般叠聋。 火紅的嫁衣襯著肌膚如雪撕阎。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,679評論 1 305
  • 那天碌补,我揣著相機與錄音虏束,去河邊找鬼。 笑死厦章,一個胖子當著我的面吹牛镇匀,可吹牛的內容都是我干的。 我是一名探鬼主播袜啃,決...
    沈念sama閱讀 40,406評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼汗侵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了群发?” 一聲冷哼從身側響起晰韵,我...
    開封第一講書人閱讀 39,311評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎熟妓,沒想到半個月后雪猪,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,767評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡滑蚯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片告材。...
    茶點故事閱讀 40,090評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡坤次,死狀恐怖,靈堂內的尸體忽然破棺而出斥赋,到底是詐尸還是另有隱情缰猴,我是刑警寧澤,帶...
    沈念sama閱讀 35,785評論 5 346
  • 正文 年R本政府宣布疤剑,位于F島的核電站滑绒,受9級特大地震影響,放射性物質發(fā)生泄漏隘膘。R本人自食惡果不足惜疑故,卻給世界環(huán)境...
    茶點故事閱讀 41,420評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望弯菊。 院中可真熱鬧纵势,春花似錦、人聲如沸管钳。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,988評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽才漆。三九已至牛曹,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間醇滥,已是汗流浹背黎比。 一陣腳步聲響...
    開封第一講書人閱讀 33,101評論 1 271
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留腺办,地道東北人焰手。 一個月前我還...
    沈念sama閱讀 48,298評論 3 372
  • 正文 我出身青樓,卻偏偏與公主長得像怀喉,于是被迫代替她去往敵國和親书妻。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,033評論 2 355