1.灰度實驗
灰度測試根穷,就是在某項產品或應用正式發(fā)布前姜骡,選擇特定人群試用,逐步擴大其試用者數量屿良,以便及時發(fā)現和糾正其中的問題圈澈,由“灰”到“黑”。
2.AB測試
AB測試來源假設檢驗尘惧,現有兩個隨機均勻的樣本組A康栈、B,對其中一個組A做出某種改動,實驗結束后分析兩組用戶行為數據啥么,通過顯著性檢驗判斷這個改動對于我們所關心的核心指標是否有顯著影響登舞。
假設檢驗如下:
原假設H0:這項改動不會對核心指標有顯著的影響
備擇假設H1:這項改動會對核心指標有顯著的影響
步驟:
(1)確定實驗改動點
確定本次實驗的對象,比如app中某個功能的改動
(2)確定核心指標
確定需要檢驗的指標悬荣,比如點擊率菠秒、轉化率等
(3)確定需要的樣本量、周期
確定完成實驗需要的最小樣本量氯迂,實驗樣本越大践叠,實驗結果越可信,但對用戶的影響越大嚼蚀,因此需要確定最小樣本量禁灼,確定樣本量后可以根據日活確定實驗周期
樣本量的確定其實就是根據檢驗假設的公式和現在的指標以及預期的指標(均值、方差)反推出如果根據這個表現要推翻原假設所需要的樣本量
(4)流量分割
根據實驗需要對樣本的流量進行分割分層轿曙,保證樣本的隨機和均勻分布弄捕,避免辛普森悖論
正確的實驗實施方案里,除被測變量外拳芙,其他可能影響結果的變量的比例都應該保持一致
(5)AB測試灰度
先小范圍的實驗察藐,避免極端情況出現造成的損失
(6)AB測試上線
可以正式開始實驗
(7)效果評估驗證
顯著性檢驗
A/B Test的重要理念:寧肯砍掉多個好的產品,也不要讓一個不好的產品上線
在AB測試中舟扎,第一類錯誤是更為嚴重的錯誤分飞,因為它會導致我們錯誤地認為一種變化是有效的,從而采取錯誤的行動睹限。而第二類錯誤則意味著我們可能會錯過一些真正有效的變化譬猫,但這種錯誤相對來說不太嚴重,因為我們可以在以后的測試中發(fā)現并糾正這些錯誤羡疗。因此染服,在AB測試中,更應該關注第一類錯誤叨恨。
什么時候不適合AB測試:
·沒有清晰的對照組
·很難獲得用戶數據(本來就沒多少流量柳刮,測試不了)
3.辛普森悖論
4.卡方檢驗
(1)卡方擬合度檢驗(單因素卡方檢驗))
一個分類變量的預期頻率與觀察到的頻率相比是否存在顯著差異
H0:期望值和觀測值之間沒有顯著差異
卡方值查表,從卡方值的計算公式可以看到卡方值越大說明實際觀測到的分布與預期的偏離越大
自由度df=k-1
k為組別(比如骰子有六個可能性痒钝,k就是6)
(2)卡方獨立性檢驗(二因素卡方檢驗)
檢驗兩個變量類別之間是否存在聯系
公式和(1)是一樣的
df=(r-1)(c-1)
行數減一乘列數減一秉颗,即兩個類別變量的組數減一后相乘
前提假設:
a.既互斥又互補
每個觀測值都會落入且僅會落入一個類別中
(e.g. 檢驗學習專業(yè)是否和人的理性思維感性思維相關的時候,一個人不能既是理性思維又是感性思維)
b.觀測值之間相互獨立
一個被試一般來說只能歸類一次
(e.g.檢驗性別與三部科幻電影之間的偏好關系時一個人只能給一部電影打分送矩,否則一個人可能因為個人對科幻電影的偏好給三部電影都打低分或高分)
建議:一個被試只計算一個觀測值蚕甥,觀測次數等于被試數
c.期望頻次不能太小
建議:每個期望值都大于5,若自由度為1時大于10(就是觀測次數不能太少)
5.t檢驗
(1)獨立樣本t檢驗
檢驗兩組數據之間的均數是否存在顯著差異
分子為組間差異栋荸,為均值相減菇怀,分母對應組內差異凭舶,分母中s為相應組的樣本標準差,n為樣本量:
·組間差異越大爱沟,t值越大
·組內差異越大帅霜,t值越小
·樣本越大,t值越大
(2)配對樣本t檢驗
數據來自同一批被試的兩組成績或者對兩個不同樣本進行配對
e.g.體育老師對一個班的學生訓練前和訓練后的成績進行比較
(3)單樣本t檢驗
樣本均值與已知總體均值進行比較
e.g.A班同學智商與該年齡段平均智商的比較
前提假設:
a.被測量的變量需要在總體和樣本中呈正態(tài)分布
然而很多時候不是正態(tài)分布钥顽,但是根據中心極限定理义屏,隨著樣本數的增加,均值可以認為是符合正態(tài)分布蜂大。一般認為每組樣本大于30時就看作正態(tài)分布
b.方差齊性
需要兩組樣本之間的方差不能相差太多
一般樣本量比較大時(每組大于100)或者兩組被試量相等時方差齊性不會有問題
6.Z檢驗
總體標準差已知的情況下檢驗均值
如果總體標準差未知闽铐,就需要用t檢驗
實踐中大部分情況下不會知道總體標準差,所以大部分情況是t檢驗
7.方差分析(ANOVA)/F檢驗
Analysis of Variance
用來比較不同組之間的均值是否存在顯著差異(t檢驗只能檢驗2組奶浦,方差分析能檢驗更多組)
備擇假設H1:至少存在一組均值與其他均值不同(而不是所有之間都不同)
組間均方/組內均方 Mean-square-between/mean-square-within
自由度:
k為組數或水平數
NT為總樣本量
tips:
·當F值大于F臨界值時兄墅,能夠說拒絕零假設,但當小于時澳叉,不建議說接受零假設隙咸,最好說不能拒絕零假設
·方差分析無法告訴我們具體哪組之間存在顯著差異
兩因素方差分析(即兩個自變量)
重復測量方差分析
混合設計方差分析
前提假設:
單/兩因素ANOVA:
(1)獨立隨機抽樣
(2)正態(tài)分布
(3)方差齊性
重復測量方差分析:
(1)(2)(3)加一個協方差齊性
混合設計方差分析:
(1)(2)(3)加一個組間協方差齊性
8.杜邦分析
把權益凈利率ROE這個最綜合的財務指標拆解成一系列細分指標,以此分析公司經營的具體情況成洗。個人認為這個分析方法的思想其實就是一些統(tǒng)計指標反映信息的能力有限五督,需要用更多數據來反映更多信息從而做出更精準的決策。
其中
9.波士頓矩陣(BCG矩陣/四象限分析法)
橫軸:相對市場占有率 縱軸:相對市場增長率
①問題類產品(question marks)銷售增長率高瓶殃、市場占有率低的產品群
對應產品生命周期:啟動期
②明星類產品(stars)銷售增長率和市場占有率“雙高”的產品群
對應產品生命周期:成長期
③現金牛類產品(cash cow)銷售增長率低充包、市場占有率高的產品群
對應產品生命周期:成熟期
④瘦狗類產品(dogs)銷售增長率和市場占有率“雙低”的產品群
對應產品生命周期:衰退期
波士頓矩陣分析的目標:為了實現“企業(yè)的產品品種及其結構能夠適合市場需求的變化”,使企業(yè)的生產有意義遥椿。同時基矮,解決“將企業(yè)有限的資源有效地分配到合理的產品結構中去”以保證企業(yè)收益的問題。波士頓咨詢公司對美國57家公司的620種產品進行了歷時三年的調查冠场,最終創(chuàng)造出該分析方法家浇。
產品戰(zhàn)略對策:
(一)問題產品
其財務特點是利潤率較低,所需資金不足碴裙,負債比率高钢悲。例如在產品生命周期中處于引進期、因種種原因未能開拓市場局面的新產品即屬此類問題的產品舔株。對問題產品應采取選擇性投資戰(zhàn)略莺琳。
(二)明星產品
這類產品可能成為企業(yè)的現金牛產品,需要加大投資以支持其迅速發(fā)展督笆。采用的發(fā)展戰(zhàn)略是:積極擴大經濟規(guī)模和市場機會芦昔,以長遠利益為目標诱贿,提高市場占有率娃肿,加強競爭地位咕缎。
(三)現金牛產品
又稱厚利產品,其財務特點是銷售量大料扰,產品利潤率高凭豪、負債比率低,可以為企業(yè)提供資金晒杈,而且由于增長率低嫂伞,也無需增大投資。因而成為企業(yè)回收資金拯钻,支持其它產品帖努,尤其明星產品投資的后盾。
①把設備投資和其它投資盡量壓縮粪般;
②采用榨油式方法拼余,爭取在短時間內獲取更多利潤,為其它產品提供資金亩歹。對于這一象限內的銷售增長率仍有所增長的產品匙监,應進一步進行市場細分,維持現存市場增長率或延緩其下降速度小作。
(四)瘦狗產品
也稱衰退類產品亭姥,其財務特點是利潤率低、處于保本或虧損狀態(tài)顾稀,負債比率高达罗,無法為企業(yè)帶來收益。對這類產品應采用撤退戰(zhàn)略础拨,減少批量氮块,逐漸撤退,對那些銷售增長率和市場占有率均極低的產品應立即淘汰诡宗。
總結:總體的思想大概是隨著企業(yè)和市場的發(fā)展滔蝉,產品在四個象限中的分布情況也是在不斷變化的,問題類產品可以有選擇性地進行投資塔沃,使之轉化為明星產品蝠引,明星產品繼續(xù)發(fā)展轉為金牛產品,金牛產品是現金流的主要來源蛀柴,當金牛產品的下一個階段一般會是瘦狗產品螃概,這個轉化過程需要盡力將其延長,這樣可以從金牛產品身上獲得更多利潤鸽疾。對瘦狗產品就可以考慮逐步將其淘汰吊洼。
10.漏斗分析
分析一種業(yè)務從起點到終點各個階段的轉化情況,并以此做針對性優(yōu)化制肮。
(1)AARRR模型
做用戶增長和生命周期最常用的漏斗模型冒窍,從用戶增長各階段入手递沪,包括Acquisition用戶獲取,Activation用戶激活综液,Retention用戶留存款慨,Revenue用戶產生收入,Refer自傳播等用戶的生命階段谬莹,進行漏斗分析檩奠,判斷用戶流失大致處于哪個階段,進而對問題階段的用戶進行細分附帽,精細化運營埠戳,完成用戶向成熟用戶和付費用戶的引導,實現用戶增長蕉扮。
11.RFM模型
Recency 最近一次消費
Frequency 消費頻率
Monetary 消費金額
其實就是從這三個維度給用戶進行細分乞而,然后對不同分類的用戶使用不同的運營策略