業(yè)務(wù)與用戶(hù)分析-4

16.你了解的回歸分析有哪些（阿里）

參考答案

將回歸分析中的Y（因變量）進(jìn)行數(shù)據(jù)類(lèi)型區(qū)分崭倘，如果是定量且1個(gè)（比如身高）翼岁，通常我們會(huì)使用線(xiàn)性回歸，如果Y為定類(lèi)且1個(gè)（比如是否愿意購(gòu)買(mǎi)蘋(píng)果手機(jī)）司光，此時(shí)叫l(wèi)ogistic回歸琅坡，如果Y為定量且多個(gè)，此時(shí)應(yīng)該使用PLS回歸（即偏最小二乘回歸）残家。

17.淘寶某日銷(xiāo)售額下降榆俺，分析原因（阿里）

參考答案

銷(xiāo)量=下單數(shù) *（1-訂單取消率-退貨率），

這個(gè)公式就可以把銷(xiāo)量用“下單數(shù)坞淮、訂單取消率茴晋、退貨率”等三個(gè)維度去量化，下單數(shù)=咨詢(xún)數(shù) *（1-咨詢(xún)流失率）+瀏覽量 *（1-瀏覽流失率）回窘；

訂單取消率=支付取消數(shù)/下單數(shù)诺擅；

退貨率=訂單退貨數(shù)/已支付訂單數(shù)；所以又會(huì)引出“咨詢(xún)流失率啡直、瀏覽流失率烁涌、支付取消數(shù)苍碟、訂單退貨數(shù)”等多個(gè)衡量指標(biāo)。

經(jīng)過(guò)這樣一層一層公式化的量化撮执，找到那些“最小不可分割的指標(biāo)”微峰，進(jìn)而最可能發(fā)現(xiàn)本質(zhì)的問(wèn)題所在了。

18.如果近期貝殼二手房成交量下跌抒钱，怎么分析（貝殼找房）

參考答案

首先蜓肆，按照省市、價(jià)格區(qū)間等維度劃分继效，找到是哪個(gè)維度下的二手房成交量下跌症杏。找到原因后装获，分內(nèi)外部進(jìn)行歸因瑞信，內(nèi)部包括產(chǎn)品側(cè)、運(yùn)營(yíng)側(cè)和技術(shù)測(cè)穴豫。外部包括宏觀經(jīng)濟(jì)政策和競(jìng)品分析凡简。

答案解析

定位原因+內(nèi)外部分析

19.用滴滴的行為情況，問(wèn)你用哪些數(shù)據(jù)做分析精肃，方案的優(yōu)缺點(diǎn)秤涩，可行性，效益這類(lèi)問(wèn)題（滴滴出行）

參考答案

哪些數(shù)據(jù)做分析：指標(biāo)體系搭建司抱。采用“人貨場(chǎng)”場(chǎng)景化搭建指標(biāo)體系筐眷。“人”數(shù)據(jù)指標(biāo)主要看發(fā)單用戶(hù)數(shù)习柠、完單用戶(hù)數(shù)匀谣、客單價(jià)、周期內(nèi)完單訂單數(shù)资溃、取消訂單數(shù)武翎、評(píng)價(jià)訂單數(shù)等∪芏В“貨”數(shù)據(jù)指標(biāo)主要看成交了多少宝恶，交易額多少，花了多少趴捅，到具體數(shù)據(jù)指標(biāo)主要會(huì)看GMV垫毙、成交率、取消率指標(biāo)等等拱绑÷毒茫“場(chǎng)”數(shù)據(jù)指標(biāo)主要看哪個(gè)渠道用戶(hù)點(diǎn)擊量大曝光率大，帶來(lái)了多少新用戶(hù)欺栗，完成多少交易訂單毫痕，客單價(jià)是多少征峦。

方案的優(yōu)缺點(diǎn)可行性等可以采用AB實(shí)驗(yàn)才量化。

具體步驟：

1.?收集指標(biāo)消请，建立評(píng)估指標(biāo)體系栏笆。

2.?設(shè)置實(shí)驗(yàn)組和對(duì)照組，分配流量臊泰。

3.?假設(shè)檢驗(yàn)蛉加，評(píng)估實(shí)驗(yàn)結(jié)果是否顯著。

4.給出決策方案缸逃。

答案解析

指標(biāo)體系問(wèn)題+ab實(shí)驗(yàn)步驟

20.總體轉(zhuǎn)化率下降针饥，但是其余各渠道轉(zhuǎn)化率正常，應(yīng)該怎么進(jìn)行分析需频？（猿輔導(dǎo)）

參考答案

這是辛普森悖論問(wèn)題丁眼，多組數(shù)據(jù)分別討論時(shí)都會(huì)滿(mǎn)足某種性質(zhì)，可是一旦合并考慮昭殉，卻可能導(dǎo)致相反的結(jié)論苞七。要更客觀分析產(chǎn)品的轉(zhuǎn)化率情況，就需要設(shè)立更多角度去綜合評(píng)判挪丢。也就是對(duì)用戶(hù)進(jìn)行更細(xì)致的劃分蹂风。

答案解析

解釋什么是辛普森悖論問(wèn)題+解決方法

業(yè)務(wù)與用戶(hù)分析-5

21.某日營(yíng)收下滑30%怎么分析？（斗魚(yú)）

參考答案

首先驗(yàn)證數(shù)據(jù)的準(zhǔn)確性乾蓬，確定數(shù)據(jù)異常不是因?yàn)榻y(tǒng)計(jì)口徑或數(shù)據(jù)報(bào)表異常所導(dǎo)致的惠啄。隨后，各維度進(jìn)行拆解任内，找到是哪個(gè)維度的收入下降顯著撵渡。最后定位問(wèn)題維度后通過(guò)內(nèi)外部分析找到原因，內(nèi)部從產(chǎn)品族奢、技術(shù)和運(yùn)營(yíng)側(cè)找原因姥闭，外部從政策經(jīng)濟(jì)和競(jìng)品找原因。

22.GMV下滑嚴(yán)重怎么分析（拼多多）

參考答案

首先確定是相比于何時(shí)下滑越走，是環(huán)比上月棚品、同比去年某月、環(huán)比去年還是環(huán)比上周等下滑廊敌，通過(guò)時(shí)間的比較初步可以判斷出下滑是否由于季節(jié)铜跑、節(jié)日、突發(fā)性事件和天氣等影響骡澈。

隨后按照公式拆解锅纺，GMV = 購(gòu)買(mǎi)人數(shù) * 客單價(jià) * 購(gòu)買(mǎi)次數(shù)，由此判斷是購(gòu)買(mǎi)人數(shù)下滑肋殴，還是客單價(jià)下滑囤锉，還是購(gòu)買(mǎi)次數(shù)下滑坦弟。

若購(gòu)買(mǎi)人數(shù)下滑，則將購(gòu)買(mǎi)人數(shù)進(jìn)行漏斗細(xì)分官地，購(gòu)買(mǎi)人數(shù)= 流量 * 進(jìn)店轉(zhuǎn)化率 * 購(gòu)物車(chē)轉(zhuǎn)化率 * 付款轉(zhuǎn)化率酿傍，判斷是漏斗的哪個(gè)環(huán)節(jié)出現(xiàn)了下滑。若流量下滑驱入，則要重視拉新赤炒；若進(jìn)店轉(zhuǎn)化率下滑，則要重視營(yíng)銷(xiāo)活動(dòng)等亏较。若客單價(jià)和購(gòu)買(mǎi)次數(shù)下滑莺褒，則可以將客戶(hù)進(jìn)行細(xì)分，如分為高價(jià)值用戶(hù)和低價(jià)值用戶(hù)雪情；忠誠(chéng)用戶(hù)和一般用戶(hù)遵岩；新用戶(hù)和老用戶(hù)；高頻購(gòu)買(mǎi)用戶(hù)和低頻購(gòu)買(mǎi)用戶(hù)旺罢，判斷是哪類(lèi)用戶(hù)的客單價(jià)和購(gòu)買(mǎi)次數(shù)下滑了旷余。定位問(wèn)題所在后绢记，從產(chǎn)品扁达、運(yùn)營(yíng)和技術(shù)側(cè)分別找原因，也可以從外部政策和競(jìng)品找原因蠢熄。

23.DAU下降5%怎么分析（快手）

參考答案

首先驗(yàn)證數(shù)據(jù)的準(zhǔn)確性跪解，確定數(shù)據(jù)異常不是因?yàn)榻y(tǒng)計(jì)口徑或數(shù)據(jù)報(bào)表異常所導(dǎo)致的。隨后兩步分析法：首先定位問(wèn)題原因签孔，這里可以通過(guò)計(jì)算各個(gè)維度DAU的變動(dòng)系數(shù)=（該維度下異常前DAU-該維度下異常后DAU）/該維度下異常前DAU叉讥，選出變動(dòng)系數(shù)較大的前幾個(gè)維度，對(duì)其進(jìn)行分析饥追。然后可以從內(nèi)部和外部進(jìn)行分析图仓，內(nèi)部從產(chǎn)品（版本更新）、技術(shù)（卡頓但绕，閃退）救崔、運(yùn)營(yíng)（運(yùn)營(yíng)活動(dòng)）分別溝通看是否能找到原因。外部從政策和競(jìng)品的角度找原因捏顺。

答案解析

確定問(wèn)題+定位問(wèn)題+找到原因

24.留存率下降該如何分析（拼多多）

參考答案

首先六孵，明確什么留存率下降，以及下降標(biāo)準(zhǔn)（對(duì)比什么下降了）幅骄。例如次日新增用戶(hù)留存率下降劫窒。次日新增用戶(hù)留存率= 當(dāng)天新注冊(cè)用戶(hù)次日仍登錄數(shù) / 當(dāng)天新注冊(cè)用戶(hù)數(shù)。首先定位問(wèn)題原因拆座，是分子變動(dòng)過(guò)大還是分母變動(dòng)過(guò)大主巍。隨后進(jìn)行內(nèi)外部分析冠息，內(nèi)部可以從產(chǎn)品和運(yùn)營(yíng)的角度，例如版本機(jī)型不兼容孕索、閃退铐达、權(quán)限獲取情況等原因。外部從競(jìng)品的角度分析檬果。

25.愛(ài)奇藝想要提高付費(fèi)會(huì)員數(shù)瓮孙，應(yīng)從哪幾個(gè)方面分析。（拼多多）

參考答案

內(nèi)部和外部進(jìn)行分析选脊。

內(nèi)部：從未付費(fèi)用戶(hù)杭抠，持續(xù)付費(fèi)用戶(hù)，流失付費(fèi)用戶(hù)恳啥。分別分析這些用戶(hù)的付費(fèi)率情況偏灿，以及如何提高對(duì)應(yīng)用戶(hù)的付費(fèi)意愿。

外部：競(jìng)品用戶(hù)钝的。分析競(jìng)品的付費(fèi)用戶(hù)情況翁垂，可以從外部購(gòu)買(mǎi)數(shù)據(jù)或數(shù)據(jù)爬蟲(chóng)等方法獲取，分析這些用戶(hù)能否轉(zhuǎn)化為愛(ài)奇藝的付費(fèi)用戶(hù)硝桩。

26.給一張流量表沿猜，怎么識(shí)別不同渠道的變化？（拼多多）

參考答案

取數(shù)的時(shí)候?qū)roupby不同的渠道進(jìn)行聚合碗脊。變化的話(huà)看不同渠道的影響系數(shù)=(該渠道變化前指標(biāo)-該渠道變化后指標(biāo))/總的變化前指標(biāo)啼肩，就可以量化比較不同渠道變化帶來(lái)的影響。

6.分析一個(gè)case衙伶，case背景是陌陌換了匹配算法祈坠，要做abtest（字節(jié)跳動(dòng)）

參考答案

關(guān)鍵指標(biāo)：匹配后互動(dòng)成功率

相關(guān)指標(biāo)：DAU、用戶(hù)在線(xiàn)時(shí)長(zhǎng)矢劲，次均聊天時(shí)長(zhǎng)赦拘、用戶(hù)付費(fèi)率、各類(lèi)功能的使用情況

負(fù)向指標(biāo)：用戶(hù)流失率

7.算法部門(mén)上線(xiàn)了新的推薦算法芬沉，在ab-test中敗給了老算法躺同，讓你找出其中的原因，需要說(shuō)出具體思路和框架（拼多多）

參考答案

電商平臺(tái)的商品推薦中花嘶，商品歷經(jīng)曝光笋籽、點(diǎn)擊、加購(gòu)物車(chē)椭员、下單這一系列漏斗车海。應(yīng)該分別比較兩個(gè)算法推薦商品在各環(huán)節(jié)的轉(zhuǎn)化率，并針對(duì)不同環(huán)節(jié)尋找原因。如果較老算法而言侍芝，新算法推的商品從曝光至點(diǎn)擊的轉(zhuǎn)化率很低研铆，則應(yīng)該從推薦推送客群的畫(huà)像思考，說(shuō)明推薦算法推送的商品并不適合推送的客群州叠，以此為依據(jù)重新調(diào)整算法邏輯棵红。

8.簡(jiǎn)要介紹AB測(cè)，并給出樣本量計(jì)算公式咧栗。（拼多多逆甜、攜程）

參考答案

AB實(shí)驗(yàn)經(jīng)常運(yùn)用在活動(dòng)策略是否有效的問(wèn)題上，進(jìn)行實(shí)驗(yàn)的步驟是：實(shí)驗(yàn)的流程：確定目標(biāo)和假設(shè)->確定指標(biāo)->確定實(shí)驗(yàn)單位->計(jì)算樣本量->實(shí)施測(cè)試->分析實(shí)驗(yàn)結(jié)果

其中樣本量的計(jì)算是比較重要的內(nèi)容致板，A/B 測(cè)試所需的時(shí)間 = 總樣本量 /每天可以得到的樣本量交煞。從公式就能看出來(lái)，樣本量越小斟或，意味著實(shí)驗(yàn)所進(jìn)行的時(shí)間越短素征。在實(shí)際業(yè)務(wù)場(chǎng)景中，時(shí)間往往是最寶貴的資源萝挤，畢竟御毅，快速迭代貴在一個(gè)“快”字。另外怜珍，我們做 A/B 測(cè)試的目的端蛆，就是為了驗(yàn)證某種改變是否可以提升產(chǎn)品、業(yè)務(wù)绘面，當(dāng)然也可能出現(xiàn)某種改變會(huì)對(duì)產(chǎn)品欺税、業(yè)務(wù)造成損害的情況侈沪，所以這就有一定的試錯(cuò)成本揭璃。那么，實(shí)驗(yàn)范圍越小亭罪，樣本量越小瘦馍，試錯(cuò)成本就會(huì)越低。實(shí)踐和理論上對(duì)樣本量的需求应役，其實(shí)是一對(duì)矛盾情组。所以，我們就要在統(tǒng)計(jì)理論和實(shí)際業(yè)務(wù)場(chǎng)景這兩者中間做一個(gè)平衡：在 A/B 測(cè)試中箩祥，既要保證樣本量足夠大院崇，又要把實(shí)驗(yàn)控制在盡可能短的時(shí)間內(nèi)。樣本量的計(jì)算公式如下：

9.拼多多最近在測(cè)試兩個(gè)不同的推薦算法袍祖，其中A比B好底瓣，從哪幾個(gè)方面可以分析好的原因。（拼多多）

參考答案

關(guān)鍵指標(biāo)提升：A組用戶(hù)下單轉(zhuǎn)化率明顯高于B組

相關(guān)指標(biāo)正向：A組用戶(hù)人均訂單量增加蕉陋、GMV提升捐凭、用戶(hù)活躍時(shí)間更長(zhǎng)拨扶、物品的收藏率和分享率更高、用戶(hù)拉新拉活數(shù)量更多

負(fù)向指標(biāo)減少：A組用戶(hù)退款率下降茁肠、用戶(hù)差評(píng)率降低

10.ABtest,?為了提高點(diǎn)擊率患民，對(duì)界面進(jìn)行了小幅度修改，有兩個(gè)組一組1000個(gè)人垦梆，有100個(gè)人點(diǎn)擊匹颤，另一組1000個(gè)人，120人點(diǎn)擊托猩，怎么判斷好不好（拼多多）

參考答案

在比例類(lèi)別指標(biāo)的假設(shè)檢驗(yàn)中惋嚎，可以使用卡方檢驗(yàn)方法。首先進(jìn)行假設(shè)站刑，設(shè)H0為兩組實(shí)驗(yàn)的點(diǎn)擊率無(wú)明顯差異另伍，H1為第二組點(diǎn)擊率要高于第一組。在該實(shí)驗(yàn)中绞旅，A組1000人中有100人點(diǎn)擊摆尝，則點(diǎn)擊率為10%，置信區(qū)間為[8.3%, 12%]因悲；B組1000人中有120人點(diǎn)擊堕汞，則點(diǎn)擊率為12%，置信區(qū)間為[10.1%, 14.2%]晃琳，在95%的置信度下讯检，進(jìn)行計(jì)算得到p-value=0.15>0.05，不能拒絕原假設(shè)H0卫旱，因此認(rèn)為兩組點(diǎn)擊率無(wú)明顯差異人灼。

答案解析

卡方檢驗(yàn)：卡方檢驗(yàn)是統(tǒng)計(jì)樣本的實(shí)際觀測(cè)值與理論推斷值之間的偏離程度，實(shí)際觀測(cè)值與理論推斷值之間的偏離程度就決定卡方值的大小顾翼，如果卡方值越大投放，二者偏差程度越大；反之适贸，二者偏差越芯姆肌；若兩個(gè)值完全相等時(shí)拜姿，卡方值就為0烙样，表明理論值完全符合。

11.有沒(méi)有接觸過(guò)ABtest/經(jīng)驗(yàn)蕊肥，請(qǐng)說(shuō)說(shuō)對(duì)他的理解（滴滴谒获、快手、字節(jié)跳動(dòng)）

參考答案

AB實(shí)驗(yàn)經(jīng)常運(yùn)用在活動(dòng)策略是否有效的問(wèn)題上，它的理論基礎(chǔ)是假設(shè)檢驗(yàn)究反，也就是選擇一種合適的檢驗(yàn)方法寻定，去驗(yàn)證在 A/B 測(cè)試中我們提出的假設(shè)是否正確。現(xiàn)在精耐，你只要知道“假設(shè)檢驗(yàn)”中狼速，最重要也最核心的是“檢驗(yàn)”就可以了，因?yàn)檫x取哪種檢驗(yàn)方法卦停，取決于指標(biāo)的統(tǒng)計(jì)屬性向胡。A/B 測(cè)試是促進(jìn)業(yè)務(wù)持續(xù)增長(zhǎng)的最實(shí)用、最有效的方式惊完。

12.選擇AB實(shí)驗(yàn)的樣本的時(shí)候僵芹，應(yīng)該注意什么（滴滴）

參考答案

選擇AB實(shí)驗(yàn)的樣本的時(shí)候，我們最要考慮的是樣本量的選擇小槐，影響樣本量選擇通常有4個(gè)因素：顯著性水平（α）拇派、標(biāo)準(zhǔn)差（1 – β）、統(tǒng)計(jì)功效（μA-μB）凿跳、均值差異（σ）

● 顯著性水平：顯著性水平越低件豌，對(duì)AB實(shí)驗(yàn)結(jié)果的要求也就越高，越需要更大的樣本量來(lái)確保精度

● 統(tǒng)計(jì)功效：統(tǒng)計(jì)功效意味著避免犯二類(lèi)錯(cuò)誤的概率控嗜，統(tǒng)計(jì)功效越大茧彤，需要的樣本量也越大

● 均值差異：如果真實(shí)值和測(cè)試值的均值差別巨大，也不太需要多少樣本疆栏，就能達(dá)到統(tǒng)計(jì)顯著

● 標(biāo)準(zhǔn)差：標(biāo)準(zhǔn)差越小曾掂，代表兩組差異的趨勢(shì)越穩(wěn)定。越容易觀測(cè)到顯著的統(tǒng)計(jì)結(jié)果

將這四個(gè)值帶入樣本計(jì)算量公式就能得到需要的樣本量壁顶，通常有網(wǎng)站專(zhuān)門(mén)計(jì)算AB實(shí)驗(yàn)的樣本量珠洗，所以只要搞清楚上面四個(gè)值，就能計(jì)算出你需要的樣本量

答案解析

這道題主要是對(duì)AB實(shí)驗(yàn)樣本量選擇的考量博助，因?yàn)樵谶x擇樣本的時(shí)候最關(guān)鍵也是最重要的一步就是對(duì)樣本量的選擇险污，對(duì)于有經(jīng)驗(yàn)的人來(lái)說(shuō)可以按照經(jīng)驗(yàn)判斷樣本量級(jí)，但是對(duì)于更多人來(lái)說(shuō)還是需要有更多輔助的判斷富岳。通常來(lái)說(shuō)樣本量太少，實(shí)驗(yàn)結(jié)果不大可信拯腮，但是樣本量太多窖式，也不是更好，一個(gè)最直接的原因就是樣本量越大动壤，影響的用戶(hù)越多萝喘，就有可能影響到用戶(hù)對(duì)產(chǎn)品的體驗(yàn)。

13.如何設(shè)計(jì)ABtest確定此功能上線(xiàn)收益（正負(fù)收益平衡點(diǎn)）（快手）

參考答案

1.?A方案和B方案，哪個(gè)方案的結(jié)果更好阁簸？

首先的話(huà)爬早，需要做需要運(yùn)用假設(shè)檢驗(yàn)，分為兩種不同的檢驗(yàn)方式启妹，對(duì)于留存率筛严、滲透率等漏斗類(lèi)，采用卡方檢驗(yàn)饶米。對(duì)于人均時(shí)長(zhǎng)類(lèi)等均值類(lèi)指標(biāo)桨啃，采用t檢驗(yàn)。

2.?通過(guò)假設(shè)檢驗(yàn)后檬输，如果結(jié)論置信照瘾，我們就能夠得到A方案和B方案哪個(gè)指標(biāo)更好（有顯著性差異）， 對(duì)于不置信的結(jié)論丧慈，盡管A方案和B方案 的指標(biāo)可能略有差異析命，但可能是數(shù)據(jù)正常波動(dòng)產(chǎn)生。哪個(gè) ROI 更高逃默？

一般有活動(dòng)相比無(wú)活動(dòng)碳却，留存、人均時(shí)長(zhǎng)等各項(xiàng)指標(biāo)均會(huì)顯著笑旺。

對(duì)于ROI 的計(jì)算昼浦，成本方面，每個(gè)實(shí)驗(yàn)組成本可以直接計(jì)算筒主，對(duì)于收益方面关噪，就要和對(duì)照組相比較，假定以總?cè)栈钴S天（即 DAU 按日累計(jì)求和）作為收益指標(biāo)乌妙，需要假設(shè)不做運(yùn)營(yíng)活動(dòng)使兔，DAU 會(huì)是多少，可以通過(guò)對(duì)照組計(jì)算藤韵，即：

● 實(shí)驗(yàn)組假設(shè)不做活動(dòng)日活躍天 = 對(duì)照組日活躍天 * （實(shí)驗(yàn)組流量 / 對(duì)照組流量）

● 實(shí)驗(yàn)組收益 = 實(shí)驗(yàn)組日活躍天 - 實(shí)驗(yàn)組假設(shè)不做活動(dòng)日活躍天

這樣就可以量化出每個(gè)方案的ROI虐沥。

答案解析

這道題主要是考察ABtest上線(xiàn)后，從哪些維度來(lái)確認(rèn)哪個(gè)方案更好泽艘，或者說(shuō)新的方案是否比舊的方案更加適合上線(xiàn)

14.根據(jù)上面說(shuō)的改進(jìn)點(diǎn)做AB測(cè)試欲险，從什么角度來(lái)分析？（小紅書(shū)）

參考答案

以下是ABtest常用的不同的分析指標(biāo)匹涮，可以從這些指標(biāo)來(lái)分析ABtest（以電商為例）

● 點(diǎn)擊率

● 留存率

● 復(fù)購(gòu)率

● 轉(zhuǎn)化率

● 跳出率

● 平均保留率

● 平均使用時(shí)長(zhǎng)（應(yīng)用天试，手機(jī)網(wǎng)站、網(wǎng)頁(yè)或游戲場(chǎng)景上的時(shí)間）

● 客戶(hù)滿(mǎn)意率

● 平均用戶(hù)收入

● 平均訂單金額

通過(guò)對(duì)比以上指標(biāo)在ABtest中的效果然低，就可以分析不同方案的優(yōu)缺點(diǎn)

答案解析

這題考慮的是ABtest的分析的角度喜每，分析的角度可以通過(guò)不同的指標(biāo)來(lái)分析务唐，不同的指標(biāo)體現(xiàn)了不同角度的意義

15.怎么驗(yàn)證你的改進(jìn)辦法有沒(méi)有效（字節(jié)跳動(dòng)）

參考答案

常見(jiàn)的方法就是去關(guān)注一下指定的指標(biāo)，因?yàn)榇蠖鄶?shù)ABtest在確認(rèn)做之前都會(huì)指定一些關(guān)鍵性指標(biāo)带兜，比如枫笛，點(diǎn)擊率、留存率刚照、復(fù)購(gòu)率和轉(zhuǎn)化率等等刑巧，所以在上線(xiàn)后就可以直接關(guān)注這些指標(biāo)是否有提高，如果有就說(shuō)明辦法有效涩咖，如果沒(méi)有提高就需要看看辦法哪里出了問(wèn)題海诲。其次也能夠通過(guò)計(jì)算ROI來(lái)比對(duì)不同的方案。

對(duì)于ROI 的計(jì)算檩互，成本方面特幔，每個(gè)實(shí)驗(yàn)組成本可以直接計(jì)算，對(duì)于收益方面闸昨，就要和對(duì)照組相比較蚯斯，假定以總?cè)栈钴S天（即 DAU 按日累計(jì)求和）作為收益指標(biāo)，需要假設(shè)不做運(yùn)營(yíng)活動(dòng)饵较，DAU 會(huì)是多少拍嵌，可以通過(guò)對(duì)照組計(jì)算，即：

● 實(shí)驗(yàn)組假設(shè)不做活動(dòng)日活躍天 = 對(duì)照組日活躍天 * （實(shí)驗(yàn)組流量 / 對(duì)照組流量）

● 實(shí)驗(yàn)組收益 = 實(shí)驗(yàn)組日活躍天 - 實(shí)驗(yàn)組假設(shè)不做活動(dòng)日活躍天

這樣就可以量化出每個(gè)方案的ROI循诉。

答案解析

這題主要還是考察ABtest上線(xiàn)后的效果横辆，最簡(jiǎn)單的是一些指標(biāo)可以看出是否有效果，也能看一個(gè)投資回報(bào)率ROI來(lái)看是否有效果

16.A/B test場(chǎng)景問(wèn)題茄猫，第一類(lèi)錯(cuò)誤狈蚤，第二類(lèi)錯(cuò)誤具體是什么，你覺(jué)得哪個(gè)更嚴(yán)重等延伸開(kāi)的問(wèn)題（阿里）

參考答案

第一類(lèi)錯(cuò)誤：原假設(shè)正確但是拒絕原假設(shè)划纽，棄真錯(cuò)誤脆侮。第二類(lèi)錯(cuò)誤：原假設(shè)錯(cuò)誤但是接受原假設(shè)勇劣，取偽錯(cuò)誤。第一類(lèi)錯(cuò)誤更嚴(yán)重幻捏，由于報(bào)告了本來(lái)不存在的現(xiàn)象退敦，則因此現(xiàn)象而衍生出的后續(xù)研究、應(yīng)用的危害將是不可估量的瓮下。