ABtest
1.在abtest的應(yīng)用 p值的意義谒出,第一類和第二類錯(cuò)誤的定義是什么酥馍?(快手烟勋、字節(jié)跳動(dòng)餐塘、猿輔導(dǎo))
參考答案
AB實(shí)驗(yàn)實(shí)際上是建立在假設(shè)檢驗(yàn)的基礎(chǔ)上的桅锄,P值就是在原假設(shè)成立的前提下乐疆,出現(xiàn)原假設(shè)以及更極端現(xiàn)象的概率,定義了第一類錯(cuò)誤的具體程度辆沦,第一類錯(cuò)誤α叫棄真錯(cuò)誤或顯著性水平昼捍,即原假設(shè)為真時(shí)卻被我們拒絕的概率;
第二類錯(cuò)誤β叫采偽錯(cuò)誤众辨,即原假設(shè)為偽我們沒有拒絕的概率端三。在一定樣本量的情況下,減小一類錯(cuò)誤必然會(huì)增大另一類錯(cuò)誤鹃彻,在實(shí)踐中我們一般會(huì)優(yōu)先控制第一類錯(cuò)誤,因?yàn)樵僭O(shè)是非常明確的
==AB實(shí)驗(yàn)就是假設(shè)檢驗(yàn)的升級(jí)版妻献,p值就是原假設(shè)成立下蛛株,與其對(duì)立的小概率事件發(fā)生的概率
一類錯(cuò)誤就是拒絕了正確假設(shè),其實(shí)這也沒啥育拨,頂多少賺點(diǎn)
二類錯(cuò)誤就是接受了錯(cuò)誤假設(shè)谨履,這可不得了,會(huì)產(chǎn)生很難以估計(jì)的后果熬丧,這也就是為什么增大a可以降低1類錯(cuò)誤笋粟,卻沒人敢用的原因了,因?yàn)樗鼤?huì)提高2類錯(cuò)誤發(fā)生率析蝴。
==另外這里說(shuō)一下統(tǒng)計(jì)功效害捕,就是1-β,就是當(dāng)AB兩組有差異時(shí)被檢測(cè)出來(lái)的概率闷畸,越大越好尝盼,及第二類錯(cuò)誤越小越好(4-15
答案解析
1-第一類錯(cuò)誤也即原假設(shè)為真的情況我們接受的概率,對(duì)于AB實(shí)驗(yàn)佑菩,犯這個(gè)錯(cuò)誤代表新策略沒有收益盾沫,我們卻認(rèn)為有收益,然后上線的錯(cuò)誤殿漠,一般第一類錯(cuò)誤不超過(guò)5%赴精,第一類錯(cuò)誤是明顯的,也就是說(shuō)在原假設(shè)為真的情況下接受原假設(shè)的概率要超過(guò)95%绞幌;
統(tǒng)計(jì)功效=1-第二類錯(cuò)誤蕾哟,也即當(dāng)AB兩組實(shí)際有差異時(shí),能被我們檢測(cè)出來(lái)差異的概率
2.abtest的流程(快手、拼多多、阿里巴巴渐苏、作業(yè)幫)
參考答案
實(shí)驗(yàn)的流程:確定目標(biāo)和假設(shè)->確定指標(biāo)->確定實(shí)驗(yàn)單位->計(jì)算樣本量->實(shí)施測(cè)試->分析實(shí)驗(yàn)結(jié)果
==首先得明確企業(yè)的核心目標(biāo)掀潮,以此來(lái)找指標(biāo),然后就是實(shí)驗(yàn)的單位了下面有詳細(xì)解釋琼富,再是樣本量仪吧,然后就是結(jié)果分析了,注意辛普森悖論鞠眉。
==最先肯定是要知道目的是啥薯鼠,對(duì)不對(duì),然后就是提出假設(shè)械蹋,假設(shè)這個(gè)方案還闊以出皇,接下來(lái)就是找指標(biāo)了,這些指標(biāo)可以證明你的這個(gè)假設(shè)是成立的哗戈。
但是到這里還不夠郊艘,接下來(lái)得開始干了,得先確定你要找多少樣本唯咬,樣本要是多了纱注,實(shí)驗(yàn)失敗的話損失太大,樣本要是小了實(shí)驗(yàn)的可靠性又變得不高了胆胰。確定好樣本就要實(shí)施實(shí)驗(yàn)了狞贱,然后后面分析結(jié)果時(shí)候也得注意辛普森悖論。(4-15
答案解析
● 其中確定指標(biāo)中比較關(guān)鍵的是要確定評(píng)價(jià)指標(biāo)和護(hù)欄指標(biāo)蜀涨,評(píng)價(jià)指標(biāo)就是驅(qū)動(dòng)公司實(shí)現(xiàn)核心價(jià)值的指標(biāo)瞎嬉,要具有可歸因性、可測(cè)量性厚柳、敏感性和穩(wěn)定性氧枣;護(hù)欄指標(biāo)也就是輔助指標(biāo)
● 確定實(shí)驗(yàn)單位有從用戶層面、訪問(wèn)層面和頁(yè)面層面進(jìn)行考慮的情況草娜,用戶層面適用于易被用戶察覺的變化實(shí)驗(yàn)挑胸,訪問(wèn)和頁(yè)面層面適用于不易被用戶察覺的變化實(shí)驗(yàn);從用戶層面到頁(yè)面層面實(shí)驗(yàn)粒度越來(lái)越細(xì)宰闰,累計(jì)的樣本量也越來(lái)越多
● 計(jì)算樣本量茬贵,需要預(yù)先確認(rèn)以下數(shù)值:顯著性水平、功效移袍、實(shí)驗(yàn)組和對(duì)照組的綜合方差以及期望的最小差值解藻。實(shí)驗(yàn)組和對(duì)照組數(shù)據(jù)量最好均分,非均分的時(shí)候只有相對(duì)較小的組達(dá)到最小樣本量葡盗,實(shí)驗(yàn)結(jié)果才可能顯著螟左,并不是說(shuō)實(shí)驗(yàn)組越大越好啡浊,因?yàn)槠款i是在樣本量較小的對(duì)照組上,所以實(shí)驗(yàn)組和對(duì)照組的樣本量最好相同
==這里寫了計(jì)算樣本量的細(xì)節(jié)胶背,得先確定好α巷嚣,β,AB兩組的綜合方差和期望最小值钳吟;AB兩組最好是均分廷粒,不均分的話,兩組也得都滿足最小樣本量红且,有點(diǎn)類似木桶短板坝茎,并不是說(shuō)哪一組越大越好,而是看最小的那一組暇番。(4-15
● 分析測(cè)試結(jié)果的時(shí)候要注意辛普森悖論等問(wèn)題嗤放,而且要保證樣本達(dá)到足夠的量、檢驗(yàn)是否在正常的波動(dòng)范圍內(nèi)
==樣本量要夠壁酬,波動(dòng)要正常(4.15
3.自變量是不良體驗(yàn)反饋次酌,因變量是留存率,方法論是ABtest舆乔,二者相關(guān)性該注意什么?(滴滴)
參考答案
需要注意可能存在幸存者偏差現(xiàn)象和措。有些用戶在有不良體驗(yàn)后會(huì)進(jìn)行反饋,這種反饋在一定程度上可能解釋了用戶留存率下降的原因蜕煌,但同時(shí)應(yīng)該注意到,能進(jìn)行反饋的用戶通常是對(duì)平臺(tái)有感情的用戶诬留,希望能通過(guò)反饋改善平臺(tái)環(huán)境斜纪,繼而留下來(lái);很多真正失望的用戶可能一言不發(fā)便直接流失文兑,所以可能出現(xiàn)不良反饋的數(shù)量減少但留存率卻下降的情況盒刚。
==這個(gè)厲害了,仔細(xì)想想的確是绿贞,這是幸存者偏差現(xiàn)象因块,真正不喜歡的直接卸載了,哪還會(huì)留下反饋籍铁,有感情的參會(huì)留下了反饋涡上。
==其他場(chǎng)景也可能出現(xiàn)這種幸存者偏差,就是不好的反饋減少了拒名,但是留存率依舊下降吩愧。(4.15
4.AB Test有什么缺點(diǎn)?(滴滴)
參考答案
(1)制作AB版本的開發(fā)增显、數(shù)據(jù)收集的工作量較大雁佳、以及后期維護(hù)成本增加,ROI低;
(2)AB測(cè)試受場(chǎng)景限制糖权,產(chǎn)品版本發(fā)布后堵腹,無(wú)法增加或更改AB測(cè)試場(chǎng)景;
(3)通常應(yīng)用于短期即刻行為星澳,不適用與需要很長(zhǎng)時(shí)間才能驗(yàn)證的測(cè)試疚顷;
(4)需要的用戶人數(shù)多,要有足夠的樣本量募判。
==首先就是開發(fā)要錢荡含,工作量也大,投資回報(bào)率低届垫;ABtest的使用場(chǎng)景有限制释液;對(duì)于長(zhǎng)時(shí)間才能驗(yàn)證的假設(shè)難以奏效;對(duì)用戶量有要求
==因?yàn)楸旧砭褪且淮螠y(cè)試装处,看看新方案的效果误债,若是效果差,投資就拿不回來(lái)了妄迁;然后就是AB測(cè)試一旦上線就不好再改了寝蹈;并且只能短期。(4.15
5.AB測(cè)試在什么平臺(tái)上進(jìn)行登淘?介紹一下主要步驟箫老?(字節(jié)跳動(dòng))
參考答案
(1)定義策略:確定分流的目的、放量規(guī)模黔州、遞增的頻率耍鬓、回滾的策略等;
(2)篩選用戶:確定分流訪問(wèn)的用戶特征流妻,定義規(guī)則(根據(jù)IP牲蜀,user_id,cookie绅这,業(yè)務(wù)需求(商戶)等因素涣达,指定分流策略)或?qū)朊麊危?/p>
(3)訪問(wèn)分流:技術(shù)支撐,根據(jù)分流策略向用戶展示不同內(nèi)容证薇;
(4)發(fā)布運(yùn)行:根據(jù)不同的實(shí)現(xiàn)方案進(jìn)行部署度苔;
(5)采集分析:收集數(shù)據(jù),比較不同的方案效果棕叫,確定最終方案林螃。
==這里寫的主要是分流那步,我也奇怪為啥前面沒寫呢俺泣?分流就是對(duì)不同的用戶使用兩組方案疗认,應(yīng)該再計(jì)算樣本量之后完残。(4.15
1、請(qǐng)你說(shuō)說(shuō)假設(shè)檢驗(yàn)是什么(滴滴横漏、拼多多谨设、字節(jié)跳動(dòng))
參考答案
假設(shè)檢驗(yàn)是先對(duì)總體參數(shù)提出一個(gè)假設(shè)值,然后利用樣本信息判斷這一假設(shè)是否成立缎浇;假設(shè)有原假設(shè)扎拣,備擇假設(shè);檢驗(yàn)方式有單側(cè)檢驗(yàn)和雙側(cè)檢驗(yàn)素跺;其步驟通常為:提出原假設(shè)與備擇假設(shè)二蓝;從所研究總體中出抽取一個(gè)隨機(jī)樣本;構(gòu)造檢驗(yàn)統(tǒng)計(jì)量指厌;根據(jù)顯著性水平確定拒絕域臨界值刊愚;計(jì)算檢驗(yàn)統(tǒng)計(jì)量與臨界值進(jìn)行比較。
==這里解釋的很精髓了踩验,就是先對(duì)總體提出一個(gè)假設(shè)值鸥诽,然后利用樣本信息來(lái)判斷假設(shè)是否成立。
==假設(shè)有原假設(shè)和備擇假設(shè)箕憾,檢驗(yàn)方式也有單側(cè)檢驗(yàn)和雙側(cè)檢驗(yàn)牡借,從總體中抽取一個(gè)隨機(jī)樣本,構(gòu)造檢驗(yàn)統(tǒng)計(jì)量袭异,根據(jù)顯著性水平來(lái)構(gòu)造拒絕域钠龙,判斷統(tǒng)計(jì)量和拒絕域即可。
2御铃、AB實(shí)驗(yàn)實(shí)例俊鱼,假設(shè)檢驗(yàn)的應(yīng)用(拼多多)
參考答案
案例分析:
某網(wǎng)網(wǎng)站優(yōu)化了商品詳情?,現(xiàn)在新舊兩個(gè)版本同時(shí)運(yùn)行畅买,新版頁(yè)面覆蓋了10%的?戶,舊版覆蓋90%的?戶∠杆現(xiàn)在需要了解谷羞,新版頁(yè)面是否能夠提?商品詳情頁(yè)到支付頁(yè)的轉(zhuǎn)化率,并決定是否要覆蓋舊版溜徙,你能為決策提供哪些信息湃缎,需要收集哪些指標(biāo),給出統(tǒng)計(jì)方法及過(guò)程蠢壹。
==這里就是ABtst的實(shí)際應(yīng)用嗓违,可以仔細(xì)學(xué)習(xí)一下
1.收集指標(biāo),建立指標(biāo)體系
宏觀KPI指標(biāo):GMV,訂單量等,衡量業(yè)務(wù)增長(zhǎng)用戶體驗(yàn)輔助指標(biāo):頁(yè)面點(diǎn)擊率,頁(yè)面平均停留時(shí)長(zhǎng),跳出率等,量化用戶行為,判斷實(shí)驗(yàn)對(duì)?戶體驗(yàn)的影響實(shí)驗(yàn)預(yù)期提升指標(biāo):商詳轉(zhuǎn)化率
==指標(biāo)上面主要還是兩類,核心指標(biāo)和輔助指標(biāo)图贸,核心指標(biāo)就是GMV蹂季,訂單數(shù)之類和錢直接相關(guān)的冕广;輔助指標(biāo)就是點(diǎn)擊率,頁(yè)面停留時(shí)間之類的偿洁。
==此外這里還有第三類指標(biāo)撒汉,就是這次ABtest的核心問(wèn)題,新版本的詳情頁(yè)到支付頁(yè)的轉(zhuǎn)化率涕滋。
==這里得先確定目標(biāo)睬辐,其實(shí)就是多賺錢唄,提升宏觀的KPI(關(guān)鍵業(yè)績(jī)指標(biāo))宾肺,GMV溯饵,訂單數(shù),這個(gè)是從平臺(tái)角度分析的锨用,對(duì)于用戶來(lái)說(shuō)丰刊,舒服就是第一指標(biāo),可以通過(guò)頁(yè)面點(diǎn)擊率黔酥,停留時(shí)長(zhǎng)藻三,轉(zhuǎn)化率來(lái)判斷,以此來(lái)量化用戶側(cè)的信息跪者。(4.15
2.分配流量,AA實(shí)驗(yàn)
實(shí)際AB實(shí)驗(yàn)中可能出現(xiàn)抽樣不均的情況,例如實(shí)驗(yàn)組恰好有很多土豪,那么結(jié)果就會(huì)產(chǎn)生偏差,為了保證實(shí)驗(yàn)數(shù)據(jù)的變化僅僅是實(shí)驗(yàn)本身引起的,可以?次性抽取4,5組流量,選擇任意兩組不加策略空跑,監(jiān)控核心指標(biāo)數(shù)據(jù),選取兩組數(shù)據(jù)最接近的上實(shí)驗(yàn)(控制變量)
==這個(gè)就是分配流量的問(wèn)題棵帽,AB測(cè)試要有效果,那么其測(cè)試人群就得有代表性渣玲,為了保證這點(diǎn)逗概,可以一次性多抽幾組,任選兩組不加策略空跑忘衍,看核心指標(biāo)逾苫,然后選兩組最接近的上實(shí)驗(yàn)。
==其實(shí)是抽樣本的問(wèn)題枚钓,保證公平有效铅搓。(4.15
3.假設(shè)檢驗(yàn)
(1)通過(guò)確定實(shí)驗(yàn)周期(?般為7天),可以通過(guò)用戶使?頻率來(lái)判斷產(chǎn)品周期
(2)確定實(shí)驗(yàn)所需樣本量
如何決定樣本的數(shù)量?太多了會(huì)浪費(fèi)很多資源搀捷,太少了會(huì)因?yàn)榻y(tǒng)計(jì)靈敏度太低而得到不顯著的結(jié)論星掰。
利用第?類錯(cuò)誤α不超過(guò)5%,即Significance Level(顯著性?平) = 5%。
第?類錯(cuò)誤β不超過(guò)20%,即Statistical Power(統(tǒng)計(jì)功效) = 1 -β = 80%
直觀上理解,AB兩組即使有差異嫩舟,也不?定能被你觀測(cè)出來(lái)氢烘,必須保證?定的條件(比如樣本要充?)才能使你觀測(cè)出統(tǒng)計(jì)量之間的差異; 而統(tǒng)計(jì)功效就是當(dāng)AB兩組實(shí)際有差異時(shí),能被我們檢測(cè)出來(lái)差異的概率(當(dāng)備擇假設(shè)為真,我們接受的概率)
==這里詳細(xì)的說(shuō)了一下和
的含義,前者是顯著性水平家厌,也是統(tǒng)計(jì)的靈敏度播玖,后者就是統(tǒng)計(jì)功效,即當(dāng)兩者有差異時(shí)饭于,能被我們檢測(cè)出來(lái)的概率蜀踏。
==這里說(shuō)的假設(shè)檢驗(yàn)有兩個(gè)要點(diǎn)维蒙,一是時(shí)間,根據(jù)用戶使用頻率來(lái)確定脓斩,一般為7天木西,另一個(gè)就是樣本量(4.15
AB實(shí)驗(yàn)時(shí),要同時(shí)滿足随静,且相對(duì)差值滿足閾值條件八千。(相對(duì)差值:絕對(duì)差值對(duì)照組均值 >= 閾值) 相當(dāng)于在部分情況下,要更小的P值才能拒絕原假設(shè)燎猛。 會(huì)使?類錯(cuò)誤概率降低恋捆,?類錯(cuò)誤概率提?。 要使?類錯(cuò)誤概率不過(guò)高重绷,可以通過(guò)增加樣本量來(lái)解決沸停。
4.決策方案
結(jié)論給出:正收益,負(fù)收益,持平
—正收益:確定發(fā)布新版本。本次頁(yè)面改進(jìn)在顯著性?平內(nèi)昭卓,證明了‘轉(zhuǎn)化率提升的假設(shè)’愤钾。并且收益提升率達(dá)到預(yù)期?平。進(jìn)?步驗(yàn)證實(shí)驗(yàn)是否正確-實(shí)驗(yàn)反轉(zhuǎn)當(dāng)?shù)贸鰧?shí)驗(yàn)正向結(jié)論后候醒,將實(shí)驗(yàn)反轉(zhuǎn)能颁,對(duì)照組變成實(shí)驗(yàn)組,實(shí)驗(yàn)組變成對(duì)照組倒淫。
原因:反轉(zhuǎn)實(shí)驗(yàn)?zāi)軌蝌?yàn)證實(shí)驗(yàn)數(shù)據(jù)的差別是由實(shí)驗(yàn)本身引起的伙菊。但需要注意的是,建議只在實(shí)驗(yàn)為正向收益時(shí)反轉(zhuǎn)實(shí)驗(yàn)敌土。如果收益為負(fù)镜硕,反轉(zhuǎn)實(shí)驗(yàn),只會(huì)多損傷原對(duì)照組的?戶體驗(yàn)返干。
==就是結(jié)果好兴枯,滿足了預(yù)期的水平,可以反轉(zhuǎn)下實(shí)驗(yàn)組和對(duì)照組矩欠,來(lái)進(jìn)一步確認(rèn)念恍。
具體做法:舉個(gè)例子,實(shí)驗(yàn)?zāi)康臑椤鞍粹o大小對(duì)該按鈕點(diǎn)擊率的影響”晚顷。A 組流量按鈕變?,B 組為對(duì)照組,按鈕大小正常,數(shù)據(jù)顯示A組的按鈕點(diǎn)擊率升高,效果更好.在反轉(zhuǎn)試驗(yàn)中,A 組流量按鈕回復(fù)正常,B組變?yōu)閷?shí)驗(yàn)組,按鈕變?疗疟。如果此時(shí)數(shù)據(jù)顯示B組按鈕點(diǎn)擊率升高该默,說(shuō)明按鈕大小對(duì)點(diǎn)擊率有影響。
—負(fù)收益:優(yōu)化迭代方案重新開發(fā)策彤,本次頁(yè)面改進(jìn)在顯著性?平內(nèi),核?指標(biāo)負(fù)向變化顯著栓袖。
—持平:調(diào)整分流比例繼續(xù)測(cè)試
==就是沒變化匣摘,可能是樣本空間不足,這里調(diào)整分流比例不放棄裹刮。
==三個(gè)結(jié)果音榜,分別為正收益,負(fù)收益和不變捧弃。
正收益就再反轉(zhuǎn)測(cè)試一遍赠叼,沒問(wèn)題就可以考慮正式上線了
負(fù)收益就記錄下,供以后優(yōu)化做參考
持平就調(diào)整下分流比例(4.15
1.本次頁(yè)面改進(jìn)不顯著無(wú)法證明‘轉(zhuǎn)化率提升的假設(shè)’违霞。分析原因可能是新版本樣本空間不足嘴办。
2.產(chǎn)品變化本身收益不明顯
3、假設(shè)檢驗(yàn)的原理和步驟(貝殼找房)
參考答案
假設(shè)檢驗(yàn)的原理:
小概率事件原理买鸽,小概率事件在一次實(shí)驗(yàn)中基本是不可能發(fā)生的涧郊,而一旦發(fā)生就有充分的理由拒絕原假設(shè)。去證明假設(shè)是錯(cuò)誤的眼五,從而反證假設(shè)的另一面很可能是正確的妆艘,運(yùn)用的是反證法。
==本質(zhì)上就是反證法看幼,如果和原假設(shè)對(duì)立的小概率事件都發(fā)生了批旺,倒推原假設(shè)沒有成立
假設(shè)檢驗(yàn)的步驟:
步驟:
確定原假設(shè)和備擇假設(shè)
確定適當(dāng)?shù)臋z驗(yàn)統(tǒng)計(jì)量,并計(jì)算其數(shù)值桌吃。選擇哪個(gè)統(tǒng)計(jì)量作為檢驗(yàn)統(tǒng)計(jì)量需要考慮一些因素朱沃,例如進(jìn)行檢驗(yàn)的樣本量多還是少,總體標(biāo)準(zhǔn)差是已知還是未知等等
最后看這個(gè)數(shù)據(jù)是落在接受域還是拒絕域茅诱,如果落在接受域則接受原假設(shè)逗物,如果落在拒絕域則接受備擇假設(shè)
4、參數(shù)估計(jì)和假設(shè)檢驗(yàn)分別是什么瑟俭?區(qū)別在哪里翎卓?(廣聯(lián)達(dá))
參考答案及解析
● 假設(shè)檢驗(yàn)在工作之后更重要的一個(gè)應(yīng)用就是AB實(shí)驗(yàn)。AB實(shí)驗(yàn)是快速驗(yàn)證策略是否有效的方法摆寄,其中涉及的大量統(tǒng)計(jì)學(xué)知識(shí)以及實(shí)驗(yàn)步驟:確定目標(biāo)及假設(shè)失暴、確定指標(biāo)、確定實(shí)驗(yàn)單位微饥、樣本量估算逗扒、測(cè)試時(shí)間估算、實(shí)施測(cè)試欠橘、分析測(cè)試結(jié)果等
● 參數(shù)估計(jì)和假設(shè)檢驗(yàn)的聯(lián)系是:
○ 參數(shù)估計(jì)和假設(shè)檢驗(yàn)都是樣本去估計(jì)總體矩肩,都是建立在概率基礎(chǔ)上的統(tǒng)計(jì),可以相互轉(zhuǎn)換
==參數(shù)估計(jì)和假設(shè)檢驗(yàn)都是用樣本估計(jì)總體
● 參數(shù)估計(jì)和假設(shè)檢驗(yàn)的區(qū)別是:
○ 參數(shù)估計(jì)是用樣本統(tǒng)計(jì)量估計(jì)總體參數(shù)的方法肃续;假設(shè)檢驗(yàn)是先對(duì)總體參數(shù)提出一個(gè)假設(shè)黍檩,然后利用樣本信息去檢驗(yàn)這個(gè)假設(shè)是否成立
○ 參數(shù)估計(jì)是以置信區(qū)間(大概率)估計(jì)總體參數(shù)叉袍;假設(shè)檢驗(yàn)是利用小概率事件是否發(fā)生來(lái)判斷假設(shè)是否成立
==參數(shù)估計(jì)是用樣本的值來(lái)估計(jì)總體的參數(shù);假設(shè)檢驗(yàn)是利用小概率事件來(lái)判斷假設(shè)是否成立刽酱。
5喳逛、實(shí)習(xí)內(nèi)容中:假設(shè)、驗(yàn)證涉及的假設(shè)檢驗(yàn)棵里、a/btest(猿輔導(dǎo))
參考答案
假設(shè)檢驗(yàn):假設(shè)檢驗(yàn)是先對(duì)總體參數(shù)提出一個(gè)假設(shè)值润文,然后利用樣本信息判斷這一假設(shè)是否成立;假設(shè)有原假設(shè)衍慎,備擇假設(shè)转唉;檢驗(yàn)方式有單側(cè)檢驗(yàn)和雙側(cè)檢驗(yàn);其步驟通常為:提出原假設(shè)與備擇假設(shè)稳捆;從所研究總體中出抽取一個(gè)隨機(jī)樣本赠法;構(gòu)造檢驗(yàn)統(tǒng)計(jì)量;根據(jù)顯著性水平確定拒絕域臨界值乔夯;計(jì)算檢驗(yàn)統(tǒng)計(jì)量與臨界值進(jìn)行比較砖织。
a/b test:流程為:1.收集指標(biāo),建立指標(biāo)體系;2.分配流量,AA實(shí)驗(yàn)末荐;3.假設(shè)檢驗(yàn)侧纯;4.決策方案。
本題在解答的時(shí)候需要在參考答案的基礎(chǔ)上結(jié)合自己的業(yè)務(wù)場(chǎng)景來(lái)進(jìn)行解答