題目一：使用ABTest對(duì)新算法進(jìn)行評(píng)估

經(jīng)過(guò)一番研究后颂砸，我們開發(fā)出了商品頁(yè)面上“相關(guān)商品”模塊的一個(gè)新的推薦算法挪圾，并且打算通過(guò)AB Test（50%
用戶保留原先的算法邏輯為控制組，50%用戶使用新的算法邏輯為實(shí)驗(yàn)組）來(lái)對(duì)新的算法效果進(jìn)行評(píng)估佳遂。假設(shè)你是此次實(shí)驗(yàn)的數(shù)據(jù)分析師哈踱，請(qǐng)問(wèn)你會(huì)如何評(píng)估控制組和實(shí)驗(yàn)組的表現(xiàn)量没？（假設(shè)需要數(shù)據(jù)都可取到）請(qǐng)按重要性列出最重要的三個(gè)指標(biāo)并給出你的分析過(guò)程/思考。

思路：

先看下ABtest的實(shí)驗(yàn)步驟：

第一步持际，要先設(shè)定我們的評(píng)估目標(biāo)（也就是題目說(shuō)的最重要的三個(gè)指標(biāo)沃琅，在實(shí)際工作中可以根據(jù)實(shí)際情況定）；

第二步蜘欲，分配流量給幾個(gè)對(duì)照組并統(tǒng)計(jì)好數(shù)據(jù)益眉，明確要評(píng)估哪個(gè)點(diǎn)，對(duì)照組與實(shí)驗(yàn)組和之間只能有一個(gè)變量是不同的姥份。

第三步郭脂，得到參考組數(shù)據(jù)后，再去分析實(shí)驗(yàn)組的數(shù)據(jù)澈歉。

注意使用ABtest的前提一定要是數(shù)據(jù)比較多的情況下才能使用展鸡，不然數(shù)量比較少的話，會(huì)容易受到那些異常數(shù)據(jù)的影響埃难，比如有些用戶可能每買一單的錢都特別多莹弊，這樣你可能就對(duì)比了50個(gè)用戶，有一個(gè)用戶的購(gòu)買價(jià)格比后面49個(gè)加起來(lái)還多涡尘，那他的購(gòu)買行為會(huì)很影響我們的實(shí)驗(yàn)結(jié)果忍弛。

分析實(shí)驗(yàn)數(shù)據(jù)是使用假設(shè)檢驗(yàn)的統(tǒng)計(jì)學(xué)方法，在統(tǒng)計(jì)顯著性水平達(dá)到95%或者以上的時(shí)候考抄，并且維持一段時(shí)間细疚，那實(shí)驗(yàn)就可以結(jié)束了。如果一直在95%以上川梅，我們可能就要適當(dāng)延長(zhǎng)實(shí)驗(yàn)時(shí)間疯兼，如果很長(zhǎng)時(shí)間都是95%或者90%以下，就可以直接終止實(shí)驗(yàn)了挑势。

接下來(lái)具體來(lái)看本題目的流程：

1镇防、指標(biāo)梳理：

1）要去設(shè)計(jì)評(píng)估目標(biāo)就是我們的指標(biāo)啦鸣，我們可以用什么去做衡量呢潮饱？因?yàn)檫@個(gè)是相關(guān)商品模塊的推薦算法，是要銷售產(chǎn)品诫给，是一個(gè)購(gòu)買行為香拉，所以我們可以定銷售額的指標(biāo)啦扬，這個(gè)指標(biāo)可以很直觀地反映你的算法推薦是否有效有效，越有效凫碌，你通過(guò)推薦進(jìn)來(lái)的銷售額就越高扑毡。

2）考慮商品展示渠道，渠道就要考慮點(diǎn)擊率盛险、轉(zhuǎn)化率瞄摊、復(fù)購(gòu)率的指標(biāo)。這個(gè)可以看你是否給用戶推薦對(duì)了苦掘，你推薦的越合適越貼現(xiàn)换帜，點(diǎn)擊的可能性就越高越，也就越容易去點(diǎn)擊鹤啡。

指標(biāo)：銷售額惯驼、點(diǎn)擊量、轉(zhuǎn)化率

這是考慮的指標(biāo)递瑰，那么我們分析過(guò)程是什么呢祟牲？

分析過(guò)程就是考慮統(tǒng)計(jì)學(xué)的假設(shè)檢驗(yàn)，基本的流程是下面的幾步：

2抖部、分析過(guò)程：

1）設(shè)原假設(shè)為使用新的推薦算法后说贝，上述指標(biāo)降低或不變，備擇假設(shè)為使用新的推薦算法后上述指標(biāo)增加（也就是設(shè)定原假設(shè)和備擇假設(shè)慎颗，備擇假設(shè)就是使用新的推薦算法之后上述指標(biāo)增加狂丝，這樣的結(jié)果就是拒絕或默認(rèn)拒絕原假設(shè)鸯乃，只要拒絕了原假設(shè)辙浑，那就說(shuō)明算法有用花吟，因?yàn)榫芙^了的話巩检，那說(shuō)明備擇假設(shè)是成立的）耿芹；

2）選擇顯著性水平臨界值為5%烛占，采集數(shù)據(jù)（在統(tǒng)計(jì)學(xué)里面嚎于，概率小于5%就默認(rèn)是小概率事件）泵额；

選擇周期時(shí)間為2周涮母，在數(shù)據(jù)采集前檢查兩組數(shù)據(jù)是否有明顯差異谆趾，若無(wú)，繼續(xù)采集數(shù)據(jù)叛本；

3）使用T檢驗(yàn)沪蓬，計(jì)算P值（計(jì)算P值也可以用pandas里面集成的模塊）；

4）最后分析結(jié)論来候，如果P值小于5%跷叉，那么原假設(shè)不成立，備擇假設(shè)成立，即使用新算法后指標(biāo)提升云挟，反之無(wú)法推翻原假設(shè)梆砸，不能證明使用新算法后指標(biāo)提升。

只有拒絕和不能拒絕园欣，而不是拒絕或者接受帖世，這也是假設(shè)檢驗(yàn)比較有意思的地方，這是我們是假設(shè)設(shè)計(jì)反的原因沸枯。

這也是ABtest的一個(gè)常規(guī)流程日矫。

題目二：銷量下降了怎么辦

如果我們發(fā)現(xiàn)，某店鋪的X品類在今年3月的銷量绑榴，比去年3月的銷量下降了50%搬男，如果你是負(fù)責(zé)此次分析的數(shù)據(jù)分析師，你會(huì)如何分析彭沼？請(qǐng)寫出你的分析思路/過(guò)程/想法缔逛。

這種怎么辦的問(wèn)題，面試的時(shí)候經(jīng)常都會(huì)問(wèn)到姓惑。這這類題目其實(shí)考察的就是數(shù)據(jù)分析思維方法褐奴，是否有數(shù)據(jù)分析思維經(jīng)驗(yàn)，這類問(wèn)題經(jīng)常使用的是多維度拆解的方法于毙。

通常的解題步驟是這樣的：

第一步敦冬，先定位問(wèn)題，先確定是不是真的有問(wèn)題或者說(shuō)問(wèn)題的嚴(yán)重性唯沮，然后外部市場(chǎng)環(huán)境和內(nèi)部問(wèn)題進(jìn)行分析脖旱。

1）是否數(shù)據(jù)統(tǒng)計(jì)有問(wèn)題、或者個(gè)例問(wèn)題(如某個(gè)客服說(shuō)投訴特別高介蛉，可能是她負(fù)責(zé)的那部分客戶投訴率很高萌庆，但是整體的投訴率是在正常水平，或者是某個(gè)客服負(fù)責(zé)的商品退貨率特別低币旧，但是整體水平?jīng)]有改變多少践险，這時(shí)數(shù)據(jù)是沒錯(cuò)的，但是卻是個(gè)例問(wèn)題)

2）外部市場(chǎng)環(huán)境問(wèn)題吹菱，銷售額是比去年同期下降巍虫，那這是一個(gè)什么樣的性質(zhì)？我們的今年三月份的銷售目標(biāo)是直接對(duì)照去年三月份加10%嗎鳍刷？有沒有去調(diào)研過(guò)今年市場(chǎng)行情的情況占遥、競(jìng)品情況是怎樣的？

有沒有可能這個(gè)品類在今年市場(chǎng)上普遍不受歡迎呢输瓜？如果是整體市場(chǎng)不受歡迎瓦胎，那么問(wèn)題就不是很嚴(yán)重芬萍，可能就需要考慮產(chǎn)品的更新或者考慮改進(jìn)運(yùn)營(yíng)營(yíng)銷方式逆勢(shì)而上引領(lǐng)整個(gè)市場(chǎng)。還是去年平臺(tái)方有做了一個(gè)大型活動(dòng)凛捏，產(chǎn)品有參與活動(dòng)效果很不錯(cuò)，但是今年平臺(tái)方?jīng)]有做這樣的活動(dòng)芹缔，而自己店鋪?zhàn)龅幕顒?dòng)力度沒有那么大導(dǎo)致的坯癣？這樣就需要對(duì)比去年活動(dòng)效果的去銷售額的提升情況與今年的情況進(jìn)行對(duì)比對(duì)照。

第二步最欠，指標(biāo)拆解示罗，內(nèi)部問(wèn)題，主要對(duì)渠道芝硬、新老用戶蚜点、地區(qū)、時(shí)間段拌阴、某個(gè)商品方面進(jìn)行拆解

①②③④⑤通過(guò)渠道绍绘、新老用戶、地區(qū)迟赃、時(shí)間段陪拘、某個(gè)商品等維度進(jìn)行拆分，是不是某個(gè)渠道的問(wèn)題纤壁、還是新老客戶的問(wèn)題左刽、或者是某個(gè)地區(qū)的銷售額下降導(dǎo)致影響到整體的銷售額？是不是某一段時(shí)間銷售額下降得特別厲害（那個(gè)時(shí)間是否有發(fā)生什么事情酌媒？是不是公司內(nèi)部問(wèn)題導(dǎo)致的欠痴？）？是不是某個(gè)銷量比較大的商品秒咨，受到了一些因素的影響導(dǎo)致銷量大幅下降喇辽？

②指標(biāo)拆解，指標(biāo)通常是按照組成分析和時(shí)間流程進(jìn)行拆解的雨席。指標(biāo)體系一般是金字塔型的茵臭，越往下拆分的指標(biāo)是越多的（參考用戶行為流程、指標(biāo)構(gòu)成舅世、轉(zhuǎn)化漏斗模型等）

銷售額=訪客數(shù) * 下單率 * 客單價(jià)-退貨金額

看是哪個(gè)指標(biāo)除了問(wèn)題旦委，還是都出了問(wèn)題？然后繼續(xù)往下分析

訪客數(shù)=新客戶+老客戶雏亚，新客戶=渠道的流量 * 轉(zhuǎn)化率

看是新客戶減少還是老客戶減少缨硝？老客戶可能是直接購(gòu)買比較多，新客戶可能是從渠道進(jìn)入購(gòu)買的比較多罢低，如果是新客戶減少導(dǎo)致的查辩，那么需要看渠道和轉(zhuǎn)化率胖笛，看是不是廣告少了或者是渠道客群出問(wèn)題了？需不需要擴(kuò)展新的渠道或者更換渠道宜岛？

下單率=頁(yè)面訪問(wèn)量 * 轉(zhuǎn)化率

頁(yè)面是否吸引人长踊？需不需要使用ABtest做頁(yè)面優(yōu)化測(cè)試？

訂單取消率=訂單取消數(shù) / 訂單總數(shù)

檢查退貨金額萍倡，訂單取消率是不是比同期更高身弊？可以從產(chǎn)品的好壞評(píng)情況進(jìn)行進(jìn)一步分析；

客單價(jià)：通過(guò)同期群分析列敲、單變量分析阱佛、ABC分析

同期群分析師比較常用的分析方法，把用戶進(jìn)行群組劃分之后戴而，對(duì)不同群組相同指標(biāo)凑术，進(jìn)行一個(gè)時(shí)期的比較，看是不是有明顯不利的指標(biāo)下降所意，導(dǎo)致了銷售額下降淮逊，最終去定位這個(gè)問(wèn)題，然后去針對(duì)性的做些活動(dòng)扶踊。

第三步壮莹，針對(duì)指標(biāo)的變化進(jìn)行提建議

針對(duì)這些指標(biāo)的變化可以提些建議，這些建議要是實(shí)打?qū)嵉囊鎏础⒂嗅槍?duì)性的命满，而不是只籠統(tǒng)的說(shuō)要提高。

可以做一些有針對(duì)性的促銷活動(dòng)绣版、商品優(yōu)化胶台、渠道優(yōu)化。

例如是老客戶流失嚴(yán)重杂抽，而且老客戶在客戶群里面的占比也是比較多诈唬，但是突然就下降了10%，這時(shí)候是不是要針對(duì)老客戶做一個(gè)特別的活動(dòng)呢缩麸？可以給客戶的淘寶铸磅、微信、手機(jī)等等進(jìn)行活動(dòng)推送杭朱，比如贈(zèng)送促銷消費(fèi)券等等阅仔。而且這種活動(dòng)也是有些原則的，不是所有的都送錢弧械、送優(yōu)惠券都是好的八酒，你要結(jié)合你的商品情況，以及你想提高的目標(biāo)刃唐，因?yàn)獒槍?duì)客戶流失羞迷，需要要根據(jù)你的商品購(gòu)買周期是一年買一次界轩、還是一個(gè)月兩次還是那種幾天就給買一次的，每個(gè)店鋪?zhàn)鲞@樣的活動(dòng)都是不一樣的衔瓮。

題目三：請(qǐng)你估算營(yíng)業(yè)額（費(fèi)米思想）

小紅書上海辦公室樓下有一便利店浊猾，面積約為20平方米，主要提供零食及飲料热鞍。請(qǐng)預(yù)估該便利店每周的營(yíng)業(yè)額是多少葫慎？

解題思路：

費(fèi)米思想的兩個(gè)步驟：

1、把問(wèn)題進(jìn)行拆解碍现，直到拆解到不能拆解需要估算的基本問(wèn)題

2幅疼、對(duì)基本問(wèn)題的估算米奸，不要估算其本身昼接，而是先估算其上下界，然后在10倍的范圍內(nèi)估算出數(shù)值

營(yíng)業(yè)額=消費(fèi)人數(shù) * 平均消費(fèi)金額（區(qū)分工作日和周末）

消費(fèi)人數(shù)=營(yíng)業(yè)時(shí)間 * 單位時(shí)間消費(fèi)人數(shù)（區(qū)分高峰時(shí)段+低峰時(shí)段）

費(fèi)米思想問(wèn)題有個(gè)明顯特征悴晰，就是它沒有數(shù)據(jù)也沒有明顯的計(jì)算邏輯慢睡，看起來(lái)很無(wú)厘頭，這些數(shù)據(jù)是通過(guò)你的一些常識(shí)去得到铡溪。理解這類問(wèn)題漂辐，也是沒有標(biāo)準(zhǔn)答案的，這類題目實(shí)際上考察的是數(shù)據(jù)分析思維能力棕硫，在有限條件下髓涯，通過(guò)一些假設(shè)和推算得到答案。

解決費(fèi)米思想的關(guān)鍵辦法就是拆解哈扮，也就是多維度拆解分析方法纬纪，拆解的原則是：是把問(wèn)題拆解到不能拆解（MECE原則），然后對(duì)于不能拆解的基本問(wèn)題進(jìn)行估算（估算一個(gè)范圍）滑肉。

估算：

每天按照12h營(yíng)業(yè)時(shí)間計(jì)算包各，其中客流量大有4h，客流量小有8h（正常估）靶庙。

休息日平均營(yíng)業(yè)額=1/4工作日平均營(yíng)業(yè)額（正常估）问畅。

工作日流量大的時(shí)候，每2分鐘接待3人次六荒，人均消費(fèi)10元（高估）护姆。

那這樣工作日高峰時(shí)間段每小時(shí)消費(fèi)人數(shù)=60*3/2 =90個(gè)

非高峰就算30個(gè)那工作日一天營(yíng)業(yè)額=4h *90個(gè) * 10元+8h * 30個(gè) * 10元=6000

一周的營(yíng)業(yè)額=6000 * 5+6000/4 * 2=33000

題目四：思維拓展

如果APP有一個(gè)功能是用戶的位置信息能夠每隔1分鐘上傳一次數(shù)據(jù)庫(kù)，那么怎么發(fā)揮它的作用掏击？

這個(gè)題目思維拓展題签则，也是沒有標(biāo)準(zhǔn)的答案，就是考你思維發(fā)散的力铐料，如果你有接觸過(guò)相關(guān)的應(yīng)用的話渐裂，答案就會(huì)就更貼近實(shí)際豺旬。

這種位置信息我們經(jīng)常用來(lái)做什么呢？就做用戶畫像柒凉。用戶畫像可以做什么呢族阅？

我們這里有幾個(gè)思路，

1）根據(jù)定位信息可以獲取用戶的生活區(qū)域膝捞，從而分析出用戶的消費(fèi)水平坦刀，推薦相應(yīng)價(jià)格區(qū)間適合用戶消費(fèi)的產(chǎn)品；

你住在在哪個(gè)區(qū)域蔬咬？例如你是住城中村還是豪華小區(qū)鲤遥，知道你常年出現(xiàn)的地方、你住在是哪個(gè)小區(qū)能夠推出來(lái)你的消費(fèi)能力林艘。甚至可以根據(jù)你的位置信息變動(dòng)來(lái)判斷你是否是開車還是沒開車盖奈，以及你住的地方離公司的遠(yuǎn)近情況。

2）可以分析用戶的活動(dòng)習(xí)慣狐援，推斷用戶的一些偏好钢坦，并做針對(duì)性推薦；

例如用戶經(jīng)常出入健身房啥酱，可以推薦運(yùn)動(dòng)器材爹凹，經(jīng)常出入服裝店美容店等，可以為用戶推薦服裝美容項(xiàng)目镶殷。這些店鋪在地圖上都是固定的禾酱，通過(guò)這些位置可以推斷用戶的偏好，還能判斷你去的地方是進(jìn)去還是僅僅路過(guò)而已绘趋。

3）可以推測(cè)用戶的職業(yè)颤陶，比如教師、醫(yī)生埋心、程序員指郁，為他們推薦符合她們職業(yè)需求的商品；

比如通過(guò)你經(jīng)常去的地點(diǎn)拷呆，可能看到你是那個(gè)公司的闲坎，附近還有什么公司？

4）用戶位置可以實(shí)時(shí)向用戶推薦周邊的一個(gè)生活服務(wù)比如附近的商店茬斧、便利店腰懂、住宿、停車場(chǎng)等项秉，還可以還原用戶的行為軌跡绣溜、交通擁堵情況、分析熱點(diǎn)區(qū)域娄蔼、分析各區(qū)域停留時(shí)長(zhǎng)怖喻，從而確定用戶的一個(gè)行為習(xí)慣底哗，然后進(jìn)行更好的提供服務(wù)和消費(fèi)。

這些就是有針對(duì)性的提供數(shù)據(jù)給用戶锚沸，說(shuō)的不好聽叫大數(shù)據(jù)殺手跋选，因?yàn)槊恳环昼娚蟼饕淮挝恢眯畔⒌綌?shù)據(jù)庫(kù)，這個(gè)是很可怕的哗蜈，而且后面的話一般都是配套有流式處理前标，用大數(shù)據(jù)平臺(tái)去做計(jì)算，然后給用戶打標(biāo)簽距潘，做一個(gè)用戶畫像的項(xiàng)目出來(lái)炼列，這種就是做用戶殺熟。

大數(shù)據(jù)殺熟就是你自己看到的數(shù)據(jù)只有你自己知道音比，別人看到的數(shù)據(jù)和你是不一樣的俭尖，大數(shù)據(jù)殺熟就是應(yīng)用在這種場(chǎng)景，每個(gè)人都是分隔開的硅确，大家只能看到自己的數(shù)據(jù)目溉，其他人的數(shù)據(jù)他們是看不到明肮，然后就特別容易做大數(shù)據(jù)殺手菱农。當(dāng)然這確實(shí)也是有用的，因?yàn)橛嗅槍?duì)性的對(duì)你推薦一些東西柿估，那你購(gòu)買的可能性是很高的循未，能夠符合你的當(dāng)前需求（淘寶的千人千面也是類似的原理）。