本文作者:hihipm ? 微信公眾號(hào):策略產(chǎn)品經(jīng)理講堂(ID:hihipm)原文地址:猛戳這里
數(shù)據(jù)是個(gè)很好的東西剪况,可以幫助我們做出相對(duì)客觀的產(chǎn)品決策钥星。但是數(shù)據(jù)中也存在著很多的陷阱漆改,如果我們沒有很好的邏輯分析能力心铃,很可能會(huì)被數(shù)據(jù)玩弄而做出愚蠢的決策。今天挫剑,咱們就結(jié)合工作可能遇到的一些陷阱來聊聊這些數(shù)據(jù)陷阱以及怎么避免掉入陷阱去扣。
開始之前,我們先看看幾個(gè)大家在工作中可能會(huì)遇到過的案例吧樊破!
購買A類商品的用戶當(dāng)中有80%的都是甲類用戶愉棱,因此當(dāng)發(fā)現(xiàn)用戶是甲類用戶時(shí)唆铐,應(yīng)該給用戶比一般情況下推薦更多A類商品
當(dāng)乙值增加時(shí),B功能的轉(zhuǎn)化率降低奔滑,因此應(yīng)該限制乙值在一定水平
用戶調(diào)研發(fā)現(xiàn)90%用戶喜歡C功能艾岂,因此我們需要增加C功能
根據(jù)現(xiàn)有數(shù)據(jù)發(fā)現(xiàn),D值相對(duì)較高的商品有更高的點(diǎn)擊档押,因此應(yīng)該把D值高的商品的排序提前
使用了E功能的用戶比沒使用E功能的用戶轉(zhuǎn)化率低澳盐,因此應(yīng)該將E功能下線
大家應(yīng)該猜到了,這幾個(gè)例子肯定是掉進(jìn)數(shù)據(jù)陷阱的描述令宿,所以不妨先想一想這幾個(gè)描述問題出在哪里叼耙,如果你想不明白,這篇文章建議你看三遍粒没。
******
#1.購買A類商品的用戶當(dāng)中有80%的都是甲類用戶筛婉,因此當(dāng)發(fā)現(xiàn)用戶是甲類用戶時(shí),應(yīng)該給用戶比一般情況下推薦更多A類商品
逆命題陷阱
第一個(gè)案例的陷阱迷惑性很大癞松,在實(shí)際工作中爽撒,我也經(jīng)常碰到拿著這種描述來要求在某些場(chǎng)景下對(duì)某種類型商品給予更多流量的需求。從數(shù)據(jù)中响蓉,確實(shí)可以說明購買A類商品中甲類用戶偏多硕勿,但是這能夠說明甲類用戶比整體用戶更偏愛A商品么?顯然不是枫甲,案例如下表:
假設(shè)A類商品和非A類商品的需求都是50源武,平均情況下A類商品和非A類商品的流量分配應(yīng)該是50%:50%。雖然在購買A類商品中的用戶甲類用戶占比為80%想幻,但甲類用戶需要A類商品的只有45%粱栖,還沒有到正常平均情況下的50%,原因就是因?yàn)橘徺I了非A類商品的用戶甲類用戶的比例高于80%脏毯。
這個(gè)陷阱叫做逆命題陷阱闹究,逆命題應(yīng)該是高中數(shù)學(xué)中的概念,如果你忘了我們舉個(gè)簡(jiǎn)單的例子食店,如果有個(gè)判斷語句“如果于謙是郭麒麟的父親渣淤,那么郭麒麟是于謙的兒子”,“如果郭麒麟是于謙的兒子叛买,那么于謙是郭麒麟的父親”是它的逆命題砂代。逆命題有個(gè)特點(diǎn),那就是當(dāng)原命題是真的時(shí)候率挣,逆命題不一定為真刻伊。再有一個(gè)例子,“如果小明是人,那他一定是哺乳動(dòng)物”的逆命題“如果小明是哺乳動(dòng)物捶箱,那么小明是人”就是不正確的智什,因?yàn)樾∶饔锌赡苁呛镒印5侨绻粋€(gè)命題是真的丁屎,他的逆否命題一定為真荠锭,比如“如果小明不是哺乳動(dòng)物,那他一定不是人”晨川。本例中证九,“購買A類商品的用戶更可能是甲類用戶”為真,但它逆命題“甲類用戶購買的更可能是A類商品”就是錯(cuò)誤的共虑。
這些簡(jiǎn)單的邏輯學(xué)概念和定理愧怜,我相信大部分人是了解的,但是在實(shí)際工作往往忘記了這些基本的原理而做出一些愚蠢的決策妈拌。對(duì)于那些不怎么了解的人拥坛,只需要記住一條:小心逆命題,別隨便把推斷的話反過來說尘分。
******
#2.當(dāng)乙值增加時(shí)猜惋,B功能的轉(zhuǎn)化率降低,因此應(yīng)該限制乙值在一定水平
相關(guān)和因果陷阱
數(shù)據(jù)分析是幫助我們找到產(chǎn)品問題/機(jī)會(huì)的重要手段培愁,相關(guān)性分析是數(shù)據(jù)分析中最常見的方法著摔,我們常容易犯把相關(guān)關(guān)系當(dāng)因果關(guān)系的錯(cuò)誤。關(guān)于相關(guān)關(guān)系和因果關(guān)系的描述定续,最著名的例子是冰激凌和溺水死亡率的例子:通過數(shù)據(jù)統(tǒng)計(jì)發(fā)現(xiàn)梨撞,冰激凌銷量增加時(shí),溺水死亡率也顯著增加香罐。那是不是可以限制冰激凌的銷量來控制溺水死亡率呢?對(duì)于風(fēng)馬牛不相及的推斷时肿,正常人都會(huì)嗤之以鼻庇茫。冰激凌的銷量和溺水死亡率只是存在相關(guān)關(guān)系,這種相關(guān)關(guān)系的產(chǎn)生是因?yàn)樵谏钐幱幸粋€(gè)相同的原因:氣溫的升高螃成。但冰激凌的銷量明顯不是溺水死亡率高的原因旦签,因此不能靠限制冰激凌的銷量解決溺水死亡率高的問題。但不幸的是寸宏,我們大多數(shù)人還是會(huì)犯同類型的錯(cuò)誤宁炫,比如#2。
這個(gè)例子中氮凝,乙值的增加和B的轉(zhuǎn)化率降低應(yīng)該都只是某個(gè)深層原因的結(jié)果羔巢,但在描述中我們把B轉(zhuǎn)化率的下降歸咎于乙值的增加,這就是我們錯(cuò)把相關(guān)關(guān)系當(dāng)因果的原因。對(duì)于如何避免這類錯(cuò)誤竿秆,我們需要做的是盡量看到數(shù)據(jù)所體現(xiàn)的深層原因启摄,將每個(gè)數(shù)據(jù)變化都對(duì)應(yīng)到產(chǎn)品相關(guān)的實(shí)際因素中去,比如需求的變化幽钢、供應(yīng)的變化歉备、功能的改變、環(huán)境的變化匪燕、競(jìng)對(duì)的動(dòng)作等等蕾羊,而不是讓數(shù)據(jù)分析只停留在數(shù)據(jù)層面。
******
#3.用戶調(diào)研發(fā)現(xiàn)90%用戶喜歡C功能帽驯,因此我們需要增加C功能
#4.根據(jù)現(xiàn)有數(shù)據(jù)發(fā)現(xiàn)龟再,D值相對(duì)較高的商品有更高的點(diǎn)擊,因此應(yīng)該把D值高的商品的排序提前
既定規(guī)則陷阱
在需求挖掘的方式中界拦,個(gè)人非常愿意將用戶調(diào)研的吐槽部分作為發(fā)現(xiàn)問題的渠道吸申,但絕對(duì)不會(huì)將用戶調(diào)研的建議部分作為產(chǎn)品機(jī)會(huì)的直接來源。原因很簡(jiǎn)單享甸,用戶的不滿是真真切切存在截碴,他們也懂得如何表達(dá)不滿,但用戶的建議受既定規(guī)則的影響往往是不靠譜的蛉威,就像那個(gè)福特汽車的例子:在汽車出現(xiàn)以前日丹,所有的用戶只想要一匹更快的馬。如果人人都能提出靠譜的建議蚯嫌,還會(huì)有喬布斯張小龍這種被你們奉為神的存在么哲虾。
我一直對(duì)用戶調(diào)研持謹(jǐn)慎態(tài)度最深層次的原因,是因?yàn)樗械挠脩魩缀醵际艿搅思榷ㄒ?guī)則的影響择示,這種既定規(guī)則的影響束凑,也給了我們?cè)O(shè)下不少的數(shù)據(jù)陷阱。比如#3栅盲,我曾見過通過“用戶競(jìng)對(duì)app使用場(chǎng)景調(diào)研”的結(jié)論得出“我們應(yīng)該增加C功能(和競(jìng)對(duì)一樣)”的決策的例子汪诉,我想說的是:之所以許多用戶覺得C功能不錯(cuò)(或者在使用C功能),是不是僅僅因?yàn)楦?jìng)對(duì)提供了這個(gè)功能并且放在了明顯的位置呢谈秫?當(dāng)然扒寄,如果你說用戶已經(jīng)習(xí)慣了這種操作方式,這個(gè)結(jié)論也對(duì)拟烫,做這個(gè)功能也不會(huì)犯大錯(cuò)该编。但如果始終采取這種方式做需求,那么恭喜你硕淑,你又在不知所以然的道路前進(jìn)了一步课竣。另外分享個(gè)最近的思考題:現(xiàn)在手機(jī)屏幕越做越大嘉赎,是不是因?yàn)橛脩粽f了想要更大屏的手機(jī)呢?但是用戶真的需要大屏手機(jī)么稠氮?大屏手機(jī)到底有什么好曹阔?
在用數(shù)據(jù)說話的策略產(chǎn)品中,也可能存在這樣的陷阱隔披,比如#4中通過對(duì)現(xiàn)有的數(shù)據(jù)分析發(fā)現(xiàn)D值高的商品點(diǎn)擊量更多赃份,得出應(yīng)該將D值高排在前面的結(jié)論。在排序中奢米,被排在前面的item必然比排在后面的item有更高的點(diǎn)擊抓韩,如果在之前的排序策略已經(jīng)有了和D強(qiáng)相關(guān)的D1的特征生效,那么必然D值高(因?yàn)镈1高)的item就會(huì)有很高的點(diǎn)擊鬓长。因此“D值相對(duì)較高的商品有更高的點(diǎn)擊”很可能只是因?yàn)楸緛鞤值高的排在了前面谒拴。如果你把D值加入到了排序當(dāng)中,很可能會(huì)做無用功涉波,也因此在策略相關(guān)產(chǎn)品增加特征時(shí)英上,需要考慮新增特征是否和老特征正交。
對(duì)于既定規(guī)則陷阱的規(guī)避相對(duì)困難啤覆,這也是創(chuàng)新之所以難的原因苍日。那一句非常虛的“挖掘用戶深層次的需求”是避免錯(cuò)誤的不二法門,謹(jǐn)記要think out of the box窗声。
******
#5.使用了E功能的用戶比沒使用E功能的用戶轉(zhuǎn)化率低相恃,因此應(yīng)該將E功能下線
數(shù)據(jù)統(tǒng)計(jì)陷阱
這是最近同事在處理需求遇到的一個(gè)問題,本來大家都信心滿滿的一個(gè)需求笨觅,上線之后發(fā)現(xiàn)使用了E功能的用戶的轉(zhuǎn)化率還不如沒有使用E功能的用戶的轉(zhuǎn)化率高拦耐。如果停留在表面的數(shù)據(jù)分析,大多數(shù)人可能會(huì)做出需求下線的決策见剩。但是真的對(duì)么杀糯?產(chǎn)品對(duì)比試驗(yàn)是我們經(jīng)常使用的決策方式,這類試驗(yàn)有一個(gè)基本前提那就是單一變量苍苞,要求進(jìn)行對(duì)比的兩組用戶除實(shí)驗(yàn)變量之外的統(tǒng)計(jì)特征是相同的火脉。回到案例柒啤,使用了E功能和沒使用E功能的用戶特征相同么?假設(shè)使用了E功能的用戶轉(zhuǎn)化率為5%畸颅,沒使用的轉(zhuǎn)化率為10%担巩,或許,有沒有可能在沒有E功能之前没炒,使用了E功能的這批用戶的轉(zhuǎn)化率只有1%涛癌?
在這個(gè)陷阱中犯戏,讓我們中招的是對(duì)數(shù)據(jù)取樣的錯(cuò)誤處理。除了數(shù)據(jù)取樣拳话,我們還可能遇到各種統(tǒng)計(jì)陷阱先匪。對(duì)于這類陷阱,我們要時(shí)刻注意的是對(duì)比試驗(yàn)中的兩組是不是單一變量:是不是同一群用戶弃衍?是不是同一種場(chǎng)景呀非?其他功能有沒有對(duì)結(jié)果有干擾?等等等镜盯。
通過對(duì)上面幾個(gè)陷阱的分析岸裙,不難知道如果能夠?qū)⑸厦嬲f的陷阱具體內(nèi)容描述拋開,抽象成具體的邏輯問題速缆,結(jié)論的正確以否還是很容易判斷的降允。總之產(chǎn)品經(jīng)理心里要保有批判性的看數(shù)據(jù)的意識(shí):做決策之前多想想數(shù)據(jù)和決策之間有木有正確的邏輯關(guān)系艺糜,做個(gè)講邏輯的產(chǎn)品經(jīng)理吧剧董。